implement sensible handling of checksum fields in .changes and .dsc

2008-08-28  Philipp Kern  <pkern@debian.org>

* daklib/utils.py (check_hashes): adapt to different API, check
sizes separately

* daklib/utils.py (parse_changes, parse_deb822): refactor
the string-based logic of parse_changes into a new function
parse_deb822; parse_changes itself remains file-based

* daklib/utils.py (hash_key): gives the key of a hash in the
files dict

* daklib/utils.py (create_hash, check_size): made more readable

* daklib/utils.py (check_hash): just check the hashes and complain
about missing checksums

* daklib/utils.py (check_hash_fields): function to reject unknown
checksums fields

* daklib/utils.py (_ensure_changes_hash, _ensure_dsc_hash): helper
functions for ensure_hashes; check their corresponding manifests'
hashes

* daklib/utils.py (ensure_hashes): retrieve the checksums fields
from the original filecontents blob so that they do not need to
be present in the .dak; refactored the actual checks by calling
the aforementioned helper functions

* daklib/utils.py (parse_checksums): parse a given checksums field
in a manifest and insert the values found into the files dict,
checking the file sizes on the way

use correct field names

Signed-off-by: Mark Hymers <mhy@debian.org>

fix set_files_id routine

Signed-off-by: Mark Hymers <mhy@debian.org>

another attempt to add these damned hashes

Signed-off-by: Mark Hymers <mhy@debian.org>

I hate it when Ganneff is right

Signed-off-by: Mark Hymers <mhy@debian.org>

don't assume we can check for the checksums fields

Signed-off-by: Mark Hymers <mhy@debian.org>

misc fixes

Signed-off-by: Mark Hymers <mhy@debian.org>

Actually import a module before using it.

Signed-off-by: Mark Hymers <mhy@debian.org>

actually check the type of basedict before trying to use it

Signed-off-by: Mark Hymers <mhy@debian.org>

revert change to get_files_id

Signed-off-by: Mark Hymers <mhy@debian.org>

expand check_archive.py to cope with extra checksums

Signed-off-by: Mark Hymers <mhy@debian.org>

add changelog to keep Ganneff happy

Signed-off-by: Mark Hymers <mhy@debian.org>

add sha1sum and sha256sum columns

Signed-off-by: Mark Hymers <mhy@debian.org>

fix typos

Signed-off-by: Mark Hymers <mhy@debian.org>

make process accepted not die with old .dak files

Signed-off-by: Mark Hymers <mhy@debian.org>

an attempt to move the functionaliity into a module

Signed-off-by: Mark Hymers <mhy@debian.org>

let's store the known_hashes information centrally

Signed-off-by: Mark Hymers <mhy@debian.org>

first attempt at bodging in support for sha1sum and sha256sum

Signed-off-by: Mark Hymers <mhy@debian.org>

We dont care about the stuff they print out here, we just want the return value. Remove $(). (Aua)

Added i18n package description sync foo.

Arf.

   * config/debian/cron.dinstall: Complicate the i18n export a little
       by using date/hour based directories which we then link into the
       web view. They contain a signed timestamp file now, which means
       the i18n people can take a long time to generate files, yet we
       still know exactly on which dataset their data is based on, and
       can then verify it with that. Ensures we only get descriptions for
       packages we know off (or knew of in the past 2 days).

Add a file

Damn oldtimers

Remove pgp keyring

rm md5sum

Generate the i18n foo

Merge commit 'pkern/master'

* commit 'pkern/master':
  dak/process_new.py: fix up binary diversion into various queues
  dak/process_new.py: handle uploads to (oldstable)-proposed-updates differently

dak/process_new.py: fix up binary diversion into various queues

Create a hardlinked tree for the buildds

Gah, apt is a piece of shit. Well, it expects the uncompressed
Packages files in the Release file to appear, so lets generate them.
Also make sure we dont have empty release files listed...

indicate to britney whether or not the Packages update was successful

Signed-off-by: Mark Hymers <mhy@debian.org>

We also want a -T there, stupid ln, could figure it out itself, never
heard of AI, eh?

Im a moron and ln is a pain

Added signing of buildd incoming

dak/process_new.py: handle uploads to (oldstable)-proposed-updates differently

Uploads targetting proposed-updates used to hit NEW first and were going
to proposed-updates without further review by SRM afterwards.  This patch
fixes this behaviour by sending the upload to p-u-new after NEW processing.

If an upload is sourceful it is moved right away.  If it is not its
corresponding source is searched in p-u holding, new, accepted and
in the archive and moved appropriately into the right queue.

And another place to kick nfu

Fix a number of bugs, some introduced long ago, some introduced yesterday.

Add changelog entry Signed-off-by: Stephen Gran <steve@lobefin.net>

This really does not have to be quite this unreadable Signed-off-by: Stephen Gran <steve@lobefin.net>

Merge from Joachim

Error out when we are unable to find a source id for a file we want to install. Shouldnt happen.

Removed ssh-move

Remove trailing / from path

Get wanna-build-database in cron.weekly

Add a script to fetch the wanna-build-database from
http://buildd.debian.org/stats/, call this script from cron.weekly, and
document this change in the ChangeLog.

Change wanna-build-dump path

...to /srv/ftp.debian.org/scripts/nfu/, as requested

Warn about missing wanna-build dumps

armel is actually available, but the script should still not fail
for missing wanna build dumps, but print warnings.

Replace a 128 line NIH syndrom with one of those new-fangled sarge-and-later options in rsync :)

Deactivate the ssh-move

Add Not-For-Us checking to cruft_report

This patch reports all binary packages that are out of date on
an architecture where the buildd admin has marked it as Not-For-Us.

It needs a copy of http://buildd.debian.org/stats/*-all.txt somewhere.
This somewhere is configurable by a configuration/command-line flag.

The report, named "nfu", is added to the "full" set of reports.

wording change

Signed-off-by: Mark Hymers <mhy@debian.org>

add changelog entry for jvw's patch

Signed-off-by: Mark Hymers <mhy@debian.org>

merge Jeroen's lisa_existing_sources_first_and_mtime patch

Signed-off-by: Mark Hymers <mhy@debian.org>

Add patch by luk from #438899

is r4 now (do we need this still?)

no m68k in testing, so not mentioning it for t-p-u

catch more UnknownFormatError

Its dsc_filename

catch UnknownFormatError in process-unchecked/check_dsc

Work around a git bug

debianqueued: Fix a brown-paper-bag bug (we just dont know who to assign tthe month name.he bag too). strftime %b is better than %B for

To avoid dangling current symlink and have the latest dump easily readable - compress only psql dumps older than a day, ie keep todays ones uncompressed

Ignore if ldap server is down

Fix my mail address. Contrary to common belief i am not ganneff@debian.org :)

s/troup/dak/

Make the ssh calls a bit more robust

Updated mailinglist location

Merge branch 'master' of git://git.debian.org/git/users/otavio/dak into small_fixes

* 'master' of git://git.debian.org/git/users/otavio/dak:
  docs/manpages/clean-suites.1.sgml: Minor typo fix
  dak/import_archive.py: Add support to udeb packages
  dak/control_suite.py (main): Handle SystemError exception in case of a incompatible commandline parameter
  dak/check_overrides.py (main): Use case-insensitive comparing for codename

 docs/manpages/clean-suites.1.sgml: Minor typo fix

dak/import_archive.py: Add support to udeb packages

dak/control_suite.py (main): Handle SystemError exception in case of a incompatible commandline parameter

dak/check_overrides.py (main): Use case-insensitive comparing for codename

Add a note that people should use dcut for commands files

Merged a patch from Frans Pop making byhand-task fail on uploads to anything other than sid

Remove .bzrignore and do a little git housekeeping in cron.weekly

Add batchmode and also Connect/SetupTimeout parameters to ssh

Add a gitignore file and also the daklib symlink we basically always use anyways

Compress all pgsql backups

Merge from otavio

Merge from otavio

Lowercase urgency a little earlier

* daklib/queue.py (check_valid): allow debian-installer specific sources to have 'debian-installer' section.

Merge autobyhand for tasks

Merge autobyhand change from frans

Add autobyhand support for task overrides (from tasksel)

Change ftp.debian.org pseudopackage maintainer name.

Merge transitions fix to work around a syck dump bug

Also replace dump

Fix yaml dump bug in syck by using yaml instead

Merge from sgran, so we add the date header, as the exim setup debian uses doesnt do that for us

Add Date: header manually

Merge mailtags again

Merge from sgran

Readd 'Archive Administrator' at Ganneff's request (picky, picky, picky)

Quiet perl warnings.  Ganneff: this means changing config - I tried to stay
away from that the first time around, since I wanted to ignore some values
that no longer matter, but now I'm reusing them so we don't get 'variable
only used once' warnings.

Merge mailtags

Merge from sgran

Readd signature, and use tabs like the rest of the script

Sigh, I should test a bit more thoroughly occasionally

Update debian/control to reflect new perl dependency

Avoid possible undefined variable complaint with length function.