Merge branch 'checksums'

Conflicts:

ChangeLog
daklib/utils.py

Revert "revert all my stupid commits, we'll try this again later when we have a test server"

This reverts commit aa83ebb15882823869b109d370e24ef3efd730f8.

Conflicts:

ChangeLog

Revert "and revert the remainder"

This reverts commit 536cb00b606a8581a76b66f55a58eabdf9f7fd3d.

Merge commit 'pkern/master' into merge

* commit 'pkern/master':
  cosmetic fixes for do_accept and do_accept_stableupdate

cosmetic fixes for do_accept and do_accept_stableupdate

2008-08-31  Philipp Kern  <pkern@debian.org>

        * dak/process_new.py (_accept): new helper function to accept
        an upload regularly, obeying no-action if set
        * dak/process_new.py (do_accept): use _accept
        * dak/process_new.py (do_accept_stableupdate): bail out in else
        on binary uploads, in case we missed something; use the _accept
        helper; reordered the queue checks to do frequent cases first

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  dak/process_new.py (is_source_in_queue_dir): add the queue path to the changes filename

dak/process_new.py (is_source_in_queue_dir): add the queue path to the changes filename

* dak/process_new.py (is_source_in_queue_dir): join the queue path
  because os.listdir entries come with their path stripped

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  process_new/do_accept_stableupdate: state what we intend to do

process_new/do_accept_stableupdate: state what we intend to do

2008-08-30  Philipp Kern  <pkern@debian.org>

        * dak/process_new.py (do_accept_stableupdate): state what we intend
        to do

Signed-off-by: Philipp Kern <pkern@debian.org>

Merge commit 'pkern/master'

* commit 'pkern/master':
  fix proposed-updates processing in dinstall: actually accept sourceful uploads
  dak/process_new.py: do not try to free the unchecked lockfile in no-action mode

implement sensible handling of checksum fields in .changes and .dsc

2008-08-28  Philipp Kern  <pkern@debian.org>

* daklib/utils.py (check_hashes): adapt to different API, check
sizes separately

* daklib/utils.py (parse_changes, parse_deb822): refactor
the string-based logic of parse_changes into a new function
parse_deb822; parse_changes itself remains file-based

* daklib/utils.py (hash_key): gives the key of a hash in the
files dict

* daklib/utils.py (create_hash, check_size): made more readable

* daklib/utils.py (check_hash): just check the hashes and complain
about missing checksums

* daklib/utils.py (check_hash_fields): function to reject unknown
checksums fields

* daklib/utils.py (_ensure_changes_hash, _ensure_dsc_hash): helper
functions for ensure_hashes; check their corresponding manifests'
hashes

* daklib/utils.py (ensure_hashes): retrieve the checksums fields
from the original filecontents blob so that they do not need to
be present in the .dak; refactored the actual checks by calling
the aforementioned helper functions

* daklib/utils.py (parse_checksums): parse a given checksums field
in a manifest and insert the values found into the files dict,
checking the file sizes on the way

fix proposed-updates processing in dinstall: actually accept sourceful uploads

* dak/process_new.py (is_source_in_queue_dir): fix variable usage
* dak/process_new.py (move_to_holding): just state what we intend
  to do in no-action mode
* dak/process_new.py (do_accept_stableupdate): fetch summaries,
  fix invokation of is_source_in_queue_dir, actually accept sourceful
  uploads in p-u holding

dak/process_new.py: do not try to free the unchecked lockfile in no-action mode

We dont want i18n to ever fail dinstall, add a || true

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  and revert the remainder
  revert all my stupid commits, we'll try this again later when we have a test server
  Revert "use correct field names"
  use correct field names

and revert the remainder

Signed-off-by: Mark Hymers <mhy@debian.org>

revert all my stupid commits, we'll try this again later when we have a test server

Signed-off-by: Mark Hymers <mhy@debian.org>

Revert "use correct field names"

This reverts commit f50c6be13c107a29ed5241c52b3e5c8928bed7bd.

use correct field names

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  fix set_files_id routine

fix set_files_id routine

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  another attempt to add these damned hashes

another attempt to add these damned hashes

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  I hate it when Ganneff is right
  don't assume we can check for the checksums fields

I hate it when Ganneff is right

Signed-off-by: Mark Hymers <mhy@debian.org>

don't assume we can check for the checksums fields

Signed-off-by: Mark Hymers <mhy@debian.org>

This really wants a rewrite
Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  misc fixes

misc fixes

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  Actually import a module before using it.

Actually import a module before using it.

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  actually check the type of basedict before trying to use it

actually check the type of basedict before trying to use it

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  revert change to get_files_id

revert change to get_files_id

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/checksums'

* commit 'mhy/checksums':
  expand check_archive.py to cope with extra checksums
  add changelog to keep Ganneff happy
  add sha1sum and sha256sum columns
  fix typos
  make process accepted not die with old .dak files
  an attempt to move the functionaliity into a module
  let's store the known_hashes information centrally
  first attempt at bodging in support for sha1sum and sha256sum

expand check_archive.py to cope with extra checksums

Signed-off-by: Mark Hymers <mhy@debian.org>

add changelog to keep Ganneff happy

Signed-off-by: Mark Hymers <mhy@debian.org>

add sha1sum and sha256sum columns

Signed-off-by: Mark Hymers <mhy@debian.org>

fix typos

Signed-off-by: Mark Hymers <mhy@debian.org>

make process accepted not die with old .dak files

Signed-off-by: Mark Hymers <mhy@debian.org>

an attempt to move the functionaliity into a module

Signed-off-by: Mark Hymers <mhy@debian.org>

let's store the known_hashes information centrally

Signed-off-by: Mark Hymers <mhy@debian.org>

first attempt at bodging in support for sha1sum and sha256sum

Signed-off-by: Mark Hymers <mhy@debian.org>

We dont care about the stuff they print out here, we just want the return value. Remove $(). (Aua)

Added i18n package description sync foo.

Arf.

   * config/debian/cron.dinstall: Complicate the i18n export a little
       by using date/hour based directories which we then link into the
       web view. They contain a signed timestamp file now, which means
       the i18n people can take a long time to generate files, yet we
       still know exactly on which dataset their data is based on, and
       can then verify it with that. Ensures we only get descriptions for
       packages we know off (or knew of in the past 2 days).

Add a file

Damn oldtimers

Remove pgp keyring

rm md5sum

Generate the i18n foo

Merge commit 'pkern/master'

* commit 'pkern/master':
  dak/process_new.py: fix up binary diversion into various queues
  dak/process_new.py: handle uploads to (oldstable)-proposed-updates differently

dak/process_new.py: fix up binary diversion into various queues

Create a hardlinked tree for the buildds

Gah, apt is a piece of shit. Well, it expects the uncompressed
Packages files in the Release file to appear, so lets generate them.
Also make sure we dont have empty release files listed...

indicate to britney whether or not the Packages update was successful

Signed-off-by: Mark Hymers <mhy@debian.org>

We also want a -T there, stupid ln, could figure it out itself, never
heard of AI, eh?

Im a moron and ln is a pain

Added signing of buildd incoming

dak/process_new.py: handle uploads to (oldstable)-proposed-updates differently

Uploads targetting proposed-updates used to hit NEW first and were going
to proposed-updates without further review by SRM afterwards.  This patch
fixes this behaviour by sending the upload to p-u-new after NEW processing.

If an upload is sourceful it is moved right away.  If it is not its
corresponding source is searched in p-u holding, new, accepted and
in the archive and moved appropriately into the right queue.

And another place to kick nfu

Fix a number of bugs, some introduced long ago, some introduced yesterday.

Add changelog entry Signed-off-by: Stephen Gran <steve@lobefin.net>

This really does not have to be quite this unreadable Signed-off-by: Stephen Gran <steve@lobefin.net>

Merge from Joachim

Error out when we are unable to find a source id for a file we want to install. Shouldnt happen.

Removed ssh-move

Remove trailing / from path

Get wanna-build-database in cron.weekly

Add a script to fetch the wanna-build-database from
http://buildd.debian.org/stats/, call this script from cron.weekly, and
document this change in the ChangeLog.

Change wanna-build-dump path

...to /srv/ftp.debian.org/scripts/nfu/, as requested

Warn about missing wanna-build dumps

armel is actually available, but the script should still not fail
for missing wanna build dumps, but print warnings.

Replace a 128 line NIH syndrom with one of those new-fangled sarge-and-later options in rsync :)

Deactivate the ssh-move

Add Not-For-Us checking to cruft_report

This patch reports all binary packages that are out of date on
an architecture where the buildd admin has marked it as Not-For-Us.

It needs a copy of http://buildd.debian.org/stats/*-all.txt somewhere.
This somewhere is configurable by a configuration/command-line flag.

The report, named "nfu", is added to the "full" set of reports.

wording change

Signed-off-by: Mark Hymers <mhy@debian.org>

add changelog entry for jvw's patch

Signed-off-by: Mark Hymers <mhy@debian.org>

merge Jeroen's lisa_existing_sources_first_and_mtime patch

Signed-off-by: Mark Hymers <mhy@debian.org>

Add patch by luk from #438899

is r4 now (do we need this still?)

no m68k in testing, so not mentioning it for t-p-u

catch more UnknownFormatError

Its dsc_filename

catch UnknownFormatError in process-unchecked/check_dsc

Work around a git bug

debianqueued: Fix a brown-paper-bag bug (we just dont know who to assign tthe month name.he bag too). strftime %b is better than %B for

To avoid dangling current symlink and have the latest dump easily readable - compress only psql dumps older than a day, ie keep todays ones uncompressed

Ignore if ldap server is down

Fix my mail address. Contrary to common belief i am not ganneff@debian.org :)

s/troup/dak/

Make the ssh calls a bit more robust

Updated mailinglist location

Merge branch 'master' of git://git.debian.org/git/users/otavio/dak into small_fixes

* 'master' of git://git.debian.org/git/users/otavio/dak:
  docs/manpages/clean-suites.1.sgml: Minor typo fix
  dak/import_archive.py: Add support to udeb packages
  dak/control_suite.py (main): Handle SystemError exception in case of a incompatible commandline parameter
  dak/check_overrides.py (main): Use case-insensitive comparing for codename

 docs/manpages/clean-suites.1.sgml: Minor typo fix

dak/import_archive.py: Add support to udeb packages

dak/control_suite.py (main): Handle SystemError exception in case of a incompatible commandline parameter

dak/check_overrides.py (main): Use case-insensitive comparing for codename

Add a note that people should use dcut for commands files

Merged a patch from Frans Pop making byhand-task fail on uploads to anything other than sid

Remove .bzrignore and do a little git housekeeping in cron.weekly

Add batchmode and also Connect/SetupTimeout parameters to ssh