Merge remote-tracking branch 'ansgar/pu/multiarchive-2' into merge

* ansgar/pu/multiarchive-2: (51 commits)
  dak/show_new.py: remove obsolete import
  config/debian/*: update for multiarchive changes
  dak/contents.py, daklib/contents.py: add archive option
  dak/export.py, daklib/policy.py: ignore existing files
  Revert "config/*/common: do not touch incoming"
  add export-suite subcommand to export a suite to a flat directory
  dak/clean_suites.py: allow limiting file removal to specific archives
  dak/process_upload.py: ignore non-existing files when rejecting
  dak/process_upload.py: add missing import
  daklib/archive.py: try to get all source files from pool, even when listed in changes
  daklib/archive.py: also ignore files from .changes that do not exist
  daklib/archive.py: ignore missing source files when copying to temporary directory
  dak/dakdb/update75.py: fix adding architectures for new and byhand
  dak/clean_suites.py: implement per-archive stay of execution
  dak/dakdb/update77.py: move stayofexecution to the database
  dak/control_suite.py: prefetch files table when looking up a binary or source package
  dak/generate_releases.py: add archive option
  dak/generate_packages_sources2.py: add archive option
  indicate who rejected a package
  config/*/dinstall.functions: include Built-Using sources
  ...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/show_new.py: remove obsolete import

config/debian/*: update for multiarchive changes

dak/contents.py, daklib/contents.py: add archive option

dak/export.py, daklib/policy.py: ignore existing files

The same upstream tarball can be used by multiple uploads so we have to
ignore already existing files.

Revert "config/*/common: do not touch incoming"

This reverts commit 58fc1503ab1484b42e66a93155441634eff6e604.

add export-suite subcommand to export a suite to a flat directory

dak/clean_suites.py: allow limiting file removal to specific archives

This allows us to remove all obsolete files from the NEW queue even when
the maximum number of removals would be reached normally.

dak/process_upload.py: ignore non-existing files when rejecting

dak/process_upload.py: add missing import

daklib/archive.py: try to get all source files from pool, even when listed in changes

daklib/archive.py: also ignore files from .changes that do not exist

daklib/archive.py: ignore missing source files when copying to temporary directory

dak/dakdb/update75.py: fix adding architectures for new and byhand

dak/clean_suites.py: implement per-archive stay of execution

dak/dakdb/update77.py: move stayofexecution to the database

i bet noone uses this stuff, so i dont care. off with pipefail

Signed-off-by: Joerg Jaspert <joerg@debian.org>

* config/debian/dinstall.functions: Fix up mklslar a bit

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  dak/init_dirs.py: only create directories for active keyrings
  dak/init_dirs.py: do not use Dir::Pool
  change documentation style
  Python modules should not be executable
  daklib/archive.py, daklib/checks.py: implement transition blocks
  daklib/archive.py: use method to decide which policy queue to use
  daklib/archive.py, daklib/checks.py: implement upload blocks
  daklib/dbconn.py: use apt_pkg.TagSection instead of implementing our own parser
  daklib/archive.py: check for source when copying binaries

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/control_suite.py: prefetch files table when looking up a binary or source package

dak/generate_releases.py: add archive option

dak/generate_packages_sources2.py: add archive option

indicate who rejected a package

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

config/*/dinstall.functions: include Built-Using sources

Include source packages only referenced by Built-Using in per-suite
source indices.

config/*/dinstall.functions: use files_archive_map instead of location

config/*/common: do not touch incoming

The incoming build queue is now managed by manage-build-queues.

daklib/utils.py (check_reverse_depends): update for multi-archive changes

remove now unused code

REMOVE :: changesutils.py: no longer in use

dak/dominate.py: skip suites that are backends for policy queues

dak/admin.py: add archive subcommand

dak/manage_build_queues.py: update for multi-archive changes

dak/rm.py: update for multi-archive changes

daklib/contents.py: update for multi-archive changes

dak/ls.py: update for multi-archive changes

dak/control_suite.py: update for multi-archive changes

dak/check_overrides.py: update for multi-archive changes

daklib/checks.py, daklib/utils.py: check for source files

Reintroduce the check that all source files for the used format are
actually included.

dak/queue_report.py: update for multi-archive changes

dak/show_new.py: update for multi-archive changes

dak/check_archive.py: update for multi-archive changes

dak/process_new.py: update for multi-archive changes

dak/process_policy.py: update for multi-archive changes

dak/process_upload.py: update for multi-archive changes

dak/clean_suites.py: update for multi-archive changes

daklib/policy.py: handle mapped components

move method to evaluate component mappings to dbconn.py

daklib/utils.py (poolify): no longer include component

The component is no longer part of the filename we store. This is needed
to allow having the same file in multiple components at the same time.

dak/generate_packages_sources2.py: update for multi-archive

dak/admin.py: new suites need an archive

dak/dakdb/update76.py: add closes to changes table

daklib/dbconn.py: remove two unused backreferences

The backreferences were causing problems when creating new objects via
the ORM.

daklib/dbconn.py (PoolFile): add component property

config/*/dak.conf: set Dir::Base

database changes for multi-archive support

Use archive path instead of Dir::Root

dak/init_dirs.py: only create directories for active keyrings

This avoids problems if inactive keyrings in locations not writable by
the archive user are referenced.

dak/init_dirs.py: do not use Dir::Pool

change documentation style

Python modules should not be executable

daklib/archive.py, daklib/checks.py: implement transition blocks

daklib/archive.py: use method to decide which policy queue to use

This method can later decide which policy queue to use for the security
archive.

daklib/archive.py, daklib/checks.py: implement upload blocks

daklib/dbconn.py: use apt_pkg.TagSection instead of implementing our own parser

daklib/archive.py: check for source when copying binaries

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  Add export subcommand to export upload from policy queues.
  daklib/dbconn.py: add basename property to PoolFile
  daklib/dbconn.py: add path property to Suite
  daklib/archive.py: guess source component even with component mappings
  daklib/archive.py: implement component mappings
  Add BinaryTimestampCheck.
  daklib/config.py: add find_i method
  daklib/checks.py: add missing join
  daklib/checks.py: use apt_pkg.version_compare correctly
  daklib/checks.py: make version check slightly more verbose
  daklib/archive.py: handle unexpected names for byhand files
  daklib/archive.py: session → self.session
  daklib/checks.py: allow DMs to upload to all suites
  daklib/archive.py (install_binary): fix use of source_suites
  daklib/archive.py: use SQLAlchemy 0.6 syntax for join
  daklib/regexes.py: re_file_binary: arch names can have dashes
  daklib/regexes.py: re_field_source: fix matching version numbers
  daklib/contents.py: close db session after use
  error out if sql query fails
  use "set -o pipefail" for shell scripts

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add export subcommand to export upload from policy queues.

daklib/dbconn.py: add basename property to PoolFile

daklib/dbconn.py: add path property to Suite

daklib/archive.py: guess source component even with component mappings

daklib/archive.py: implement component mappings

Add BinaryTimestampCheck.

daklib/config.py: add find_i method

move dc9 talk to presentations git

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/checks.py: add missing join

daklib/checks.py: use apt_pkg.version_compare correctly

version_compare returns values less than, equal to or greater than zero.
This value is not always -1, 0 or 2(!) as the documentation claims.

Reference: http://bugs.debian.org/680891

daklib/checks.py: make version check slightly more verbose

daklib/archive.py: handle unexpected names for byhand files

daklib/archive.py: session → self.session

daklib/checks.py: allow DMs to upload to all suites

DMs may upload to all suites, but only the highest version currently in
unstable, experimental or *-backports will be considered for DM-U-A.

daklib/archive.py (install_binary): fix use of source_suites

daklib/archive.py: use SQLAlchemy 0.6 syntax for join

daklib/regexes.py: re_file_binary: arch names can have dashes

daklib/regexes.py: re_field_source: fix matching version numbers

daklib/contents.py: close db session after use

error out if sql query fails

Using "echo ... | psql" does not generate an error when something goes
wrong.  Using "psql -c ..." instead does:

  $ echo "SELECT * FROM does_not_exist" | psql projectb 2>/dev/null; echo $?
  0

  $ q="SELECT * FROM does_not_exist"; psql -c "$q" projectb 2>/dev/null; echo $?
  1

This patch switches dak to use the second form to avoid silenty ignoring
errors.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

use "set -o pipefail" for shell scripts

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Merge remote-tracking branch 'drkranz/cruft' into merge

* drkranz/cruft:
  cruft_report.py: fix alignment of help description
  Pass -R option to cruft-report cron jobs
  Implement rdeps checking in cruft-report
  Use check_reverse_depends function from utils
  Implement check_reverse_depends function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cruft_report.py: fix alignment of help description

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Pass -R option to cruft-report cron jobs

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Implement rdeps checking in cruft-report

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Use check_reverse_depends function from utils

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Implement check_reverse_depends function

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  Drop column origin_server from archive table.
  Reference archive table from suite and add path to archive root
  typo: "pakcages" → "packages"
  Also import re_bin_only_nmu from daklib.regexes
  don't require all binaries to be included
  use discard instead of remove
  Add module to process policy queue uploads.
  Add module with pre-acceptance tests.
  Add module to handle archive manipulation.
  Add module to handle uploads not yet installed to the archive.
  process-unchecked.new: drop __SUMMARY__ for now
  remove two template variables
  utils.py: add call_editor function
  utils (send_message): add option to write mail to files
  utils.py (mail_addresses_for_upload): only try to use address from key if there is one

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/rrd' into merge

* drkranz/rrd:
  rrd-release-freeze-dates: add wheezy freeze date

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Drop column origin_server from archive table.

Reference archive table from suite and add path to archive root

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

typo: "pakcages" → "packages"

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Also import re_bin_only_nmu from daklib.regexes

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

don't require all binaries to be included

If a package has architecture-specific packages or a buildd uploads only
architecture-dependant packages and there are also arch-indep packages,
the upload does not include all binaries from the Binary field.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

use discard instead of remove

Uploads that do not include source would trigger an exception when
remove is used.  discard does not raise an exception when the element
does not exist.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>