rewrite code for sending mails about processed uploads

dak/process_upload.py: improve error message for ArchiveExceptions and Rejects

Merge remote-tracking branch 'ansgar/pu/multiarchive-1'

* ansgar/pu/multiarchive-1:
  daklib/archive.py: don't check hashes when copying upload to temporary location
  dak/clean_suites.py: use '>' instead of '>='
  daklib/utils.py (gpg_get_key_addresses): prefer @debian.org addresses
  dak/process_upload.py: remove old inactive code; update some comments
  dak/dakdb/update79.py: fix typo: workd → world

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: don't check hashes when copying upload to temporary location

dak/clean_suites.py: use '>' instead of '>='

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  process-new: examine binary packages with new overrides only

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-new: examine binary packages with new overrides only

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Restore dak process-new -c
  end() is not defined in daklib/queue.py
  Correctly load comments text while rejecting a package with comments

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Restore dak process-new -c

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

end() is not defined in daklib/queue.py

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Correctly load comments text while rejecting a package with comments

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

daklib/utils.py (gpg_get_key_addresses): prefer @debian.org addresses

dak/process_upload.py: remove old inactive code; update some comments

dak/dakdb/update79.py: fix typo: workd → world

make the export dir for (o-)p-u-new a bit more atomic

Signed-off-by: Joerg Jaspert <joerg@debian.org>

silence

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/new' into merge

* drkranz/new:
  Restore correct visualization of binary-NEW uploads only

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Restore correct visualization of binary-NEW uploads only

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

remove newstage function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  config/debian/cron.weekly: use bash

Signed-off-by: Joerg Jaspert <joerg@debian.org>

config/debian/cron.weekly: use bash

add archive option

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/make_changelog.py: update for multiarchive changes
  dak/make_maintainers.py: add archive option

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/make_changelog.py: update for multiarchive changes

dak/make_maintainers.py: add archive option

bad )

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove concat function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/contents.py: use filter() instead of filter_by()

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/contents.py: use filter() instead of filter_by()

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/make_pkg_file_mapping.py: update for multi-archive changes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall function changes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/make_pkg_file_mapping.py: update for multi-archive changes

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/lists.py: update for multiarch changes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/lists.py: update for multiarch changes

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/queue_report.py: variables are also used in 'else' branch

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/queue_report.py: variables are also used in 'else' branch

work, you beast

Signed-off-by: Joerg Jaspert <joerg@debian.org>

renames

Signed-off-by: Joerg Jaspert <joerg@debian.org>

want to use something from common? source it, bastard

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/queue_report.py: use right variable
  dak/generate_releases.py: handle empty list of signingkeys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/queue_report.py: use right variable

dak/generate_releases.py: handle empty list of signingkeys

lalala

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dpkg is too stupid, use apt

Signed-off-by: Joerg Jaspert <joerg@debian.org>

right var name

Signed-off-by: Joerg Jaspert <joerg@debian.org>

its suite not dist

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/export_suite.py: skip existing files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

right version

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate incoming.d.o view

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/export_suite.py: skip existing files

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/generate_packages_sources2.py: also import Archive from daklib.dbconn
  dak/generate_packages_sources2.py: remove .all() when we need the query object

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/generate_packages_sources2.py: also import Archive from daklib.dbconn

dak/generate_packages_sources2.py: remove .all() when we need the query object

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/export.py: be silent

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/export.py: be silent

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  send announcement only for sourceful uploads

Signed-off-by: Joerg Jaspert <joerg@debian.org>

send announcement only for sourceful uploads

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/archive.py: session → self.session

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: session → self.session

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/archive.py: use target suite as source_suite when installing to build queues
  daklib/archive.py: doc: only subqueries are accepted
  daklib/archive.py: use only enhanced suites as default source_suites
  don't send mails about accepted buildd uploads to maintainer
  dak/process_upload.py: include full changes file with signature

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: use target suite as source_suite when installing to build queues

daklib/archive.py: doc: only subqueries are accepted

daklib/archive.py: use only enhanced suites as default source_suites

don't send mails about accepted buildd uploads to maintainer

dak/process_upload.py: include full changes file with signature

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/process_upload.py: only send mail to tracking server if accepted to real suite
  templates/process-unchecked.accepted: use only defined subst variables

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_upload.py: only send mail to tracking server if accepted to real suite

templates/process-unchecked.accepted: use only defined subst variables

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/process_upload.py: add missing "not"; set subst variable at the right time

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_upload.py: add missing "not"; set subst variable at the right time

db schema 80

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rename policy queues

proposedupdates is now stable-new
oldproposedupdates is now oldstable-new

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/process_upload.py: set __ANNOUNCE_LIST_ADDRESS__ subst variable

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_upload.py: set __ANNOUNCE_LIST_ADDRESS__ subst variable

grant usage for world

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/dakdb/update79.py: Use || operator instead of CONCAT to make postgresql 9.0 happy

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/dakdb/update79.py: Use || operator instead of CONCAT to make postgresql 9.0 happy

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/dakdb/update79.py: add world schema and new stable views

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/dakdb/update79.py: add world schema and new stable views

need a qdir, the dirnames are different to queuenames

Signed-off-by: Joerg Jaspert <joerg@debian.org>

name tmux window after the changes filename

Signed-off-by: Joerg Jaspert <joerg@debian.org>

No longer present file listing, we have it elsewhere anyways

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/examine_package.py: dereference symlink by using ls -lL
  dak/examine_package.py: use basename of .deb to get package name

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/examine_package.py: dereference symlink by using ls -lL

This still shows the full path, but at least it shows the correct size
instead of just a symlink to another file.

dak/examine_package.py: use basename of .deb to get package name

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/dakdb/update78.py: alter permissions for new tables and set default permissions
  daklib/dbconn.py: DBBinary.get_component_name is gone, use PoolFile.component instead

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/dakdb/update78.py: alter permissions for new tables and set default permissions

Revert "daklib/dbconn.py: use apt_pkg.TagSection instead of implementing our own parser"

This reverts commit 1b70efbb284c409256589036ffe6d54c832421ea.

Problem: The TagSection code strips leading whitespace (here, newline and space),
which generates wrong data for us.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/dbconn.py: DBBinary.get_component_name is gone, use PoolFile.component instead

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/policy.py: also import Suite from daklib.dbconn

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/policy.py: also import Suite from daklib.dbconn

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/checks.py: set control variable

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/checks.py: set control variable

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  config/debian/common: also process BYHAND
  dak/process_new.py: auto-accept uploads if we have all overrides

Signed-off-by: Joerg Jaspert <joerg@debian.org>

config/debian/common: also process BYHAND

dak/process_new.py: auto-accept uploads if we have all overrides

Merge remote-tracking branch 'ansgar/pu/multiarchive-2' into merge

* ansgar/pu/multiarchive-2: (51 commits)
  dak/show_new.py: remove obsolete import
  config/debian/*: update for multiarchive changes
  dak/contents.py, daklib/contents.py: add archive option
  dak/export.py, daklib/policy.py: ignore existing files
  Revert "config/*/common: do not touch incoming"
  add export-suite subcommand to export a suite to a flat directory
  dak/clean_suites.py: allow limiting file removal to specific archives
  dak/process_upload.py: ignore non-existing files when rejecting
  dak/process_upload.py: add missing import
  daklib/archive.py: try to get all source files from pool, even when listed in changes
  daklib/archive.py: also ignore files from .changes that do not exist
  daklib/archive.py: ignore missing source files when copying to temporary directory
  dak/dakdb/update75.py: fix adding architectures for new and byhand
  dak/clean_suites.py: implement per-archive stay of execution
  dak/dakdb/update77.py: move stayofexecution to the database
  dak/control_suite.py: prefetch files table when looking up a binary or source package
  dak/generate_releases.py: add archive option
  dak/generate_packages_sources2.py: add archive option
  indicate who rejected a package
  config/*/dinstall.functions: include Built-Using sources
  ...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/show_new.py: remove obsolete import

config/debian/*: update for multiarchive changes

dak/contents.py, daklib/contents.py: add archive option