make the export dir for (o-)p-u-new a bit more atomic

Signed-off-by: Joerg Jaspert <joerg@debian.org>

silence

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/new' into merge

* drkranz/new:
  Restore correct visualization of binary-NEW uploads only

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Restore correct visualization of binary-NEW uploads only

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

remove newstage function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  config/debian/cron.weekly: use bash

Signed-off-by: Joerg Jaspert <joerg@debian.org>

config/debian/cron.weekly: use bash

add archive option

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/make_changelog.py: update for multiarchive changes
  dak/make_maintainers.py: add archive option

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/make_changelog.py: update for multiarchive changes

dak/make_maintainers.py: add archive option

bad )

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove concat function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/contents.py: use filter() instead of filter_by()

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/contents.py: use filter() instead of filter_by()

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/make_pkg_file_mapping.py: update for multi-archive changes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall function changes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/make_pkg_file_mapping.py: update for multi-archive changes

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/lists.py: update for multiarch changes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/lists.py: update for multiarch changes

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/queue_report.py: variables are also used in 'else' branch

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/queue_report.py: variables are also used in 'else' branch

work, you beast

Signed-off-by: Joerg Jaspert <joerg@debian.org>

renames

Signed-off-by: Joerg Jaspert <joerg@debian.org>

want to use something from common? source it, bastard

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/queue_report.py: use right variable
  dak/generate_releases.py: handle empty list of signingkeys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/queue_report.py: use right variable

dak/generate_releases.py: handle empty list of signingkeys

lalala

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dpkg is too stupid, use apt

Signed-off-by: Joerg Jaspert <joerg@debian.org>

right var name

Signed-off-by: Joerg Jaspert <joerg@debian.org>

its suite not dist

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/export_suite.py: skip existing files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

right version

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate incoming.d.o view

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/export_suite.py: skip existing files

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/generate_packages_sources2.py: also import Archive from daklib.dbconn
  dak/generate_packages_sources2.py: remove .all() when we need the query object

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/generate_packages_sources2.py: also import Archive from daklib.dbconn

dak/generate_packages_sources2.py: remove .all() when we need the query object

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/export.py: be silent

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/export.py: be silent

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  send announcement only for sourceful uploads

Signed-off-by: Joerg Jaspert <joerg@debian.org>

send announcement only for sourceful uploads

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/archive.py: session → self.session

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: session → self.session

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/archive.py: use target suite as source_suite when installing to build queues
  daklib/archive.py: doc: only subqueries are accepted
  daklib/archive.py: use only enhanced suites as default source_suites
  don't send mails about accepted buildd uploads to maintainer
  dak/process_upload.py: include full changes file with signature

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: use target suite as source_suite when installing to build queues

daklib/archive.py: doc: only subqueries are accepted

daklib/archive.py: use only enhanced suites as default source_suites

don't send mails about accepted buildd uploads to maintainer

dak/process_upload.py: include full changes file with signature

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/process_upload.py: only send mail to tracking server if accepted to real suite
  templates/process-unchecked.accepted: use only defined subst variables

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_upload.py: only send mail to tracking server if accepted to real suite

templates/process-unchecked.accepted: use only defined subst variables

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/process_upload.py: add missing "not"; set subst variable at the right time

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_upload.py: add missing "not"; set subst variable at the right time

db schema 80

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rename policy queues

proposedupdates is now stable-new
oldproposedupdates is now oldstable-new

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/process_upload.py: set __ANNOUNCE_LIST_ADDRESS__ subst variable

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/process_upload.py: set __ANNOUNCE_LIST_ADDRESS__ subst variable

grant usage for world

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/dakdb/update79.py: Use || operator instead of CONCAT to make postgresql 9.0 happy

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/dakdb/update79.py: Use || operator instead of CONCAT to make postgresql 9.0 happy

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/dakdb/update79.py: add world schema and new stable views

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/dakdb/update79.py: add world schema and new stable views

need a qdir, the dirnames are different to queuenames

Signed-off-by: Joerg Jaspert <joerg@debian.org>

name tmux window after the changes filename

Signed-off-by: Joerg Jaspert <joerg@debian.org>

No longer present file listing, we have it elsewhere anyways

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/examine_package.py: dereference symlink by using ls -lL
  dak/examine_package.py: use basename of .deb to get package name

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/examine_package.py: dereference symlink by using ls -lL

This still shows the full path, but at least it shows the correct size
instead of just a symlink to another file.

dak/examine_package.py: use basename of .deb to get package name

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  dak/dakdb/update78.py: alter permissions for new tables and set default permissions
  daklib/dbconn.py: DBBinary.get_component_name is gone, use PoolFile.component instead

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/dakdb/update78.py: alter permissions for new tables and set default permissions

Revert "daklib/dbconn.py: use apt_pkg.TagSection instead of implementing our own parser"

This reverts commit 1b70efbb284c409256589036ffe6d54c832421ea.

Problem: The TagSection code strips leading whitespace (here, newline and space),
which generates wrong data for us.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/dbconn.py: DBBinary.get_component_name is gone, use PoolFile.component instead

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/policy.py: also import Suite from daklib.dbconn

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/policy.py: also import Suite from daklib.dbconn

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  daklib/checks.py: set control variable

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/checks.py: set control variable

Merge remote-tracking branch 'ansgar/pu/multiarchive-2'

* ansgar/pu/multiarchive-2:
  config/debian/common: also process BYHAND
  dak/process_new.py: auto-accept uploads if we have all overrides

Signed-off-by: Joerg Jaspert <joerg@debian.org>

config/debian/common: also process BYHAND

dak/process_new.py: auto-accept uploads if we have all overrides

Merge remote-tracking branch 'ansgar/pu/multiarchive-2' into merge

* ansgar/pu/multiarchive-2: (51 commits)
  dak/show_new.py: remove obsolete import
  config/debian/*: update for multiarchive changes
  dak/contents.py, daklib/contents.py: add archive option
  dak/export.py, daklib/policy.py: ignore existing files
  Revert "config/*/common: do not touch incoming"
  add export-suite subcommand to export a suite to a flat directory
  dak/clean_suites.py: allow limiting file removal to specific archives
  dak/process_upload.py: ignore non-existing files when rejecting
  dak/process_upload.py: add missing import
  daklib/archive.py: try to get all source files from pool, even when listed in changes
  daklib/archive.py: also ignore files from .changes that do not exist
  daklib/archive.py: ignore missing source files when copying to temporary directory
  dak/dakdb/update75.py: fix adding architectures for new and byhand
  dak/clean_suites.py: implement per-archive stay of execution
  dak/dakdb/update77.py: move stayofexecution to the database
  dak/control_suite.py: prefetch files table when looking up a binary or source package
  dak/generate_releases.py: add archive option
  dak/generate_packages_sources2.py: add archive option
  indicate who rejected a package
  config/*/dinstall.functions: include Built-Using sources
  ...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/show_new.py: remove obsolete import

config/debian/*: update for multiarchive changes

dak/contents.py, daklib/contents.py: add archive option

dak/export.py, daklib/policy.py: ignore existing files

The same upstream tarball can be used by multiple uploads so we have to
ignore already existing files.

Revert "config/*/common: do not touch incoming"

This reverts commit 58fc1503ab1484b42e66a93155441634eff6e604.

add export-suite subcommand to export a suite to a flat directory

dak/clean_suites.py: allow limiting file removal to specific archives

This allows us to remove all obsolete files from the NEW queue even when
the maximum number of removals would be reached normally.

dak/process_upload.py: ignore non-existing files when rejecting

dak/process_upload.py: add missing import

daklib/archive.py: try to get all source files from pool, even when listed in changes

daklib/archive.py: also ignore files from .changes that do not exist

daklib/archive.py: ignore missing source files when copying to temporary directory

dak/dakdb/update75.py: fix adding architectures for new and byhand

dak/clean_suites.py: implement per-archive stay of execution

dak/dakdb/update77.py: move stayofexecution to the database

i bet noone uses this stuff, so i dont care. off with pipefail

Signed-off-by: Joerg Jaspert <joerg@debian.org>

* config/debian/dinstall.functions: Fix up mklslar a bit

Signed-off-by: Joerg Jaspert <joerg@debian.org>