Merge remote-tracking branch 'drkranz/p-n' into merge

* drkranz/p-n:
  Do not hardcode suite names
  Simplify code to avoid executing the same query twice
  Use a better name for function name and output string
  source should not be a list

Do not hardcode suite names

Simplify code to avoid executing the same query twice

Use a better name for function name and output string

source should not be a list

Merge remote-tracking branch 'drkranz/changelogs' into merge

* drkranz/changelogs:
  Define changelog export directory for backports
  Automatically remove empty directories
  Generate a listing of the exported files
  Fix number of removed files when rmtree'ing directories

Define changelog export directory for backports

Automatically remove empty directories

Generate a listing of the exported files

Fix number of removed files when rmtree'ing directories

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  make-changelog: use a better separator for extracted files

make-changelog: use a better separator for extracted files

Merge branch 'merge'

* merge:
  make-changelog: implement progress option

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  make-changelog: implement progress option

make-changelog: implement progress option

turn off until the long manual run is done

make-changelog: fix wrong field name in the SQL query

make-changelog. document --archive option

Improve reporting of processed packages in NEW

Use distinct() to avoid listing duplicated claimed overrides

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  process-new: display existing overrides

process-new: display existing overrides

Display overrides belonging to other sources to avoid accepting
packages which "steal" binary packages (Closes: #697729).

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Add md5sum-mismatch tag to nonfatal autoreject list (Closes: #688300)
  Finds newer or equal versions in lowersuite_name
  queue-report: sort changes correctly (Closes: #704231)
  dak: ls: Calculate optimal column sizes

Add md5sum-mismatch tag to nonfatal autoreject list (Closes: #688300)

Finds newer or equal versions in lowersuite_name

This is particularly useful when the same package has migrated
to a different suite (e.g. t-p-u -> testing), so it is displayed
in cruft-report to be manually removed.

queue-report: sort changes correctly (Closes: #704231)

dak: ls: Calculate optimal column sizes

If a package name is longer than 10 characters, or a version
longer than 13 characters, columns had different widths in
different rows. By calculating the maximum column size and
using that instead of hard-coded values, we have a nice
table again (Closes: #705289).

Add world.site_summary view.

The view is used by the backports team to generate a listing of packages in the
backports suites.

dak.conf-backports: Actually set Dinstall::MyAdminAddress

b9e1322334152efd870a0ad6ddf0df819d05b4a3 had a "Dinstall::" prefix even though
the variable was set inside a "Dinstall" block.

Remove dak/metadata.py and daklib/metadata.py.

dak imports package metadata at installation time for some time already.
There is no longer need for an extra subcommand to do so.

dak.conf-backports: Change Dinstall::MyAdminAddress

The backports team address should be used as From for rejections from the
backports-new queue. As this is written into the REJECT.* file by process-new,
we can just change it here.

Require SHA-1 and SHA-256 checksums in "files" table

We are already assuming that these are never NULL in several places, for
example generate-packages-sources2.

Add missing sections to database init script

Update the list of sections to the latest version of the Debian policy,

Merge remote-tracking branch 'dktrkranz/fixes'

s/team@backports.d.o/backports-team@d.o/

Colorize Pre-Depends packages too

processnew.lock is no longer required

include backports archive in (pool) sync

dak.conf-backports: change location of removal logs

Merge remote-tracking branch 'origin/master'

Generate backports-new.html

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  mkchecksums: store md5sums in correct location
  backports queued: pid and log files are in run subdirectory.
  backports queued: forward uploads to ftp-master

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix dm_suites var

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mkchecksums: store md5sums in correct location

We cannot use $indices as the location is specific to each archive.

backports queued: pid and log files are in run subdirectory.

backports queued: forward uploads to ftp-master

misleading log msg

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  config/debian/apache.conf-incoming: add buildd-squeeze-backports alias
  config/debian/dak.conf: no longer reject uploads to squeeze-backports

Signed-off-by: Joerg Jaspert <joerg@debian.org>

also push the backports archive

Signed-off-by: Joerg Jaspert <joerg@debian.org>

config/debian/apache.conf-incoming: add buildd-squeeze-backports alias

config/debian/dak.conf: no longer reject uploads to squeeze-backports

adjust for backports merge

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/import.py: commit after each imported package

config/debian/common: make sure old-style buildd directory exists

An empty build queue would result in $incoming/dists/$suite/buildd no
longer existing. This later triggers an error.

config/debian/*: generate old-style buildd archive for squeeze-backports

The suite will be needed until the squeeze-backports buildds switch to the new
location.

parse_file_list: really handle files without an entry in the Files field

We have to raise an exception right away after all if "entry" is None as we
later assign to "entry['sha*sum']".

parse_file_list: handle files without an entry in the Files field

If a file is only listed in the Checksums-* fields, "entry" will be None and we
cannot call the get method to compare the size in the different fields.

This change just skips the comparison when "entry" is None. We can do this as
we later check that each entry has all required checksums (i.e. is listed in
Files and the Checksums-* fields).

Stop processing uploads to forbidden suites earlier.

config/debian/dinstall.functions: create ${archiveroot}/indices

Use /bin/bash as interpreter.

Since 5390eff0ba7a732269f040b0a4c4a3b9a0db2733 we use a few bash
features like arrays in config/debian/vars.

config/debian/dak.conf-backports: correct path to log and lock directories

dak/process_new.py: document -q/--queue option

dak/admin.py: suite add has a archive=ARCHIVE option.

config/debian/cron.hourly: import backports acl

First set of dinstall changes for backports merge

Still missing is everything that makes the backports archive public,
e.g. the mirror push itself.

Use backports-new by default in process-new and queue-report.

Restore __WARNINGS__ in NEW mail template.

remove arm/hppa keyrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

scripts/debian/byhand-di: don't append -proposed-updates if it's already there

A .changes file might upload directly to a *-proposed-updates suite. We do not
want to append another -proposed-updates in this case.

debianqueued: set LC_ALL in the environment

Make sure all processes we start also run in the C locale.

queued currently parses the output from gpg to get the name of the
person who signed an upload. A better fix would be to pass --with-colon
to gpg, but as this information is only used for logging anyway...

debianqueued: open ftp connection when trying to upload .dak-commands

dak/acl.py: only add fingerprints from active keyrings to an ACL.

dak/acl.py: allow comments and empty lines

dak/acl.py: raise an exception when an unknown selector is used

dak/acl.py: allow to filter by keyring

This is intended to be used for the backports ACL to allow all buildd
keys to upload.

debianqueued: add armhf and s390x keyrings for security-master.

debianqueued: move log and pid files to run directory for security archive

daklib/archive.py: Use correct variable for the rejected suite.

Handle *.dak-commands files owned by a different user.

include Built-Using sources in Sources indices

Bug: http://bugs.debian.org/657212

config/debian/cron.monthly: debianqueued now runs as dak-unpriv

config/debian/dak.conf: keep dak-unpriv user in postgres

dak show-deferred now runs as dak-unpriv and needs a (read-only) database
connection.

Run debianqueued as dak-unpriv.

We also need to run show-deferred as dak-unpriv as it changes
permissions of some files in the deferred queues.

debianqueued: move log and pid files to run subdirectory

The dak-unpriv user needs to be able to write these files.

debianqueued: remove current directory from @INC

<Files> matches only the basename, so wrap it inside a <Directory> block

config/debian/apache.conf-incoming: allow access to robots.txt

Stop generating dm-uploaders.html.

dm-uploaders.html is huge (74 MB) which makes is unusable. DM upload
permissions can now be seen in dm.txt.

Add robots.txt for incoming.debian.org.

Files on incoming.debian.org only exist for a short while so it makes no
sense to have them indexed.

dak/process_new.py: show target suite and changed-by

dak/show_new.py: use apply_async instead of map_async

The map variant established multiple database connections in each worker
exceeding the maximum number of connections configured in PostgreSQL.
apply_async doesn't have this problem with our wrapper in DakProcessPool.

However as a regression we longer have a timeout and always have to wait for
the job to finish. This could be worked around by using the timeout function
for individual results.

config/debian/dak.conf: There is no dak group.

dak/show_new.py: set examine_package.use_html before creating worker pool

We want examine_package.use_html to be set everywhere. So we have to
change it before we create the worker pool.

This was broken by 24cb4fe2729e5805e8a9d81149dce947787ee20d where the
worker pool was setup earlier.

show-new: run lintian as unprivileged user

As dak/examine_package.py is also used by process-new we cannot run
lintian unconditionally as the unprivileged user. Therefore move the
Unpriv{User,Group} setting from the database to a (group-specific)
dak.conf.

dak/admin.py: add new subcommand to add buildd keyring

This also creates a new ACL which is not fun to do by hand.

Export buildd queues on security archive.

apache.conf-incoming: add alias for /debian-buildd.

scriptdir vs. scriptsdir is confusing

Export buildd queues to public location

The dists/ directory should be updated as atomic as possible. Therefore
buildds access a copy that can be updated with two file renames.

dak/show_new.py: setup worker pool before connecting to database