include backports archive in (pool) sync

dak.conf-backports: change location of removal logs

Merge remote-tracking branch 'origin/master'

Generate backports-new.html

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  mkchecksums: store md5sums in correct location
  backports queued: pid and log files are in run subdirectory.
  backports queued: forward uploads to ftp-master

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix dm_suites var

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mkchecksums: store md5sums in correct location

We cannot use $indices as the location is specific to each archive.

backports queued: pid and log files are in run subdirectory.

backports queued: forward uploads to ftp-master

misleading log msg

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  config/debian/apache.conf-incoming: add buildd-squeeze-backports alias
  config/debian/dak.conf: no longer reject uploads to squeeze-backports

Signed-off-by: Joerg Jaspert <joerg@debian.org>

also push the backports archive

Signed-off-by: Joerg Jaspert <joerg@debian.org>

config/debian/apache.conf-incoming: add buildd-squeeze-backports alias

config/debian/dak.conf: no longer reject uploads to squeeze-backports

adjust for backports merge

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/import.py: commit after each imported package

config/debian/common: make sure old-style buildd directory exists

An empty build queue would result in $incoming/dists/$suite/buildd no
longer existing. This later triggers an error.

config/debian/*: generate old-style buildd archive for squeeze-backports

The suite will be needed until the squeeze-backports buildds switch to the new
location.

parse_file_list: really handle files without an entry in the Files field

We have to raise an exception right away after all if "entry" is None as we
later assign to "entry['sha*sum']".

parse_file_list: handle files without an entry in the Files field

If a file is only listed in the Checksums-* fields, "entry" will be None and we
cannot call the get method to compare the size in the different fields.

This change just skips the comparison when "entry" is None. We can do this as
we later check that each entry has all required checksums (i.e. is listed in
Files and the Checksums-* fields).

Stop processing uploads to forbidden suites earlier.

config/debian/dinstall.functions: create ${archiveroot}/indices

Use /bin/bash as interpreter.

Since 5390eff0ba7a732269f040b0a4c4a3b9a0db2733 we use a few bash
features like arrays in config/debian/vars.

config/debian/dak.conf-backports: correct path to log and lock directories

dak/process_new.py: document -q/--queue option

dak/admin.py: suite add has a archive=ARCHIVE option.

config/debian/cron.hourly: import backports acl

First set of dinstall changes for backports merge

Still missing is everything that makes the backports archive public,
e.g. the mirror push itself.

Use backports-new by default in process-new and queue-report.

Restore __WARNINGS__ in NEW mail template.

remove arm/hppa keyrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

scripts/debian/byhand-di: don't append -proposed-updates if it's already there

A .changes file might upload directly to a *-proposed-updates suite. We do not
want to append another -proposed-updates in this case.

debianqueued: set LC_ALL in the environment

Make sure all processes we start also run in the C locale.

queued currently parses the output from gpg to get the name of the
person who signed an upload. A better fix would be to pass --with-colon
to gpg, but as this information is only used for logging anyway...

debianqueued: open ftp connection when trying to upload .dak-commands

dak/acl.py: only add fingerprints from active keyrings to an ACL.

dak/acl.py: allow comments and empty lines

dak/acl.py: raise an exception when an unknown selector is used

dak/acl.py: allow to filter by keyring

This is intended to be used for the backports ACL to allow all buildd
keys to upload.

debianqueued: add armhf and s390x keyrings for security-master.

debianqueued: move log and pid files to run directory for security archive

daklib/archive.py: Use correct variable for the rejected suite.

Handle *.dak-commands files owned by a different user.

include Built-Using sources in Sources indices

Bug: http://bugs.debian.org/657212

config/debian/cron.monthly: debianqueued now runs as dak-unpriv

config/debian/dak.conf: keep dak-unpriv user in postgres

dak show-deferred now runs as dak-unpriv and needs a (read-only) database
connection.

Run debianqueued as dak-unpriv.

We also need to run show-deferred as dak-unpriv as it changes
permissions of some files in the deferred queues.

debianqueued: move log and pid files to run subdirectory

The dak-unpriv user needs to be able to write these files.

debianqueued: remove current directory from @INC

<Files> matches only the basename, so wrap it inside a <Directory> block

config/debian/apache.conf-incoming: allow access to robots.txt

Stop generating dm-uploaders.html.

dm-uploaders.html is huge (74 MB) which makes is unusable. DM upload
permissions can now be seen in dm.txt.

Add robots.txt for incoming.debian.org.

Files on incoming.debian.org only exist for a short while so it makes no
sense to have them indexed.

dak/process_new.py: show target suite and changed-by

dak/show_new.py: use apply_async instead of map_async

The map variant established multiple database connections in each worker
exceeding the maximum number of connections configured in PostgreSQL.
apply_async doesn't have this problem with our wrapper in DakProcessPool.

However as a regression we longer have a timeout and always have to wait for
the job to finish. This could be worked around by using the timeout function
for individual results.

config/debian/dak.conf: There is no dak group.

dak/show_new.py: set examine_package.use_html before creating worker pool

We want examine_package.use_html to be set everywhere. So we have to
change it before we create the worker pool.

This was broken by 24cb4fe2729e5805e8a9d81149dce947787ee20d where the
worker pool was setup earlier.

show-new: run lintian as unprivileged user

As dak/examine_package.py is also used by process-new we cannot run
lintian unconditionally as the unprivileged user. Therefore move the
Unpriv{User,Group} setting from the database to a (group-specific)
dak.conf.

dak/admin.py: add new subcommand to add buildd keyring

This also creates a new ACL which is not fun to do by hand.

Export buildd queues on security archive.

apache.conf-incoming: add alias for /debian-buildd.

scriptdir vs. scriptsdir is confusing

Export buildd queues to public location

The dists/ directory should be updated as atomic as possible. Therefore
buildds access a copy that can be updated with two file renames.

dak/show_new.py: setup worker pool before connecting to database

daklib/archive.py: always copy files instead of using symlinks

Some files in pool locations might not be accessible to the user dak runs
lintian as. So always copy the files and set appropriate permissions.

Bug: http://bugs.debian.org/689598

cruft-report: check for rdeps of arch:all packages on all architectures

When checking for reverse dependencies of sourceless arch:all packages
only those rdeps which were also arch-indep were detected.

Signed-off-by: Adam D. Barratt <adam@adam-barratt.org.uk>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use Squeezy key instead of the expired Lenny key.

%Y works so much nicer than  here

Signed-off-by: Joerg Jaspert <joerg@debian.org>

monthly rotation of the queued log on franck

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Configure dm-{remove,migrate}.

People allowed to use dm-{remove,migrate} are the keyring maintainers
and ftp masters for now.

Implement dm-remove and dm-migrate commands.

The dm-remove command can be used to remove all DM ACL entries for a
given fingerprint:

  Action: dm-remove
  Fingerprint: ...

The dm-migrate command can be used to migrate all DM ACL entries from
one key to another:

  Action: dm-migrate
  From: ...
  To: ...

daklib/upload.py: more verbose message for hash mismatches

Reported-by: Laszlo Kajan <lkajan@rostlab.org>

daklib/checks.py: name of local variable changed: what -> filename

When moving the hash validation in e6b1c633b7127f1d2ef938b7ea2181ce9e184906
one occurrence of "what" was not changed to "filename".

Check hashes from .changes before loading .dsc.

Do not load .dsc to check if an upload is sourceful.

This caused an error when rejecting an upload with an invalid .dsc.

We also do not want to load the .dsc before we have made sure it matches the
hash from the .changes.

daklib/archive.py: don't fail in prepare() if the .dsc is invalid

We only need the .dsc here to try and grab any files not included in the
upload. If there is an error loading the .dsc, do not throw an exception here,
but do so later instead.

debianqueued: check pgp signature before any further processing

As we no longer look at the file in the case of a bad signature, we
cannot know the maintainer address and this cannot send a mail about
the bad signature.

debianqueued: make pgp_check stricter

config/debian/cron.hourly: remove unchecked lock on failure

daklib/policy.py: REJECT.* files should not be executable

dak/process_policy.py: handle rejecting the same package twice

dak/generate_releases.py: Add -q option to be a bit more quiet

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

debianqueued: escape "." in ".changes" in regular expression

Reported-by: Jakub Wilk <jwilk@debian.org>
Reference: https://lists.debian.org/debian-dak/2012/12/msg00016.html

debianqueued: use POSIX::access to check for write access

debianqueued: don't use shell to start gpg

debianqueued: remove unused variables

debianqueued: use Perl, not shell

debianqueued: construct Digest::MD5 object before trying to use it

debianqueued: only start processing files with a sane name

debianqueued: remove two no longer used functions

debianqueued: use three argument form of open() in most places

debianqueued: remove notifications for incomplete uploads

We do not want to inspect unsigned files if we can avoid doing so.

This also fixes get_maintainer not making sure the filename is safe to pass to
shell commands by removing the function.

debianqueued: use Digest::MD5 instead of external md5sum binary

debianqueued: use stricter filename pattern

The new pattern is taken from daklib/regexes.py.

sanitize  variable before using it

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/checks.py: fix index in format string

dak/generate_releases.py: pull components from the database

Address FIXME that talks about pulling Components from the DB.

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

update93.py: update world.files-1 to handle backports archive on ftp-master

The addition of the backports archive on ftp-master broke the assumption
that only one of the backports, ftp-master and security archives exist.

config/debian/dak.conf: reject uploads to squeeze-backports

We do not want to accept uploads to squeeze-backports on ftp-master for
now.

Merge remote-tracking branch 'origin/master'

remove DMUA flag handling

drop usage of the DMUA flag, only use the new ACL set, as announced in
https://lists.debian.org/debian-devel-announce/2012/09/msg00012.html
and
https://lists.debian.org/debian-devel-announce/2012/09/msg00008.html

Signed-off-by: Joerg Jaspert <joerg@debian.org>