use yaml.safe_{load,dump} functions

The yaml.load() function can run arbitrary code, the safe_load() variant only
understands a safe subset of YAML which is enough for dak.

daklib/archive.py: fix copying between components

The _copy_file() method needs to check if the file is already in the target
component. Having it in any component is not enough if it should be copied to
an additional component in the same archive.

daklib/archive.py: allow copying files between components

Copying files between components is useful when a package moves between
components as otherwise the .changes would have to include the upstream
tarball (even if it did not change).

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Run clean-suites after processing policy queues

Files belonging to rejected uploads should be removed as soon as possible in
case a modified package with the same version is uploaded.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

daklib/dbconn.py: one relation from components to suites is enough.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Merge remote-tracking branch 'origin/master'

Import only primary key fingerprints from keyring.

Reference: https://lists.debian.org/debian-project/2013/09/msg00039.html
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Merge remote-tracking branch 'mithrandir/master' into merge

* mithrandir/master:
  dak/admin.py: Add commands to manipulate the suite-component mapping
  daklib/dbconn.py: Add relation from a component to the suites that include it
  dak/update_db.py: Allow version numbers > 99 in db
  Drop unused function get_architecture_suites()
  Only publish components in suites where they exist.
  daklib/dbconn.py: Typo, quotes
  dak/dakdb/update100.py: Add component - suite mapping table
  dak/admin.py: optionally output the archive as well as the suite name in suite list
  dak/admin.py: add component management commands
  dak/admin.py: use get_archive wrapper, simplifying the code slightly
  Add ordering to component table and use this when checking policy
  Add support for rm-ing suites

dak/admin.py: Add commands to manipulate the suite-component mapping

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

daklib/dbconn.py: Add relation from a component to the suites that include it

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

dak/update_db.py: Allow version numbers > 99 in db

max(['100', '99]) returns '99', not '100', so switch order around a
bit to allow for higher versions.

Signed-off-by: Tollef Fog Heen <tfheen@err.no>

Drop unused function get_architecture_suites()

Not in use, and fixes a TODO item

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

Only publish components in suites where they exist.

When generating the sources and packages file, just generate those
that should exist, according to the component_suite mapping.

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

daklib/dbconn.py: Typo, quotes

Avoid confusing emacs' syntax highlighter by switching the types of
quotes for a docstring and fix a typo

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

dak/dakdb/update100.py: Add component - suite mapping table

This table will be used to only expose certain components in certain
suites.

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

dak/admin.py: optionally output the archive as well as the suite name in suite list

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

dak/admin.py: add component management commands

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

dak/admin.py: use get_archive wrapper, simplifying the code slightly

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

Add ordering to component table and use this when checking policy

This allows us to accept source-only into
other components than {main,contrib,non-free}.

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

Add support for rm-ing suites

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

ddtp-i18n-check.sh: testing is jessie

Revert "Finds newer or equal versions in lowersuite_name"

This reverts commit 76b59a19769bc4468e528bb1e35623da2bc6ad5c.

In case packages in testing get binNMU'ed, testing-proposed-updates will
contain the same source version as testing, but binaries with a higher
version. The cruft-report should not suggest removing these packages.

dont sleep and code. i now know why we have <> there. meh

Signed-off-by: Joerg Jaspert <joerg@debian.org>

a -f or an rm does enable gzip to work...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Whyever we had <> there, remove them.
added benefit of actually removing the uncompressed version

Signed-off-by: Joerg Jaspert <joerg@debian.org>

lintian.tags: reject uploads with files in /run, /var/lock or /var/run

Reference: http://lists.debian.org/debian-devel/2012/10/msg00094.html

Merge remote-tracking branch 'drkranz/stats' into merge

* drkranz/stats:
  Generate NEW queue stats daily
  Implement stats related to NEW processing
  Implement get_users_from_ldap function

Generate NEW queue stats daily

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Implement stats related to NEW processing

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Implement get_users_from_ldap function

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

daklib/checks.py: make sure all fields in control files are UTF-8

Reference: http://bugs.debian.org/717851

dak/generate_index_diffs.py: stop using deprecated settings from dak.conf

config/debian/dak.conf: remove deprecated settings

Remove some deprecated settings from the main archive configuration.

config/debian-security/*: remove deprecated settings

Remove some deprecated settings from the security archive configuration.

dak/rm.py: remove some output

Deciding which packages to remove became much quicker now that only the
database is queried and no files are accessed. So the indication that work is
in progress is no longer needed.

dak/rm.py: add -B/--binary-only option

Add an option to remove all binaries built by a given source package, but
keep the source package. This is useful in addition with -a/--architecture.

dak/rm.py: rename Binary-Only to Binary

The -b option selects packages by binary name instead of source name.

config/debian/dinstall.functions: add timestamps for Packages/Sources and Contents

config/debian-security/cron.buildd: use new buildd queue location

dak/rm.py: Remove a now useless query.

dak/rm.py: use database instead of file access

The projectb database knows which binary packages is built from which
source package. So use this information instead of looking at the actual
files.

This makes the rm command faster and also works with an outdated version
of the archive, as for example present on the developer-accessible
mirror.

Stop calling export-suite for old buildd queues.

dak/dakdb/update98.py: Use DROP AGGREGATE for aggregate function.

dak/dakdb/update98.py: Remove an additional function.

Also remove the "space_separated_list" function which is present on
ftp-master and security-master, but which is not included in the
database schema dump.

sync-dd: exclude additional temporary files from sync

Disable old buildd queues.

Reference: <http://bugs.debian.org/706929>

sync-dd: ignore ftp and mirror even if they are symlinks

On the ftp-master mirror "ftp" and "mirror" are symlinks to a Debian
archive mirror. These should be left untouched even though they are not
directories.

daklib/dbconn.py: use global LDAP options for TLS

Using connection-specific options made the code fail when calling
simple_bind_s() for some reason.

daklib/dbconn.py: allow use with SQLAlchemy 0.8

Remove dak/find_null_maintainers.py

The find-null-maintainers command is not used anywhere and was broken
when I tried to run it.

Remove obsolete SQL functions.

Remove dak/import_ldap_fingerprints.py

Importing fingerprints from LDAP is now handled by import-keyring.

Add option to specify CAs to trust for LDAP connection over TLS

An explicit option makes us not rely on ldap.conf to be setup correctly
for dak's use of LDAP.

Merge remote-tracking branch 'dktrkranz/fixes'

Adjust obsolete_lintian_tags.pl to work with lintian 2.5.13

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

config/homedir/ssh/*: ries-sync3 is no longer used

sync-dd: exclude .nobackup

On the mirror a .nobackup file is present to exclude the mirror copy
from backups. Exclude it so that rsync will not delete the file.

Switch to a different way to update backports.debian.org mirrors.

dak.conf-etc: Update hostname for developer-accessible archive.

developer-accessible archive copy moved to coccia.debian.org

The developer-accessible copy of the archive moved to coccia.debian.org.
As there already is a mirror available, we use that instead of adding a
second copy in /srv/ftp-master.debian.org/ftp/.

sync-dd: No longer sync build-queues/ directory.

No longer generate i18n/Index.

add Auto-Submitted header to mails

Add an Auto-Submitted header in addition to the Precedence header.

debianqueued: add Precedence: bulk header to mails

stable point release: reminder to update main/i18n/Index for wheezy

new-security-install: run process-policy after we acquired the lock

We don't want cron.unchecked to do anything while we run process-policy.
Especially not running another process-policy process or moving files
out of queue/accepted/ while we are installing files there.

stable point release: mention -r0 additions, win32-loader

dinstall: no longer regenerate buildd queues

sync-dd: Add missing backslash.

sync-dd: exclude queue/bts_version_track

The files in bts_version_track are short-lived and often removed while
syncing the public mirror. This causes annoying complaint from rsync.
As there is nothing interesting there we can just not sync it.

Improve wording of rejection a bit more.

Many version checks fail because the uploaded version is identical to the one
already present. Make the message correct for that case as well.

Improve rejection message for version checks.

daklib/archive.py: handle byhand files without underscores

Make byhand-debian-faq executable.

Add byhand script for debian-faq.

byhand-win32-loader: first argument is full path to byhand file

The first argument is the full path to the byhand file, not just the
filename itself.

Merge remote-tracking branch 'origin/master'

daklib/archive.py: extension is optional for byhand rules

lintian.tags: remove missing-pre-dependency-on-multiarch-support

The tag was removed from lintian (2.5.13).

Allow timestamps in binary packages starting from 1975

Reference: <http://bugs.debian.org/710086#15>

daklib/checks.py: Add missing "self.".

cron.daily: nag backports team about pending uploads

Requested-by: Alexander Wirt <formorer@debian.org>

dak.conf-backports: use mailing list as contact address

Use the mailing list as contact address so that the BCC for rejections
and replies go there.

Requested-by: Alexander Wirt <formorer@debian.org>

dak.conf: only use ftpmaster@ftp-master.d.o

Use the same mail address for MyEmailAddress and MyAdminAddress. They
end in the same mailbox anyway.

daklib/checks.py: correct error message for hijacks

Return the binary package name for the error message and not the package
object.

daklib/upload.py: handle missing Architecture field like an empty one

This should allow dak to reject some more invalid uploads without throwing an
unhandled exception.

daklib/upload.py: handle missing Files (Checksums-*) fields like empty ones

The upload will still be rejected later, but process-upload will be
happier.

config/debian/lintian.tags: add non-standard-toplevel-dir as non-fatal

dak/check_archive.py: multi-archive adjustment for check_checksums()

Locations went away with the multi-archive changes, but
check_checksums() was still using them.

Reported-by: Matthias Klumpp <mak@debian.org>

stop using deprecated methods from apt_pkg

One occurence of apt_pkg.TagFile's Step() method was missed in
52c35949e1e7948a29133ffc9b24897d66af23c1.

Pass absolute path to queue directory to punew_do()

The new backports-policy queue exists in a different queue directory.

Process backports-policy queue.

Merge remote-tracking branch 'origin/master'

stop using deprecated methods from apt_pkg

More deprecated python-apt stuff:

  renamed methods in apt_pkg.TagFile:
    Section -> section
    Step    -> step

  renamed methods in apt_pkg.TagSection:
    Find    -> find

Reported-by: Matthias Klumpp <mak@debian.org>
Reference: https://lists.debian.org/debian-dak/2013/03/msg00028.html

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Fix glob regex, which generated wrong filenames
  Fix indentation

Fix glob regex, which generated wrong filenames

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Fix indentation

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Send copy of rejections to the rejector

Copies of rejections should go to the people responsible for the rejection and
not to the dak's mail address: if the backports team in Debian rejects uploads,
they should get the copy and not the ftp team.

Stop using deprecated functions from python-apt

A few deprecated functions from python-apt were still used:

  ParseDepends      -> parse_depends
  ParseSrcDepends   -> parse_src_depends
  ParseTagFile      -> TagFile
  ReadConfigFileISC -> read_config_file_isc

README.first: remove a bit old cruft