daklib/archive.py: don't fail in prepare() if the .dsc is invalid

We only need the .dsc here to try and grab any files not included in the
upload. If there is an error loading the .dsc, do not throw an exception here,
but do so later instead.

debianqueued: check pgp signature before any further processing

As we no longer look at the file in the case of a bad signature, we
cannot know the maintainer address and this cannot send a mail about
the bad signature.

debianqueued: make pgp_check stricter

config/debian/cron.hourly: remove unchecked lock on failure

daklib/policy.py: REJECT.* files should not be executable

dak/process_policy.py: handle rejecting the same package twice

dak/generate_releases.py: Add -q option to be a bit more quiet

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

debianqueued: escape "." in ".changes" in regular expression

Reported-by: Jakub Wilk <jwilk@debian.org>
Reference: https://lists.debian.org/debian-dak/2012/12/msg00016.html

debianqueued: use POSIX::access to check for write access

debianqueued: don't use shell to start gpg

debianqueued: remove unused variables

debianqueued: use Perl, not shell

debianqueued: construct Digest::MD5 object before trying to use it

debianqueued: only start processing files with a sane name

debianqueued: remove two no longer used functions

debianqueued: use three argument form of open() in most places

debianqueued: remove notifications for incomplete uploads

We do not want to inspect unsigned files if we can avoid doing so.

This also fixes get_maintainer not making sure the filename is safe to pass to
shell commands by removing the function.

debianqueued: use Digest::MD5 instead of external md5sum binary

debianqueued: use stricter filename pattern

The new pattern is taken from daklib/regexes.py.

sanitize  variable before using it

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/checks.py: fix index in format string

dak/generate_releases.py: pull components from the database

Address FIXME that talks about pulling Components from the DB.

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

update93.py: update world.files-1 to handle backports archive on ftp-master

The addition of the backports archive on ftp-master broke the assumption
that only one of the backports, ftp-master and security archives exist.

config/debian/dak.conf: reject uploads to squeeze-backports

We do not want to accept uploads to squeeze-backports on ftp-master for
now.

Merge remote-tracking branch 'origin/master'

remove DMUA flag handling

drop usage of the DMUA flag, only use the new ACL set, as announced in
https://lists.debian.org/debian-devel-announce/2012/09/msg00012.html
and
https://lists.debian.org/debian-devel-announce/2012/09/msg00008.html

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add archive rename command

Make it possible to rename archives using

     dak admin archive rename OLD NEW

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

Typo in comment

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

daklib/dbconn.py: use unicode workaround also for sqlalchemy 0.7

Reference: https://lists.debian.org/debian-dak/2012/11/msg00043.html

apache.conf-incoming: allow access from nagini.codelibre.net

Allow access from nagini.codelibre.net to allow testing sbuild-db.

dak/process_policy.py: don't try to copy files to accepted twice

We might already have copied files to accepted before, for example when
accepting multiple uploads that use the same upstream tarball. So we
have to ignore existing files here.

daklib/archive.py: give a nicer error message for already known .changes

Bug-Debian: http://bugs.debian.org/693163

dak/rm.py: also close forwarded bug reports

Bug-Debian: http://bugs.debian.org/693491

config/debian-security/cron.buildd: $DISTS should only be stable and testing

The archive now has more (private) suites for handling policy and build
queues. These are not of interest here.

config/debian-security/cron.unchecked: call process-upload before process-policy

This saves one run for uploads that are automatically accepted from the
policy queues (eg. buildd uploads for an already accepted source).

config/debian-security/cron.unchecked: calling process-policy once per queue is enough

dak/import.py: control -> source

Don' try to fix bugs while eating breakfast, you will miss things.

dak/import.py: control -> source

dak/import.py: use section_name variable where we need it

Improve dak/import.py.

Add new import subcommand.

daklib/upload.py: add from_file classmethods

Allow to create HashedFile, Binary and Source objects from existing files.
This will be used to directly import binary and source packages into an
archive.

daklib/archive.py: use right name for .dsc dict

config/debian-security/cron.unchecked: be silent

Make sure *.new directories do exist.

The directories will not be created by dak export / dak export-suite if
they have no files to put there.

Always regenerate policy queue exports.

Otherwise outdated symlinks will be kept around for a while after
dak new-security-install was run until cron.unchecked does some real
work again.

dak/make_changelog.py: use correct column name

make_changelog.py: typo

Only move accepted files in cron.unchecked

This avoids triggering the taint check in spawn().

dak/export_suite.py: add workaround to allow exporting broken build queues

config/debian-security/cron.unchecked: export policy queues in old format

config/debian-security/cron.weekly: only regenerate Release for public archive

config/debian-security/cron.daily: use explicit list of suites

config/debian-security/cron.unchecked: just run process-policy to see if there were files to process

dak/new_security_install.py: remove reference to newstage

config/debian-security/cron.unchecked: fix gpg call, use correct description

daklib/archive.py (install_source): always copy source files to target archive

dak/export_suite.py: same file might be in multiple components

Use first() instead of one() in case the file is available in multiple
components.

dak/export_suite.py: take archive file for the archive we are exporting from

config/debian-security/cron.unchecked: pass right override file

apt-ftparchive appends '.src' on its own when generating Sources.

Revert "config/debian/common: pass source overrides to apt-ftparchive sources"

This reverts commit f92f5bd318e254805016bb9b92ee683f912d3cf2.

daklib/archive.py (_binary_override): evaluate component mapping

daklib/archive.py: add warning explaining why a package is NEW

dak/process_upload.py: show warnings when processing upload

dak/dakdb/update75.py: handle "/" in component names.

make-changelog: add archive option

We do not want to export changelogs for policy queues such as embargoed.

config/debian-security/*: More updates for multiarchive changes.

config/debian/common: pass source overrides to apt-ftparchive sources

config/debian-security/cron.*: update for multiarchive changes

First set of updates for multiarchive changes.

dak/new_security_install.py: Update for multiarchive changes.

newstage is gone. Instead we need to run process-policy and grab
accepted files from $queuedir/accepted.

dak/process_policy.py: Add option to copy accepted packages somewhere

To sync packages accepted into the security archive to the main archive
we need to grab all accepted uploads. The right time to do so is when we
install them from the policy queue into the public archive, ie. in
process-policy.

dak/generate_releases.py: create worker pool before connection to database

We do not want to have the file descriptor for the database connection
in the worker processes.

import_dataset.sh: use shell redirection instead of cat

This will give an error when ${INPUTFILE} does not exist instead of feeding an
empty input to control-suite.

include only packages in the right component in Sources

Having overrides for the same package in multiple components should not
cause source packages to be listed in the wrong Sources index.

Reference: https://lists.debian.org/debian-mirrors/2012/09/msg00020.html

dak/generate_releases.py: also add the ugly hack for wheezy-updates

config/debian/dak.conf: add suite map for {wheezy,testing}-updates

dak/examine_package.py: remove confusing parentheses

Merge remote-tracking branch 'dktrkranz/fixes'

scripts/debian/sync-dd: rsync should stay quiet

Pass basename as title parameter to foldable_output function

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

scripts/debian/sync-dd: add two missing backslashes

push mirror on ries instead of having ries pull from franck

let cron.reboot sleep a bit to have all resources ready

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  setup/README: update for recent changes
  Strip contrib/non-free from source names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Update from squeezer6

Signed-off-by: Joerg Jaspert <joerg@debian.org>

setup/README: update for recent changes

Merge remote-tracking branch 'dktrkranz/fixes'

Strip contrib/non-free from source names

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

daklib/lists: output one less / for the pool/

or otherwise apt-ftparchive is writing non-useful stuff into the
generated files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: allow source to be in enhanced suite

This allows binNMUs for which the source is in stable to be accepted
into proposed-updates.

A better fix would be to handle this in _install_to_suite which already
does the right thing when source_suites is None.

daklib/archive.py: fix autobyhand for binNMUs

daklib/policy.py: don't list missing overrides for each arch

If an upload include binary packages for multiple architectures, dak
should only display (and add) the missing overrides once.

Merge branch 'new-dm'

dak/acl.py: include fingerprint of person who granted upload permission

Bug: http://bugs.debian.org/688490

Merge branch 'fix-acl'

daklib/checks.py: include acl name in reason for rejection

remove per-fingerprint ACLs that are identical to keyring ACL

With the changes in 707a89a3b86961755a99cb9e1a0a5f23690f9529 dak uses
the keyring acl if there is no acl for the fingerprint. Also
import_keyring.py stopped updating the fingerprint acl. This caused
problems for old fingerprints (with an acl set) that move between
keyrings as they would continue to use the old acl.

This update sets the acl to NULL for fingerprints using the keyring acl
to avoid these issues.

daklib/command.py: give a real error message for unknown fingerprints

dak/import_keyring.py: fix SQL syntax error

This was broken by 707a89a3b86961755a99cb9e1a0a5f23690f9529.

Merge branch 'new-dm'