dak/process_policy.py: don't try to copy files to accepted twice

We might already have copied files to accepted before, for example when
accepting multiple uploads that use the same upstream tarball. So we
have to ignore existing files here.

daklib/archive.py: give a nicer error message for already known .changes

Bug-Debian: http://bugs.debian.org/693163

dak/rm.py: also close forwarded bug reports

Bug-Debian: http://bugs.debian.org/693491

config/debian-security/cron.buildd: $DISTS should only be stable and testing

The archive now has more (private) suites for handling policy and build
queues. These are not of interest here.

config/debian-security/cron.unchecked: call process-upload before process-policy

This saves one run for uploads that are automatically accepted from the
policy queues (eg. buildd uploads for an already accepted source).

config/debian-security/cron.unchecked: calling process-policy once per queue is enough

dak/import.py: control -> source

Don' try to fix bugs while eating breakfast, you will miss things.

dak/import.py: control -> source

dak/import.py: use section_name variable where we need it

Improve dak/import.py.

Add new import subcommand.

daklib/upload.py: add from_file classmethods

Allow to create HashedFile, Binary and Source objects from existing files.
This will be used to directly import binary and source packages into an
archive.

daklib/archive.py: use right name for .dsc dict

config/debian-security/cron.unchecked: be silent

Make sure *.new directories do exist.

The directories will not be created by dak export / dak export-suite if
they have no files to put there.

Always regenerate policy queue exports.

Otherwise outdated symlinks will be kept around for a while after
dak new-security-install was run until cron.unchecked does some real
work again.

dak/make_changelog.py: use correct column name

make_changelog.py: typo

Only move accepted files in cron.unchecked

This avoids triggering the taint check in spawn().

dak/export_suite.py: add workaround to allow exporting broken build queues

config/debian-security/cron.unchecked: export policy queues in old format

config/debian-security/cron.weekly: only regenerate Release for public archive

config/debian-security/cron.daily: use explicit list of suites

config/debian-security/cron.unchecked: just run process-policy to see if there were files to process

dak/new_security_install.py: remove reference to newstage

config/debian-security/cron.unchecked: fix gpg call, use correct description

daklib/archive.py (install_source): always copy source files to target archive

dak/export_suite.py: same file might be in multiple components

Use first() instead of one() in case the file is available in multiple
components.

dak/export_suite.py: take archive file for the archive we are exporting from

config/debian-security/cron.unchecked: pass right override file

apt-ftparchive appends '.src' on its own when generating Sources.

Revert "config/debian/common: pass source overrides to apt-ftparchive sources"

This reverts commit f92f5bd318e254805016bb9b92ee683f912d3cf2.

daklib/archive.py (_binary_override): evaluate component mapping

daklib/archive.py: add warning explaining why a package is NEW

dak/process_upload.py: show warnings when processing upload

dak/dakdb/update75.py: handle "/" in component names.

make-changelog: add archive option

We do not want to export changelogs for policy queues such as embargoed.

config/debian-security/*: More updates for multiarchive changes.

config/debian/common: pass source overrides to apt-ftparchive sources

config/debian-security/cron.*: update for multiarchive changes

First set of updates for multiarchive changes.

dak/new_security_install.py: Update for multiarchive changes.

newstage is gone. Instead we need to run process-policy and grab
accepted files from $queuedir/accepted.

dak/process_policy.py: Add option to copy accepted packages somewhere

To sync packages accepted into the security archive to the main archive
we need to grab all accepted uploads. The right time to do so is when we
install them from the policy queue into the public archive, ie. in
process-policy.

dak/generate_releases.py: create worker pool before connection to database

We do not want to have the file descriptor for the database connection
in the worker processes.

import_dataset.sh: use shell redirection instead of cat

This will give an error when ${INPUTFILE} does not exist instead of feeding an
empty input to control-suite.

include only packages in the right component in Sources

Having overrides for the same package in multiple components should not
cause source packages to be listed in the wrong Sources index.

Reference: https://lists.debian.org/debian-mirrors/2012/09/msg00020.html

dak/generate_releases.py: also add the ugly hack for wheezy-updates

config/debian/dak.conf: add suite map for {wheezy,testing}-updates

dak/examine_package.py: remove confusing parentheses

Merge remote-tracking branch 'dktrkranz/fixes'

scripts/debian/sync-dd: rsync should stay quiet

Pass basename as title parameter to foldable_output function

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

scripts/debian/sync-dd: add two missing backslashes

push mirror on ries instead of having ries pull from franck

let cron.reboot sleep a bit to have all resources ready

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  setup/README: update for recent changes
  Strip contrib/non-free from source names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Update from squeezer6

Signed-off-by: Joerg Jaspert <joerg@debian.org>

setup/README: update for recent changes

Merge remote-tracking branch 'dktrkranz/fixes'

Strip contrib/non-free from source names

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

daklib/lists: output one less / for the pool/

or otherwise apt-ftparchive is writing non-useful stuff into the
generated files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: allow source to be in enhanced suite

This allows binNMUs for which the source is in stable to be accepted
into proposed-updates.

A better fix would be to handle this in _install_to_suite which already
does the right thing when source_suites is None.

daklib/archive.py: fix autobyhand for binNMUs

daklib/policy.py: don't list missing overrides for each arch

If an upload include binary packages for multiple architectures, dak
should only display (and add) the missing overrides once.

Merge branch 'new-dm'

dak/acl.py: include fingerprint of person who granted upload permission

Bug: http://bugs.debian.org/688490

Merge branch 'fix-acl'

daklib/checks.py: include acl name in reason for rejection

remove per-fingerprint ACLs that are identical to keyring ACL

With the changes in 707a89a3b86961755a99cb9e1a0a5f23690f9529 dak uses
the keyring acl if there is no acl for the fingerprint. Also
import_keyring.py stopped updating the fingerprint acl. This caused
problems for old fingerprints (with an acl set) that move between
keyrings as they would continue to use the old acl.

This update sets the acl to NULL for fingerprints using the keyring acl
to avoid these issues.

daklib/command.py: give a real error message for unknown fingerprints

dak/import_keyring.py: fix SQL syntax error

This was broken by 707a89a3b86961755a99cb9e1a0a5f23690f9529.

Merge branch 'new-dm'

daklib/command.py: quote section we are processing in reply

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  show-new: remove False statement to reduce processing time

Signed-off-by: Joerg Jaspert <joerg@debian.org>

show-new: remove False statement to reduce processing time

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge branch 'backports-merge'

Merge branch 'new-dm'

per-queue NEW comments and permissions

dak/queue_report.py: don't die if dak.conf does not know about LDAP

daklib/command.py: strip whitespace from fingerprint

This allows copying the fingerprint from the gpg output without any
editing.

daklib/command.py: process all sections and not only the first one

dak/process_commands.py: remove all processed files to done

We want all files that were processed to be moved to done. It would be
confusing to have files in reject when we did evaluate some of the
commands from there and only encountered an error later.

Files that do not pass the GPG check are still moved to the reject
directory.

link_morgue.sh: adapt to work also on security-master

dak/acl.py: update documentation

daklib/command.py: error out when trying to grant permission for non-existing packages

Merge branch 'new-dm'

daklib/command.py: Add another experimental action.

dak/process_commands.py: typo

Keep track who adds entries to DM upload table (and when).

debianqueued: log which .dak-commands file we are processing

daklib/archive.py: Fix typo in message about suite mappings.

Rename process-commands.py to process_commands.py.

Merge branch 'new-dm'

Configure new DM implementation for Debian.

dak/acl.py: add export-per-source subcommand

Add process-commands program and activate new DM implementation.

For now packages that use DMUA in the source package are still accepted.

debianqueued: add support for *.dak-commands

Mail notification is not implemented (yet) as this would require another
implementation to extract the uploader address from the signed part of
the file or factoring this out of the existing code.

dak/process_upload.py: show if we accept/reject packages also on stdout

Add support for warnings.

Merge branch 'small-fixes'

daklib/checks.py: only use source.filename if source is not None

Merge branch 'small-fixes'