Do not require arch:all packages in experimental uploads

This is to allow setting up an experimental arch:all buildd and will
be reverted later.

daklib/checks.py: check for Section field in binary packages

daklib/gpg.py: Ignore POLICY_URL keyword.

daklib/command.py: Add Cc option.

README.stable-point-release: Update for 7.7

Add copy & paste snippets for propups.

security NEW processing: add dak admin forget-signature

Handle packages with overrides in multiple components

This should make moving packages between components (e.g. packages
moving from non-free to main) less painful.

Bug: https://bugs.debian.org/690444

daklib/checks.py: check timestamp of .changes signature

This allows to eventually drop old entries from the signature_history
table.

dak make-pkg-file-mapping: do not include sources from other archives

Include only information about a source package's files if its .dsc is
in the requested archive.

Previously when xy_1.0-1 was in the requested archive and xy_1.0-2
using the same upstream tarball in a different archive, dak would
still include information about xy_1.0-2's upstream tarball resulting
in confusing entries on snapshot.d.o.

Reported-by: Salvatore Bonaccorso <carnil@debian.org>

dak make-pkg-file-mapping: ensure stable order

Include component and filename in the ORDER BY clause to ensure the
output order does not change.

test_gpg.py: test PGP messages and plaintext

test_gpg.py: also check signature timestamp

Add first unit tests for GnuPG wrapper.

dm-migrate: list source packages for which permissions were migrated.

cron.unchecked: drop unused do_dists function.

cron.unchecked: stop bothering with override files.

Merge remote-tracking branch 'paultag/paultag/bugfix/import-errno'

Import errno, used in Exception handling.

From a reject exception:

|   File "/srv/ftp-master.debian.org/dak/dak/daklib/upload.py", line 155, in check
|     if e.errno == errno.ENOENT:
| NameError: global name 'errno' is not defined

HashedFile: Raise FileDoesNotExist if referring to a non-existing file

A custom exception is nicer to handle in the caller.

daklib/upload.py: Use common base class for all exception.

Merge branch 'master' of /srv/ftp.debian.org/git/dak

Add ppc64el

Signed-off-by: Mark Hymers <mhy@debian.org>

cron.daily: Don't allow ssh trigger to run arbitrary SQL

Remove apache.conf-incoming.

incoming.d.o is no longer hosted on ftp-master.d.o.

Show last updated time on i.d.o

Signed-off-by: Mark Hymers <mhy@debian.org>

Remove old (and slow) code

Signed-off-by: Mark Hymers <mhy@debian.org>

Remove code working around an old issue

Signed-off-by: Mark Hymers <mhy@debian.org>

Stop generating old incoming.debian.org

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't use privacy temporarily to work out which buildds need reconfiguring

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't break on too many links

Signed-off-by: Mark Hymers <mhy@debian.org>

Remove old variables

Signed-off-by: Mark Hymers <mhy@debian.org>

Use chronic

Signed-off-by: Mark Hymers <mhy@debian.org>

Drop created and modified columns from bin_contents and src_contents

Debian_arch_to_Debian_triplet: handle linux-${arch}

Fix DirectoryMatch

Signed-off-by: Mark Hymers <mhy@debian.org>

We don't want emails every 15 minutes

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't sync incoming - there's no point

Signed-off-by: Mark Hymers <mhy@debian.org>

Use the right option

Signed-off-by: Mark Hymers <mhy@debian.org>

Change how we generate incoming.debian.org

Signed-off-by: Mark Hymers <mhy@debian.org>

Move canonical incoming.debian.org location

Signed-off-by: Mark Hymers <mhy@debian.org>

export-suite: Add --relative option.

apache.conf-incoming: Grant access to home.mraw.org

process-new: Indicate which packages were not include in upload

Show "NOT UPLOADED" besides overrides for packages that were not
included in the upload.

Only inject processed uploads into signature_history

Uploads that were 'skipped' should not be recorded in
signature_history as they will be repeocessed later.

daklib/regexes.py: Do not allow colons in filenames.

Colons should not be used anywhere as the epoch part of versions is
not included in the filename.

daklib/checks.py: Add instructions how to get an upload processed again.

daklib/gpg.py: Ignore SIGEXPIRED and KEYEXPIRED

apache.conf-incoming: Grant access to mahler.debian.net

Bug: https://bugs.debian.org/754742

daklib/gpg.py: Ignore NOTATION_{NAME,DATA} keywords.

show-deferred: Do not require a valid signature.

daklib/gpg.py: Also handle SIGEXPIRED keyword.

daklib/gpg.py: Handle a few more keywords for invalid or and expired signatures.

Drop unique .changes name requirement and allow ftpteam to forget seen files.

dak admin: add forget-signature subcommand

The forget-signature command removes the entry for a given file from
the signature_history. This allows reprocessing the file.

Add replay protection for uploaded changes files.

Look in signature_history table if the changes was already seen to
prevent re-uploading old changes files.

daklib/gpg.py: Use timestamp instead of just date.

daklib/gpg.py: Raise an error if we see unexpected output from gpg.

Fix breakage on missing w-b dump for an arch

The w-b admins may take some time until they have a new architecture all
set up. And until they do generate the buildd.d.o/stats/$arch-all.txt we shouldn't
break on it missing.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add arm64 keyring to queued configuration

Signed-off-by: Mark Hymers <mhy@debian.org>

Add arm64

Signed-off-by: Mark Hymers <mhy@debian.org>

built_in_suite: Do not consider architecture 'source'

daklib.architecture.match_architecture would consider 'source' as an
invalid architecture name.

match_architecture: Fix raising exception if an architecture is unknown

process-new: Make again use of Package-List field.

daklib/dbconn.py: Add MetadataProxy that behaves like a dict

scripts/debian/moveftp.sh: use mv --no-clobber

config/debian/dak.conf: Allow some source-only uploads.

PackageList: use correct values for section and component

Add more fine-grained options for source-only uploads.

Use Package-List to look for NEW binaries.

daklib.upload.Source: expose Package-List.

daklib.upload.Binary: add name property.

PackageListEntry: Rename package_type to type.

PackageListEntry should be similar to daklib.upload.Binary.

The Binary field of source packages is comma-seperated.

daklib/packagelist.py: Additional sanity checks.

extract_component_from_section: avoid unneeded database lookup

Add parser for Package-List field.

daklib/gpg.py: Pass a few more options to gpg.

Merge remote-tracking branch 'alteholz/alteholz/bugfix/tracker' into merge

This (closes: 754805)
* alteholz/alteholz/bugfix/tracker:
  fix for #754805

We are in srv now, no longer org

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow coccia, remove morricone, dont try to important if variable is empty

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak.conf: Reject uploads to Debian 6 (Squeeze).

fix for #754805

dak ls: document --format=control-suite option

Update for 7.6.

Remove mail-archiving code, mail is no longer on ftp-master

Add change-component command.

Implement architecture matching rules.

Revert "Add a deb822 for the backports NEW queue (Closes: #749102)"

This reverts commit cda77ad8e9f59752b615ec9a647848d05362a47d.

view src_associations_full: include sources for all binaries

The src_associations_full now includes sources for all binaries in a
suite. This includes old versions of source packages if old binary
packages are still around.

cron.hourly: Include backports-new queue in new.822.

dak queue-report: --822 outputs to stdout if no other location is given

Add a deb822 for the backports NEW queue (Closes: #749102)

Merge remote-tracking branch 'helmut/fix-gpg_get_key_addresses'

fix gpg_get_key_addresses

Do not use codecs.decode(s, "unicode_escape"). It has two issues:
 * When being passed a bytes literal, the returned value becomes a str
   and the decoding operation is locale specific on Python3.
 * When passing a unicode literal, it implicitly encodes to
   sys.getdefaultencoding() (locale specific) on Python2.
Thus "unicode_escape" is a bad choice in all cases.

For Python2 string_escape works with str, but it hinders a potential
Python3 port of dak. Use it now, because Python3 is totally broken.

Merge remote-tracking branch 'helmut/smallthings' into merge

* helmut/smallthings:
  rewrite daklib.utils.gpg_get_key_addresses
  convert daklib.dbconn from os.popen to subprocess
  put Python's with statement to good use

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rewrite daklib.utils.gpg_get_key_addresses

 * No longer uses the deprecated commands module.
 * No longer invokes gpg via a shell.
 * Passes --with-colons to gpg now.
 * No longer depends on the current locale (since --with-colons forces
   UTF-8 output).

Signed-off-by: Helmut Grohne <helmut@subdivi.de>

convert daklib.dbconn from os.popen to subprocess

It now explicitly closes the filedescriptors opened (by calling wait)
and checks the return code of gpg.

put Python's with statement to good use

Rather than using try-finally blocks or even failing to close files in
the event of an exception, open files in with blocks where feasible.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>

read file once in HashedFile.check

Reading the file to check once rather than three times is both faster
and shorter.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

visually fix daklib.utils.parse_wnpp_bug_file

The file asks Vim to set tabstop=4. So the "lines = []" line formerly
being indented with a tab appears to be executed unconditionally whereas
it really only is executed in the exception handler.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>