Merge remote-tracking branch 'paultag/paultag/bugfix/import-errno'

Import errno, used in Exception handling.

From a reject exception:

|   File "/srv/ftp-master.debian.org/dak/dak/daklib/upload.py", line 155, in check
|     if e.errno == errno.ENOENT:
| NameError: global name 'errno' is not defined

HashedFile: Raise FileDoesNotExist if referring to a non-existing file

A custom exception is nicer to handle in the caller.

daklib/upload.py: Use common base class for all exception.

Merge branch 'master' of /srv/ftp.debian.org/git/dak

Add ppc64el

Signed-off-by: Mark Hymers <mhy@debian.org>

cron.daily: Don't allow ssh trigger to run arbitrary SQL

Remove apache.conf-incoming.

incoming.d.o is no longer hosted on ftp-master.d.o.

Show last updated time on i.d.o

Signed-off-by: Mark Hymers <mhy@debian.org>

Remove old (and slow) code

Signed-off-by: Mark Hymers <mhy@debian.org>

Remove code working around an old issue

Signed-off-by: Mark Hymers <mhy@debian.org>

Stop generating old incoming.debian.org

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't use privacy temporarily to work out which buildds need reconfiguring

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't break on too many links

Signed-off-by: Mark Hymers <mhy@debian.org>

Remove old variables

Signed-off-by: Mark Hymers <mhy@debian.org>

Use chronic

Signed-off-by: Mark Hymers <mhy@debian.org>

Drop created and modified columns from bin_contents and src_contents

Debian_arch_to_Debian_triplet: handle linux-${arch}

Fix DirectoryMatch

Signed-off-by: Mark Hymers <mhy@debian.org>

We don't want emails every 15 minutes

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't sync incoming - there's no point

Signed-off-by: Mark Hymers <mhy@debian.org>

Use the right option

Signed-off-by: Mark Hymers <mhy@debian.org>

Change how we generate incoming.debian.org

Signed-off-by: Mark Hymers <mhy@debian.org>

Move canonical incoming.debian.org location

Signed-off-by: Mark Hymers <mhy@debian.org>

export-suite: Add --relative option.

apache.conf-incoming: Grant access to home.mraw.org

process-new: Indicate which packages were not include in upload

Show "NOT UPLOADED" besides overrides for packages that were not
included in the upload.

Only inject processed uploads into signature_history

Uploads that were 'skipped' should not be recorded in
signature_history as they will be repeocessed later.

daklib/regexes.py: Do not allow colons in filenames.

Colons should not be used anywhere as the epoch part of versions is
not included in the filename.

daklib/checks.py: Add instructions how to get an upload processed again.

daklib/gpg.py: Ignore SIGEXPIRED and KEYEXPIRED

apache.conf-incoming: Grant access to mahler.debian.net

Bug: https://bugs.debian.org/754742

daklib/gpg.py: Ignore NOTATION_{NAME,DATA} keywords.

show-deferred: Do not require a valid signature.

daklib/gpg.py: Also handle SIGEXPIRED keyword.

daklib/gpg.py: Handle a few more keywords for invalid or and expired signatures.

Drop unique .changes name requirement and allow ftpteam to forget seen files.

dak admin: add forget-signature subcommand

The forget-signature command removes the entry for a given file from
the signature_history. This allows reprocessing the file.

Add replay protection for uploaded changes files.

Look in signature_history table if the changes was already seen to
prevent re-uploading old changes files.

daklib/gpg.py: Use timestamp instead of just date.

daklib/gpg.py: Raise an error if we see unexpected output from gpg.

Fix breakage on missing w-b dump for an arch

The w-b admins may take some time until they have a new architecture all
set up. And until they do generate the buildd.d.o/stats/$arch-all.txt we shouldn't
break on it missing.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add arm64 keyring to queued configuration

Signed-off-by: Mark Hymers <mhy@debian.org>

Add arm64

Signed-off-by: Mark Hymers <mhy@debian.org>

built_in_suite: Do not consider architecture 'source'

daklib.architecture.match_architecture would consider 'source' as an
invalid architecture name.

match_architecture: Fix raising exception if an architecture is unknown

process-new: Make again use of Package-List field.

daklib/dbconn.py: Add MetadataProxy that behaves like a dict

scripts/debian/moveftp.sh: use mv --no-clobber

config/debian/dak.conf: Allow some source-only uploads.

PackageList: use correct values for section and component

Add more fine-grained options for source-only uploads.

Use Package-List to look for NEW binaries.

daklib.upload.Source: expose Package-List.

daklib.upload.Binary: add name property.

PackageListEntry: Rename package_type to type.

PackageListEntry should be similar to daklib.upload.Binary.

The Binary field of source packages is comma-seperated.

Initial pass at dak web server

Signed-off-by: Mark Hymers <mhy@debian.org>

daklib/packagelist.py: Additional sanity checks.

extract_component_from_section: avoid unneeded database lookup

Add parser for Package-List field.

daklib/gpg.py: Pass a few more options to gpg.

Merge remote-tracking branch 'alteholz/alteholz/bugfix/tracker' into merge

This (closes: 754805)
* alteholz/alteholz/bugfix/tracker:
  fix for #754805

We are in srv now, no longer org

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow coccia, remove morricone, dont try to important if variable is empty

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak.conf: Reject uploads to Debian 6 (Squeeze).

fix for #754805

dak ls: document --format=control-suite option

Update for 7.6.

Remove mail-archiving code, mail is no longer on ftp-master

Add change-component command.

Implement architecture matching rules.

Revert "Add a deb822 for the backports NEW queue (Closes: #749102)"

This reverts commit cda77ad8e9f59752b615ec9a647848d05362a47d.

view src_associations_full: include sources for all binaries

The src_associations_full now includes sources for all binaries in a
suite. This includes old versions of source packages if old binary
packages are still around.

cron.hourly: Include backports-new queue in new.822.

dak queue-report: --822 outputs to stdout if no other location is given

Add a deb822 for the backports NEW queue (Closes: #749102)

Merge remote-tracking branch 'helmut/fix-gpg_get_key_addresses'

fix gpg_get_key_addresses

Do not use codecs.decode(s, "unicode_escape"). It has two issues:
 * When being passed a bytes literal, the returned value becomes a str
   and the decoding operation is locale specific on Python3.
 * When passing a unicode literal, it implicitly encodes to
   sys.getdefaultencoding() (locale specific) on Python2.
Thus "unicode_escape" is a bad choice in all cases.

For Python2 string_escape works with str, but it hinders a potential
Python3 port of dak. Use it now, because Python3 is totally broken.

Merge remote-tracking branch 'helmut/smallthings' into merge

* helmut/smallthings:
  rewrite daklib.utils.gpg_get_key_addresses
  convert daklib.dbconn from os.popen to subprocess
  put Python's with statement to good use

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rewrite daklib.utils.gpg_get_key_addresses

 * No longer uses the deprecated commands module.
 * No longer invokes gpg via a shell.
 * Passes --with-colons to gpg now.
 * No longer depends on the current locale (since --with-colons forces
   UTF-8 output).

Signed-off-by: Helmut Grohne <helmut@subdivi.de>

convert daklib.dbconn from os.popen to subprocess

It now explicitly closes the filedescriptors opened (by calling wait)
and checks the return code of gpg.

put Python's with statement to good use

Rather than using try-finally blocks or even failing to close files in
the event of an exception, open files in with blocks where feasible.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>

read file once in HashedFile.check

Reading the file to check once rather than three times is both faster
and shorter.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

visually fix daklib.utils.parse_wnpp_bug_file

The file asks Vim to set tabstop=4. So the "lines = []" line formerly
being indented with a tab appears to be executed unconditionally whereas
it really only is executed in the exception handler.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

tell the uninitiated that 2 is ENOENT

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

tighten source format check for 1.0

The regular expression used a ".", so it would accept "1-0" or even
"120" for source format 1.0.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

Merge remote-tracking branch 'paultag/paultag/bugfix/new-package-template-fix' into merge

* paultag/paultag/bugfix/new-package-template-fix:
  Update NEW email template.

Update NEW email template.

 The last one was a bit too technical and obscured with details about
 how dak works internally. This is a more clear project-centric template
 that explains the situation in terms the average contributor would
 understand.

TransitionCheck: do not use 'source' for two different things

daklib/checks.py: import textwrap

textwrap.wrap is used by TransitionCheck.

get_source_in_suite: return None if suite does not exist

daklib/checks.py: Set "session" variable.

daklib/dbconn.py: SQLAlchemy 0.9 is also fine.

README.stable-point-release: Update for 7.5

Run cruft-report later (after dominate) to pick up new cruft.

daklib/utils.py: Fix crash on rdep test

Signed-off-by: Niels Thykier <nthykier@coccia.debian.org>

Adjust security cron.daily to xz dumps and delete -mtime +30 ones

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cron.daily should have an own logfile

Signed-off-by: Joerg Jaspert <joerg@debian.org>

one more alias

Signed-off-by: Joerg Jaspert <joerg@debian.org>

incoming log has tag privacy (update with live version from franck)

Signed-off-by: Joerg Jaspert <joerg@debian.org>