Fix breakage on missing w-b dump for an arch

The w-b admins may take some time until they have a new architecture all
set up. And until they do generate the buildd.d.o/stats/$arch-all.txt we shouldn't
break on it missing.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add arm64 keyring to queued configuration

Signed-off-by: Mark Hymers <mhy@debian.org>

Add arm64

Signed-off-by: Mark Hymers <mhy@debian.org>

built_in_suite: Do not consider architecture 'source'

daklib.architecture.match_architecture would consider 'source' as an
invalid architecture name.

match_architecture: Fix raising exception if an architecture is unknown

process-new: Make again use of Package-List field.

daklib/dbconn.py: Add MetadataProxy that behaves like a dict

scripts/debian/moveftp.sh: use mv --no-clobber

config/debian/dak.conf: Allow some source-only uploads.

PackageList: use correct values for section and component

Add more fine-grained options for source-only uploads.

Use Package-List to look for NEW binaries.

daklib.upload.Source: expose Package-List.

daklib.upload.Binary: add name property.

PackageListEntry: Rename package_type to type.

PackageListEntry should be similar to daklib.upload.Binary.

The Binary field of source packages is comma-seperated.

daklib/packagelist.py: Additional sanity checks.

extract_component_from_section: avoid unneeded database lookup

Add parser for Package-List field.

daklib/gpg.py: Pass a few more options to gpg.

Merge remote-tracking branch 'alteholz/alteholz/bugfix/tracker' into merge

This (closes: 754805)
* alteholz/alteholz/bugfix/tracker:
  fix for #754805

We are in srv now, no longer org

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow coccia, remove morricone, dont try to important if variable is empty

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak.conf: Reject uploads to Debian 6 (Squeeze).

fix for #754805

dak ls: document --format=control-suite option

Update for 7.6.

Remove mail-archiving code, mail is no longer on ftp-master

Add change-component command.

Implement architecture matching rules.

Revert "Add a deb822 for the backports NEW queue (Closes: #749102)"

This reverts commit cda77ad8e9f59752b615ec9a647848d05362a47d.

view src_associations_full: include sources for all binaries

The src_associations_full now includes sources for all binaries in a
suite. This includes old versions of source packages if old binary
packages are still around.

cron.hourly: Include backports-new queue in new.822.

dak queue-report: --822 outputs to stdout if no other location is given

Add a deb822 for the backports NEW queue (Closes: #749102)

Merge remote-tracking branch 'helmut/fix-gpg_get_key_addresses'

fix gpg_get_key_addresses

Do not use codecs.decode(s, "unicode_escape"). It has two issues:
 * When being passed a bytes literal, the returned value becomes a str
   and the decoding operation is locale specific on Python3.
 * When passing a unicode literal, it implicitly encodes to
   sys.getdefaultencoding() (locale specific) on Python2.
Thus "unicode_escape" is a bad choice in all cases.

For Python2 string_escape works with str, but it hinders a potential
Python3 port of dak. Use it now, because Python3 is totally broken.

Merge remote-tracking branch 'helmut/smallthings' into merge

* helmut/smallthings:
  rewrite daklib.utils.gpg_get_key_addresses
  convert daklib.dbconn from os.popen to subprocess
  put Python's with statement to good use

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rewrite daklib.utils.gpg_get_key_addresses

 * No longer uses the deprecated commands module.
 * No longer invokes gpg via a shell.
 * Passes --with-colons to gpg now.
 * No longer depends on the current locale (since --with-colons forces
   UTF-8 output).

Signed-off-by: Helmut Grohne <helmut@subdivi.de>

convert daklib.dbconn from os.popen to subprocess

It now explicitly closes the filedescriptors opened (by calling wait)
and checks the return code of gpg.

put Python's with statement to good use

Rather than using try-finally blocks or even failing to close files in
the event of an exception, open files in with blocks where feasible.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>

read file once in HashedFile.check

Reading the file to check once rather than three times is both faster
and shorter.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

visually fix daklib.utils.parse_wnpp_bug_file

The file asks Vim to set tabstop=4. So the "lines = []" line formerly
being indented with a tab appears to be executed unconditionally whereas
it really only is executed in the exception handler.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

tell the uninitiated that 2 is ENOENT

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

tighten source format check for 1.0

The regular expression used a ".", so it would accept "1-0" or even
"120" for source format 1.0.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

Merge remote-tracking branch 'paultag/paultag/bugfix/new-package-template-fix' into merge

* paultag/paultag/bugfix/new-package-template-fix:
  Update NEW email template.

Update NEW email template.

 The last one was a bit too technical and obscured with details about
 how dak works internally. This is a more clear project-centric template
 that explains the situation in terms the average contributor would
 understand.

TransitionCheck: do not use 'source' for two different things

daklib/checks.py: import textwrap

textwrap.wrap is used by TransitionCheck.

get_source_in_suite: return None if suite does not exist

daklib/checks.py: Set "session" variable.

daklib/dbconn.py: SQLAlchemy 0.9 is also fine.

README.stable-point-release: Update for 7.5

Run cruft-report later (after dominate) to pick up new cruft.

daklib/utils.py: Fix crash on rdep test

Signed-off-by: Niels Thykier <nthykier@coccia.debian.org>

Adjust security cron.daily to xz dumps and delete -mtime +30 ones

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cron.daily should have an own logfile

Signed-off-by: Joerg Jaspert <joerg@debian.org>

one more alias

Signed-off-by: Joerg Jaspert <joerg@debian.org>

incoming log has tag privacy (update with live version from franck)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Update ldap cert

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cruft report: sort sources in "Newer version in experimental"

process-policy: REJECT before ACCEPT

If both ACCEPT.* and REJECT.* comments are available, the package
should be rejected. So process REJECT.* first.

More lintian fatals

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust lintian autoreject tags

There are 4 new fatal, 2 new non-fatal tags.
This (closes: #721798, #733446)

cron.monthly

compress last month dak log
reuse "olddate" variable

Merge branch 'master' of franck.debian.org:/srv/ftp.debian.org/git/dak

* 'master' of franck.debian.org:/srv/ftp.debian.org/git/dak:
  Update for 7.4.

external files for security

activate them, also move them to cron.daily,
once a day this should be enough.

Update for 7.4.

Document NEW processing on security-master.

Fix dc-tool call. in a day or two fix it again by redirecting its spam to dev/null

Signed-off-by: Joerg Jaspert <joerg@debian.org>

push data to debian contributors

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove Clean-Suites::OverrideFilename.

The option isn't used any longer in dak.

Remove Clean-Suites::StayOfExecution.

The option moved into the "archive" database table in
edf9c774f7d5b0148a30fd63bf1fa6bddf68d478.

Keep debian-backup user.

Update apache.conf-ftp with current live version.

Merge remote-tracking branch 'origin/master'

Remove unused function.

Get rid of DatabaseHostname.

This also requires dropping __PRIMARY_MIRROR__ from the removal templates,
but this field already got the wrong value in case there are multiple
archives with different mirrors as only a single value was supported.

Fix permissions for files in daklib/

No file in daklib needs the executable bit.

Bug: http://bugs.debian.org/735114

rename metadata host

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove links to HTML and CSS validators.

This also gets rid of external (non-debian.org) and unencrypted resources.

Use more https://.

It's generate-d-i, not generate-di.

Update apache.conf-ftp with current live version.

Use os.path.lexists instead of exists

scripts/debian/link_morgue.sh replaces files present on snapshot.d.o
with symlinks that are not valid on ftp-master.d.o.

Note 7.3, just for the fun

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rename one function, drop psql alias

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/filewriter.py: indices do not need to be group-writable

daklib/filewriter.py: no longer invoke a shell when compressing files

Include {Packages,Sources}.xz indices in Release file.

daklib/filewriter.py: change default compression to gzip and xz

Change the default compression for Packages and Sources indices to gzip
and xz (from gzip and bzip2). This does not affect existing suites with
indices_compression set in the database.

Merge branch 'pu/xz-for-indices'

Conflicts:
dak/generate_packages_sources2.py
daklib/filewriter.py

Pass compression methods to FileWriter.

Add database fields to override compression methods.

Replace os.popen with the subprocess.Popen in a few places.

dak/rm.py: allow closing bugs no matter which suite packages are removed from

Closing bugs can make sense even when not removing the package from
unstable, for example when removing a package from experimental that
only was uploaded there and has no version in unstable.

daklib/dbconn.py: do not import apt_pkg again

dak/process_policy.py: process sourceful uploads first

Bug: http://bugs.debian.org/703876

daklib/checks.py: No longer set LINTIAN_COLL_UNPACKED_SKIP_SIG=1

lintian passes --no-check to dpkg-source by default since 2.5.15. There
is no longer a need to set undocumented environment variables.

daklib/checks.py: make lintian check use subprocess module

Reset signal handler to default action in child processes

Python changes the signal handler to SIG_IGN for a few signals which
causes unexpected behaviour in child processes. The wrapper functions in
the new daklib.daksubprocess module reset them to SIG_DFL in child
processes.

Reference: http://bugs.python.org/issue1652