daklib/gpg.py: Also handle SIGEXPIRED keyword.

daklib/gpg.py: Handle a few more keywords for invalid or and expired signatures.

Drop unique .changes name requirement and allow ftpteam to forget seen files.

dak admin: add forget-signature subcommand

The forget-signature command removes the entry for a given file from
the signature_history. This allows reprocessing the file.

Add replay protection for uploaded changes files.

Look in signature_history table if the changes was already seen to
prevent re-uploading old changes files.

daklib/gpg.py: Use timestamp instead of just date.

daklib/gpg.py: Raise an error if we see unexpected output from gpg.

Fix breakage on missing w-b dump for an arch

The w-b admins may take some time until they have a new architecture all
set up. And until they do generate the buildd.d.o/stats/$arch-all.txt we shouldn't
break on it missing.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add arm64 keyring to queued configuration

Signed-off-by: Mark Hymers <mhy@debian.org>

Add arm64

Signed-off-by: Mark Hymers <mhy@debian.org>

built_in_suite: Do not consider architecture 'source'

daklib.architecture.match_architecture would consider 'source' as an
invalid architecture name.

match_architecture: Fix raising exception if an architecture is unknown

process-new: Make again use of Package-List field.

daklib/dbconn.py: Add MetadataProxy that behaves like a dict

scripts/debian/moveftp.sh: use mv --no-clobber

config/debian/dak.conf: Allow some source-only uploads.

PackageList: use correct values for section and component

Add more fine-grained options for source-only uploads.

Use Package-List to look for NEW binaries.

daklib.upload.Source: expose Package-List.

daklib.upload.Binary: add name property.

PackageListEntry: Rename package_type to type.

PackageListEntry should be similar to daklib.upload.Binary.

The Binary field of source packages is comma-seperated.

daklib/packagelist.py: Additional sanity checks.

extract_component_from_section: avoid unneeded database lookup

Add parser for Package-List field.

daklib/gpg.py: Pass a few more options to gpg.

Merge remote-tracking branch 'alteholz/alteholz/bugfix/tracker' into merge

This (closes: 754805)
* alteholz/alteholz/bugfix/tracker:
  fix for #754805

We are in srv now, no longer org

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow coccia, remove morricone, dont try to important if variable is empty

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak.conf: Reject uploads to Debian 6 (Squeeze).

fix for #754805

dak ls: document --format=control-suite option

Update for 7.6.

Remove mail-archiving code, mail is no longer on ftp-master

Add change-component command.

Implement architecture matching rules.

Revert "Add a deb822 for the backports NEW queue (Closes: #749102)"

This reverts commit cda77ad8e9f59752b615ec9a647848d05362a47d.

view src_associations_full: include sources for all binaries

The src_associations_full now includes sources for all binaries in a
suite. This includes old versions of source packages if old binary
packages are still around.

cron.hourly: Include backports-new queue in new.822.

dak queue-report: --822 outputs to stdout if no other location is given

Add a deb822 for the backports NEW queue (Closes: #749102)

Merge remote-tracking branch 'helmut/fix-gpg_get_key_addresses'

fix gpg_get_key_addresses

Do not use codecs.decode(s, "unicode_escape"). It has two issues:
 * When being passed a bytes literal, the returned value becomes a str
   and the decoding operation is locale specific on Python3.
 * When passing a unicode literal, it implicitly encodes to
   sys.getdefaultencoding() (locale specific) on Python2.
Thus "unicode_escape" is a bad choice in all cases.

For Python2 string_escape works with str, but it hinders a potential
Python3 port of dak. Use it now, because Python3 is totally broken.

Merge remote-tracking branch 'helmut/smallthings' into merge

* helmut/smallthings:
  rewrite daklib.utils.gpg_get_key_addresses
  convert daklib.dbconn from os.popen to subprocess
  put Python's with statement to good use

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rewrite daklib.utils.gpg_get_key_addresses

 * No longer uses the deprecated commands module.
 * No longer invokes gpg via a shell.
 * Passes --with-colons to gpg now.
 * No longer depends on the current locale (since --with-colons forces
   UTF-8 output).

Signed-off-by: Helmut Grohne <helmut@subdivi.de>

convert daklib.dbconn from os.popen to subprocess

It now explicitly closes the filedescriptors opened (by calling wait)
and checks the return code of gpg.

put Python's with statement to good use

Rather than using try-finally blocks or even failing to close files in
the event of an exception, open files in with blocks where feasible.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>

read file once in HashedFile.check

Reading the file to check once rather than three times is both faster
and shorter.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

visually fix daklib.utils.parse_wnpp_bug_file

The file asks Vim to set tabstop=4. So the "lines = []" line formerly
being indented with a tab appears to be executed unconditionally whereas
it really only is executed in the exception handler.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

tell the uninitiated that 2 is ENOENT

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

tighten source format check for 1.0

The regular expression used a ".", so it would accept "1-0" or even
"120" for source format 1.0.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

Merge remote-tracking branch 'paultag/paultag/bugfix/new-package-template-fix' into merge

* paultag/paultag/bugfix/new-package-template-fix:
  Update NEW email template.

Update NEW email template.

 The last one was a bit too technical and obscured with details about
 how dak works internally. This is a more clear project-centric template
 that explains the situation in terms the average contributor would
 understand.

TransitionCheck: do not use 'source' for two different things

daklib/checks.py: import textwrap

textwrap.wrap is used by TransitionCheck.

get_source_in_suite: return None if suite does not exist

daklib/checks.py: Set "session" variable.

daklib/dbconn.py: SQLAlchemy 0.9 is also fine.

README.stable-point-release: Update for 7.5

Run cruft-report later (after dominate) to pick up new cruft.

daklib/utils.py: Fix crash on rdep test

Signed-off-by: Niels Thykier <nthykier@coccia.debian.org>

Adjust security cron.daily to xz dumps and delete -mtime +30 ones

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cron.daily should have an own logfile

Signed-off-by: Joerg Jaspert <joerg@debian.org>

one more alias

Signed-off-by: Joerg Jaspert <joerg@debian.org>

incoming log has tag privacy (update with live version from franck)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Update ldap cert

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cruft report: sort sources in "Newer version in experimental"

process-policy: REJECT before ACCEPT

If both ACCEPT.* and REJECT.* comments are available, the package
should be rejected. So process REJECT.* first.

More lintian fatals

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust lintian autoreject tags

There are 4 new fatal, 2 new non-fatal tags.
This (closes: #721798, #733446)

cron.monthly

compress last month dak log
reuse "olddate" variable

Merge branch 'master' of franck.debian.org:/srv/ftp.debian.org/git/dak

* 'master' of franck.debian.org:/srv/ftp.debian.org/git/dak:
  Update for 7.4.

external files for security

activate them, also move them to cron.daily,
once a day this should be enough.

Update for 7.4.

Document NEW processing on security-master.

Fix dc-tool call. in a day or two fix it again by redirecting its spam to dev/null

Signed-off-by: Joerg Jaspert <joerg@debian.org>

push data to debian contributors

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove Clean-Suites::OverrideFilename.

The option isn't used any longer in dak.

Remove Clean-Suites::StayOfExecution.

The option moved into the "archive" database table in
edf9c774f7d5b0148a30fd63bf1fa6bddf68d478.

Keep debian-backup user.

Update apache.conf-ftp with current live version.

Merge remote-tracking branch 'origin/master'

Remove unused function.

Get rid of DatabaseHostname.

This also requires dropping __PRIMARY_MIRROR__ from the removal templates,
but this field already got the wrong value in case there are multiple
archives with different mirrors as only a single value was supported.

Fix permissions for files in daklib/

No file in daklib needs the executable bit.

Bug: http://bugs.debian.org/735114

rename metadata host

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove links to HTML and CSS validators.

This also gets rid of external (non-debian.org) and unencrypted resources.

Use more https://.

It's generate-d-i, not generate-di.

Update apache.conf-ftp with current live version.

Use os.path.lexists instead of exists

scripts/debian/link_morgue.sh replaces files present on snapshot.d.o
with symlinks that are not valid on ftp-master.d.o.

Note 7.3, just for the fun

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rename one function, drop psql alias

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/filewriter.py: indices do not need to be group-writable

daklib/filewriter.py: no longer invoke a shell when compressing files

Include {Packages,Sources}.xz indices in Release file.

daklib/filewriter.py: change default compression to gzip and xz

Change the default compression for Packages and Sources indices to gzip
and xz (from gzip and bzip2). This does not affect existing suites with
indices_compression set in the database.

Merge branch 'pu/xz-for-indices'

Conflicts:
dak/generate_packages_sources2.py
daklib/filewriter.py

Pass compression methods to FileWriter.

Add database fields to override compression methods.