rewrite daklib.utils.gpg_get_key_addresses

 * No longer uses the deprecated commands module.
 * No longer invokes gpg via a shell.
 * Passes --with-colons to gpg now.
 * No longer depends on the current locale (since --with-colons forces
   UTF-8 output).

Signed-off-by: Helmut Grohne <helmut@subdivi.de>

convert daklib.dbconn from os.popen to subprocess

It now explicitly closes the filedescriptors opened (by calling wait)
and checks the return code of gpg.

put Python's with statement to good use

Rather than using try-finally blocks or even failing to close files in
the event of an exception, open files in with blocks where feasible.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>

read file once in HashedFile.check

Reading the file to check once rather than three times is both faster
and shorter.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

visually fix daklib.utils.parse_wnpp_bug_file

The file asks Vim to set tabstop=4. So the "lines = []" line formerly
being indented with a tab appears to be executed unconditionally whereas
it really only is executed in the exception handler.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

tell the uninitiated that 2 is ENOENT

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

tighten source format check for 1.0

The regular expression used a ".", so it would accept "1-0" or even
"120" for source format 1.0.

Signed-off-by: Helmut Grohne <helmut@subdivi.de>
Signed-off-by: Helmut Grohne <helmut@subdivi.de>

Merge remote-tracking branch 'paultag/paultag/bugfix/new-package-template-fix' into merge

* paultag/paultag/bugfix/new-package-template-fix:
  Update NEW email template.

Update NEW email template.

 The last one was a bit too technical and obscured with details about
 how dak works internally. This is a more clear project-centric template
 that explains the situation in terms the average contributor would
 understand.

TransitionCheck: do not use 'source' for two different things

daklib/checks.py: import textwrap

textwrap.wrap is used by TransitionCheck.

get_source_in_suite: return None if suite does not exist

daklib/checks.py: Set "session" variable.

daklib/dbconn.py: SQLAlchemy 0.9 is also fine.

README.stable-point-release: Update for 7.5

Run cruft-report later (after dominate) to pick up new cruft.

daklib/utils.py: Fix crash on rdep test

Signed-off-by: Niels Thykier <nthykier@coccia.debian.org>

Adjust security cron.daily to xz dumps and delete -mtime +30 ones

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cron.daily should have an own logfile

Signed-off-by: Joerg Jaspert <joerg@debian.org>

one more alias

Signed-off-by: Joerg Jaspert <joerg@debian.org>

incoming log has tag privacy (update with live version from franck)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Update ldap cert

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cruft report: sort sources in "Newer version in experimental"

process-policy: REJECT before ACCEPT

If both ACCEPT.* and REJECT.* comments are available, the package
should be rejected. So process REJECT.* first.

More lintian fatals

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust lintian autoreject tags

There are 4 new fatal, 2 new non-fatal tags.
This (closes: #721798, #733446)

cron.monthly

compress last month dak log
reuse "olddate" variable

Merge branch 'master' of franck.debian.org:/srv/ftp.debian.org/git/dak

* 'master' of franck.debian.org:/srv/ftp.debian.org/git/dak:
  Update for 7.4.

external files for security

activate them, also move them to cron.daily,
once a day this should be enough.

Update for 7.4.

Document NEW processing on security-master.

Fix dc-tool call. in a day or two fix it again by redirecting its spam to dev/null

Signed-off-by: Joerg Jaspert <joerg@debian.org>

push data to debian contributors

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove Clean-Suites::OverrideFilename.

The option isn't used any longer in dak.

Remove Clean-Suites::StayOfExecution.

The option moved into the "archive" database table in
edf9c774f7d5b0148a30fd63bf1fa6bddf68d478.

Keep debian-backup user.

Update apache.conf-ftp with current live version.

Merge remote-tracking branch 'origin/master'

Remove unused function.

Get rid of DatabaseHostname.

This also requires dropping __PRIMARY_MIRROR__ from the removal templates,
but this field already got the wrong value in case there are multiple
archives with different mirrors as only a single value was supported.

Fix permissions for files in daklib/

No file in daklib needs the executable bit.

Bug: http://bugs.debian.org/735114

rename metadata host

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove links to HTML and CSS validators.

This also gets rid of external (non-debian.org) and unencrypted resources.

Use more https://.

It's generate-d-i, not generate-di.

Update apache.conf-ftp with current live version.

Use os.path.lexists instead of exists

scripts/debian/link_morgue.sh replaces files present on snapshot.d.o
with symlinks that are not valid on ftp-master.d.o.

Note 7.3, just for the fun

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rename one function, drop psql alias

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/filewriter.py: indices do not need to be group-writable

daklib/filewriter.py: no longer invoke a shell when compressing files

Include {Packages,Sources}.xz indices in Release file.

daklib/filewriter.py: change default compression to gzip and xz

Change the default compression for Packages and Sources indices to gzip
and xz (from gzip and bzip2). This does not affect existing suites with
indices_compression set in the database.

Merge branch 'pu/xz-for-indices'

Conflicts:
dak/generate_packages_sources2.py
daklib/filewriter.py

Pass compression methods to FileWriter.

Add database fields to override compression methods.

Replace os.popen with the subprocess.Popen in a few places.

dak/rm.py: allow closing bugs no matter which suite packages are removed from

Closing bugs can make sense even when not removing the package from
unstable, for example when removing a package from experimental that
only was uploaded there and has no version in unstable.

daklib/dbconn.py: do not import apt_pkg again

dak/process_policy.py: process sourceful uploads first

Bug: http://bugs.debian.org/703876

daklib/checks.py: No longer set LINTIAN_COLL_UNPACKED_SKIP_SIG=1

lintian passes --no-check to dpkg-source by default since 2.5.15. There
is no longer a need to set undocumented environment variables.

daklib/checks.py: make lintian check use subprocess module

Reset signal handler to default action in child processes

Python changes the signal handler to SIG_IGN for a few signals which
causes unexpected behaviour in child processes. The wrapper functions in
the new daklib.daksubprocess module reset them to SIG_DFL in child
processes.

Reference: http://bugs.python.org/issue1652

Dont generate SHA512sum lines in generate_packages_sources (used for squeeze)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

config/debian/dak.conf: reject uploads to jessie-{backports,updates}

allow adding multiple architectures and components to a suite at the same time

This should make it a bit more comfortable to setup new suites.

byhand-di: fix version match

35b109fe6f42b6853809151e73be96909af7e3f7 made the script reject uploads using
YYYYMMDD as a closing ")" was at the wrong location.

README.stable-point-release: updates from Debian Wheezy 7.2

Use SHA256 for signatures.

As dak passes --no-options to gpg, setting preferences in gpg.conf does
not help.

Bug: http://bugs.debian.org/612657

Import daklib.utils, not utils.

byhand-di: accept +debXuZ in versions

Reported-by: Adam D. Barratt <adam@adam-barratt.org.uk>

README.stable-point-release: add if block around squeeze-only step

README.stable-point-release: add generate-i18n-Index call

use yaml.safe_{load,dump} functions

The yaml.load() function can run arbitrary code, the safe_load() variant only
understands a safe subset of YAML which is enough for dak.

daklib/archive.py: fix copying between components

The _copy_file() method needs to check if the file is already in the target
component. Having it in any component is not enough if it should be copied to
an additional component in the same archive.

daklib/archive.py: allow copying files between components

Copying files between components is useful when a package moves between
components as otherwise the .changes would have to include the upstream
tarball (even if it did not change).

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Run clean-suites after processing policy queues

Files belonging to rejected uploads should be removed as soon as possible in
case a modified package with the same version is uploaded.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

daklib/dbconn.py: one relation from components to suites is enough.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Merge remote-tracking branch 'origin/master'

Import only primary key fingerprints from keyring.

Reference: https://lists.debian.org/debian-project/2013/09/msg00039.html
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Merge remote-tracking branch 'mithrandir/master' into merge

* mithrandir/master:
  dak/admin.py: Add commands to manipulate the suite-component mapping
  daklib/dbconn.py: Add relation from a component to the suites that include it
  dak/update_db.py: Allow version numbers > 99 in db
  Drop unused function get_architecture_suites()
  Only publish components in suites where they exist.
  daklib/dbconn.py: Typo, quotes
  dak/dakdb/update100.py: Add component - suite mapping table
  dak/admin.py: optionally output the archive as well as the suite name in suite list
  dak/admin.py: add component management commands
  dak/admin.py: use get_archive wrapper, simplifying the code slightly
  Add ordering to component table and use this when checking policy
  Add support for rm-ing suites

dak/admin.py: Add commands to manipulate the suite-component mapping

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

daklib/dbconn.py: Add relation from a component to the suites that include it

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

dak/update_db.py: Allow version numbers > 99 in db

max(['100', '99]) returns '99', not '100', so switch order around a
bit to allow for higher versions.

Signed-off-by: Tollef Fog Heen <tfheen@err.no>

Drop unused function get_architecture_suites()

Not in use, and fixes a TODO item

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

Only publish components in suites where they exist.

When generating the sources and packages file, just generate those
that should exist, according to the component_suite mapping.

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

daklib/dbconn.py: Typo, quotes

Avoid confusing emacs' syntax highlighter by switching the types of
quotes for a docstring and fix a typo

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

dak/dakdb/update100.py: Add component - suite mapping table

This table will be used to only expose certain components in certain
suites.

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

dak/admin.py: optionally output the archive as well as the suite name in suite list

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

dak/admin.py: add component management commands

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

dak/admin.py: use get_archive wrapper, simplifying the code slightly

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

Add ordering to component table and use this when checking policy

This allows us to accept source-only into
other components than {main,contrib,non-free}.

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

Add support for rm-ing suites

Signed-off-by: Tollef Fog Heen <tfheen@varnish-software.com>

ddtp-i18n-check.sh: testing is jessie

Revert "Finds newer or equal versions in lowersuite_name"

This reverts commit 76b59a19769bc4468e528bb1e35623da2bc6ad5c.

In case packages in testing get binNMU'ed, testing-proposed-updates will
contain the same source version as testing, but binaries with a higher
version. The cruft-report should not suggest removing these packages.

dont sleep and code. i now know why we have <> there. meh

Signed-off-by: Joerg Jaspert <joerg@debian.org>

a -f or an rm does enable gzip to work...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Whyever we had <> there, remove them.
added benefit of actually removing the uncompressed version

Signed-off-by: Joerg Jaspert <joerg@debian.org>

lintian.tags: reject uploads with files in /run, /var/lock or /var/run

Reference: http://lists.debian.org/debian-devel/2012/10/msg00094.html

Merge remote-tracking branch 'drkranz/stats' into merge

* drkranz/stats:
  Generate NEW queue stats daily
  Implement stats related to NEW processing
  Implement get_users_from_ldap function

Generate NEW queue stats daily

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>