update71: set lastused NOT NULL NOW()

lastused in build_queue_files and build_queue_policy_files always needs to be set, so
set it in the database not in code

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add ironforge.sceen.net as hurt-i386 buildd

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dont run gitpdiff right now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Include SHA256SUMS into Release files too

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/lintian' into merge

* drkranz/lintian:
  Add control-file-is-not-a-file to fata list (Closes: #641091)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/p-u' into merge

* drkranz/p-u:
  Check whether suite is valid before referencing it (Closes: #634716)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Show legend in 2 cols so it all gets showed

Signed-off-by: Mark Hymers <mhy@debian.org>

Fix graphs

Signed-off-by: Mark Hymers <mhy@debian.org>

Check whether suite is valid before referencing it (Closes: #634716)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Add armhf and s390x architectures

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote-tracking branch 'drkranz/graph' into merge

* drkranz/graph:
  Fix (o-)p-u-new graph generation (Closes: #648952)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add control-file-is-not-a-file to fata list (Closes: #641091)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Fix (o-)p-u-new graph generation (Closes: #648952)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Do not check for existance of unpacked Translation-* files.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Do not check for existance of unpacked Translation-* files.

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Output size in bytes.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Include Translation-* in Release

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Output size in bytes.

Bug: http://bugs.debian.org/649150

Include Translation-* in Release

Bug: http://bugs.debian.org/649279

morgue <-> snapshot love

add short shell script to link files in morgue into the snapshot farm to save on disk space

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/package-list' into merge

* ansgar/package-list:
  Adapt to changes to Package-List field.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Include short description.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adapt to changes to Package-List field.

Include short description.

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Remove unused files.
  Use overridesuite when joining override table.
  dinstall: Generate dists/ with Description-MD5 for testing
  generate-releases: Add -o option to set arbitrary configuration options.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove unused files.

daklib/threadpool.py should no longer be used anywhere. Also remove the
license for it (not used anywhere else).

Use overridesuite when joining override table.

dinstall: Generate dists/ with Description-MD5 for testing

Run generate-packages-sources2 and generate-releases a second time with
the --description-md5 option enabled for testing.

generate-releases: Add -o option to set arbitrary configuration options.

Fix versionregex conversion

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Fix traceback when given suite is not recognized

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix traceback when given suite is not recognized

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

much better

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/add-missing-source-checksums' into merge

* ansgar/add-missing-source-checksums:
  Move query for add-missing-source-checksums to Python code
  Add missing checksums for source packages.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Move query for add-missing-source-checksums to Python code

There is no real need for using a stored procedure and having the query
in the normal code makes future changes easier.

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Delay setting up worker pool.
  gps2: Add -o option to set arbitrary configuration options.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/britney-changelog' into merge

* ansgar/britney-changelog:
  Fix britney_changelog.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Delay setting up worker pool.

We need to delay creating the worker pool until we have parsed the
command line options so that changes also take effect in child
processes.

gps2: Add -o option to set arbitrary configuration options.

Fix britney_changelog.

674e520b01fd361fc2d88909f7da8ca3ed97d60c changed the keys in the package
list from a string to a tuple. This patch adapts britney_changelog to
this change.

Add missing checksums for source packages.

Add a new subcommand, dak check-archive add-missing-source-checksums, to
add missing checksums for source packages to source_metadata.

Bug: http://bugs.debian.org/637563

Merge remote-tracking branch 'mhy/override-cs-db' into merge

* mhy/override-cs-db:
  Bump db version to 70
  Change make_overrides to use database config
  Use database for check_overrides configuration
  Move sanity check to use database
  Actually apply database update 69
  Add database fields to support overrides and c-s

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Bump db version to 70

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote branch 'ftpmaster/master' into override-cs-db

Conflicts:
dak/dakdb/update69.py

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Rename dakdb/update67.py -> dakdb/update69.py
  generate-packages-sources2: add --description-md5 option
  Include a trailing newline for the hash.
  generate-packages-sources2: Add support for Description-md5
  Add database support for Description-md5
  add TranslationFileWriter

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'origin/master' into description-md5

Conflicts:
dak/update_db.py

Rename dakdb/update67.py -> dakdb/update69.py

Merge remote-tracking branch 'ansgar/control-suite-sort-by-version' into merge

* ansgar/control-suite-sort-by-version:
  control-suite: sort list of desired packages as intended

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/rm' into merge

* ansgar/rm:
  Use sub-SELECT instead of LEFT OUTER JOIN.
  Check broken dependencies for arch-all packages only once.
  Get rid of WITH.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

And one more lintian reject, nonfatal

added bad-perm-for-file-in-etc-sudoers.d to nonfatal rejects, (Closes: #632466)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add a fatal lintian tag. closes #637389

add udeb-uses-non-gzip-data-tarball as a fatal lintian tag, which closes #637389

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Change make_overrides to use database config

Signed-off-by: Mark Hymers <mhy@debian.org>

Use database for check_overrides configuration

Signed-off-by: Mark Hymers <mhy@debian.org>

Move sanity check to use database

Signed-off-by: Mark Hymers <mhy@debian.org>

Actually apply database update 69

Signed-off-by: Mark Hymers <mhy@debian.org>

Add database fields to support overrides and c-s

Signed-off-by: Mark Hymers <mhy@debian.org>

Enhance source package/version handling when adding a binary deb

Signed-off-by: Mark Hymers <mhy@debian.org>

Make permissions cascade properly

Signed-off-by: Mark Hymers <mhy@debian.org>

Add missing python-debian dependency

Signed-off-by: Mark Hymers <mhy@debian.org>

Update current schema dump to v68

Signed-off-by: Mark Hymers <mhy@debian.org>

Fix incorrect update number

Signed-off-by: Mark Hymers <mhy@debian.org>

Clean out unused languages

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't use old style exception syntax

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote branch 'ansgar/clean-suites'

Signed-off-by: Mark Hymers <mhy@debian.org>

Use sub-SELECT instead of LEFT OUTER JOIN.

Check broken dependencies for arch-all packages only once.

Get rid of WITH.

Merge remote branch 'ansgar/auditpackages'

Signed-off-by: Mark Hymers <mhy@debian.org>

Replace deprecated sys.exc_type and sys.exc_value.

This is deprecated since Python 1.5!

Signed-off-by: Torsten Werner <twerner@debian.org>

Remove deprecated xreadlines().

Signed-off-by: Torsten Werner <twerner@debian.org>

Convert raise statement to Python 2.6.

Signed-off-by: Torsten Werner <twerner@debian.org>

Don't import with_statement from __future__.

Signed-off-by: Torsten Werner <twerner@debian.org>

Convert octal literals to Python 2.6 syntax.

Signed-off-by: Torsten Werner <twerner@debian.org>

Convert exception handling to Python3 syntax.

That works in Python >= 2.6.

Signed-off-by: Torsten Werner <twerner@debian.org>

String exceptions do not work in Python >= 2.6.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote-tracking branch 'origin/master' into auditpackages

Conflicts:
dak/update_db.py

rename update66.py to update67.py

Merge remote-tracking branch 'drkranz/rm' into merge

* drkranz/rm:
  rm.py: ignore binNMU versions

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rm.py: ignore binNMU versions

dak rm sometimes complains when closing bugs for
packages with multiple package versions.
Most of the times this is due to binNMUs, so don't
consider their versions.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

clean-suites: preserve source packages referenced in extra_src_references

control-suite: sort list of desired packages as intended

The list of desired packages contained a string of the form
"package-name version architecture".  Sorting with cmp_package_version
would sort this my the first two characters of the package name which is
not what was intended.

With this patch, the list instead contains tuples which means
cmp_package_version can now sort the list as intended.

generate-packages-sources2: add --description-md5 option

In order to use Description-md5 instead of Description in the Packages
index, this option needs to be set in addition to setting
suite.include_long_descriptions to false.

It will likely be removed again later.

Merge remote-tracking branch 'ansgar/control-suite-sort-by-version' into merge

* ansgar/control-suite-sort-by-version:
  admin: fix a typo
  control-suite: remove packages after adding new ones
  control-suite: sort list by (package-name, version)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

admin: fix a typo

control-suite: remove packages after adding new ones

We have to add package before removing those no longer wanted. Otherwise
an old version could enter a suite without us noticing (as the old
version would already be gone and thus no version check violated).

control-suite: sort list by (package-name, version)

Having multiple versions of the same package in a suite should be
possible, but we need to add the package with the lower version first to
ensure that version checks are not violated.

Include a trailing newline for the hash.

Set search_path to a secure value.

generate-packages-sources2: Add support for Description-md5

Add database support for Description-md5

add TranslationFileWriter

Add 2 partial indexes to db to speed up dak rm.

Signed-off-by: Torsten Werner <twerner@debian.org>

Rewrite trigger functions in plpgsql.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Merge remote-tracking branch 'ansgar/rm' into merge

* ansgar/rm:
  Use WITH statement instead of a temporary table

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Log updates more sanely and give appropriate warnings

Signed-off-by: Mark Hymers <mhy@debian.org>

Add SQL triggers for package audits

Signed-off-by: Mark Hymers <mhy@debian.org>

copyoverrides

we do want to work with the basename, not the full path of the file here

Signed-off-by: Joerg Jaspert <joerg@debian.org>

copyoverrides

make copyoverrides() function MUCH simpler and let it export all
the overrides, it was missing stuff which let to problems with
security archive.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/mail' into merge

* drkranz/mail:
  Check whether GPG key has a @debian.org uid, and use it
  Make sure uid_email is a valid email address

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use WITH statement instead of a temporary table