Merge remote-tracking branch 'ansgar/pu/multiline-external-overrides' into merge

* ansgar/pu/multiline-external-overrides:
  byhand-*: set -o pipefail
  byhand-tag: abort on invalid data
  byhand-tag: Allow uppercase letters in tags.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

byhand-*: set -o pipefail

byhand-tag: abort on invalid data

Abort processing if we find invalid data instead of silently ignoring
invalid lines.  This became more important since we now allow multi-line
fields and skipping lines might result in merging different entries or
incomplete entries.

byhand-tag: Allow uppercase letters in tags.

Merge remote-tracking branch 'ansgar/pu/multiline-external-overrides' into merge

* ansgar/pu/multiline-external-overrides:
  byhand-tag: allow multiline fields
  drop mk-extra-overrides.sh script
  byhand-tag: do not rely on a entry for the directory in the tarball
  allow cruft report a bdo mode and use that in bdo cron.daily

Signed-off-by: Joerg Jaspert <joerg@debian.org>

byhand-tag: allow multiline fields

drop mk-extra-overrides.sh script

This is no longer needed with generate-packages-sources2; external
overrides are now handled by dak external-override.

Note that this means override.*.extra.* files in .../scripts/override
will no longer be updated.

byhand-tag: do not rely on a entry for the directory in the tarball

allow cruft report a bdo mode and use that in bdo cron.daily

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/p-u' into merge

* drkranz/p-u:
  Check whether some mandatory keys are available

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/bts' into merge

* drkranz/bts:
  Categorize override bugs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Categorize override bugs

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Check whether some mandatory keys are available

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiline-external-overrides' into merge

* ansgar/pu/multiline-external-overrides:
  Allow override files to contain multiline fields in a backwards-compatible way

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow override files to contain multiline fields in a backwards-compatible way

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

hints from this . release (squeeze 6.0.4)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

i18n fixups

dont delete the en translations when syncing all the other languages
generate i18n/Index for all suites we do md5 descs for

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Add a missing import.
  Remove --description-md5 option.
  Disable generation of newdists.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add a missing import.

Remove --description-md5 option.

It was only used during tests, still needs to be enabled on a per-suite
option via the database.

Disable generation of newdists.

Store correct variable

Signed-off-by: Mark Hymers <mhy@debian.org>

Fix C/P error

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't be verbose in unchecked

Signed-off-by: Mark Hymers <mhy@debian.org>

Run policy from unchecked as well as dinstall

Signed-off-by: Mark Hymers <mhy@debian.org>

use stat

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Regenerate i18n/Index before generate-release.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Regenerate i18n/Index before generate-release.

We need to regenerate i18n/Index as generate-packages-sources2 writes
Translation-en.  In the future we might get rid of it entirely.

no longer needed on bpo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

and another place to rename the queues to the right value

Signed-off-by: Joerg Jaspert <joerg@debian.org>

security no longer uses apt-ftparchive but also generate-packages-sources2

Signed-off-by: Joerg Jaspert <joerg@debian.org>

allow buildd-wheezy too

Signed-off-by: Joerg Jaspert <joerg@debian.org>

import dm keyring on bpo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use the right policy queue names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

change security build queues

they are now using dak manage-build-queue
also adjust the way the trigger gets generated

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use right queue names

security has unembargoed/embargoed in use

Signed-off-by: Joerg Jaspert <joerg@debian.org>

update71: set lastused NOT NULL NOW()

lastused in build_queue_files and build_queue_policy_files always needs to be set, so
set it in the database not in code

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add ironforge.sceen.net as hurt-i386 buildd

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dont run gitpdiff right now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Include SHA256SUMS into Release files too

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/lintian' into merge

* drkranz/lintian:
  Add control-file-is-not-a-file to fata list (Closes: #641091)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/p-u' into merge

* drkranz/p-u:
  Check whether suite is valid before referencing it (Closes: #634716)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Show legend in 2 cols so it all gets showed

Signed-off-by: Mark Hymers <mhy@debian.org>

Fix graphs

Signed-off-by: Mark Hymers <mhy@debian.org>

Check whether suite is valid before referencing it (Closes: #634716)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Add armhf and s390x architectures

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote-tracking branch 'drkranz/graph' into merge

* drkranz/graph:
  Fix (o-)p-u-new graph generation (Closes: #648952)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add control-file-is-not-a-file to fata list (Closes: #641091)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Fix (o-)p-u-new graph generation (Closes: #648952)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Do not check for existance of unpacked Translation-* files.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Do not check for existance of unpacked Translation-* files.

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Output size in bytes.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Include Translation-* in Release

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Output size in bytes.

Bug: http://bugs.debian.org/649150

Include Translation-* in Release

Bug: http://bugs.debian.org/649279

morgue <-> snapshot love

add short shell script to link files in morgue into the snapshot farm to save on disk space

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/package-list' into merge

* ansgar/package-list:
  Adapt to changes to Package-List field.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Include short description.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adapt to changes to Package-List field.

Include short description.

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Remove unused files.
  Use overridesuite when joining override table.
  dinstall: Generate dists/ with Description-MD5 for testing
  generate-releases: Add -o option to set arbitrary configuration options.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove unused files.

daklib/threadpool.py should no longer be used anywhere. Also remove the
license for it (not used anywhere else).

Use overridesuite when joining override table.

dinstall: Generate dists/ with Description-MD5 for testing

Run generate-packages-sources2 and generate-releases a second time with
the --description-md5 option enabled for testing.

generate-releases: Add -o option to set arbitrary configuration options.

Fix versionregex conversion

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Fix traceback when given suite is not recognized

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix traceback when given suite is not recognized

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

much better

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/add-missing-source-checksums' into merge

* ansgar/add-missing-source-checksums:
  Move query for add-missing-source-checksums to Python code
  Add missing checksums for source packages.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Move query for add-missing-source-checksums to Python code

There is no real need for using a stored procedure and having the query
in the normal code makes future changes easier.

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Delay setting up worker pool.
  gps2: Add -o option to set arbitrary configuration options.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/britney-changelog' into merge

* ansgar/britney-changelog:
  Fix britney_changelog.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Delay setting up worker pool.

We need to delay creating the worker pool until we have parsed the
command line options so that changes also take effect in child
processes.

gps2: Add -o option to set arbitrary configuration options.

Fix britney_changelog.

674e520b01fd361fc2d88909f7da8ca3ed97d60c changed the keys in the package
list from a string to a tuple. This patch adapts britney_changelog to
this change.

Add missing checksums for source packages.

Add a new subcommand, dak check-archive add-missing-source-checksums, to
add missing checksums for source packages to source_metadata.

Bug: http://bugs.debian.org/637563

Merge remote-tracking branch 'mhy/override-cs-db' into merge

* mhy/override-cs-db:
  Bump db version to 70
  Change make_overrides to use database config
  Use database for check_overrides configuration
  Move sanity check to use database
  Actually apply database update 69
  Add database fields to support overrides and c-s

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Bump db version to 70

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote branch 'ftpmaster/master' into override-cs-db

Conflicts:
dak/dakdb/update69.py

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  Rename dakdb/update67.py -> dakdb/update69.py
  generate-packages-sources2: add --description-md5 option
  Include a trailing newline for the hash.
  generate-packages-sources2: Add support for Description-md5
  Add database support for Description-md5
  add TranslationFileWriter

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'origin/master' into description-md5

Conflicts:
dak/update_db.py

Rename dakdb/update67.py -> dakdb/update69.py

Merge remote-tracking branch 'ansgar/control-suite-sort-by-version' into merge

* ansgar/control-suite-sort-by-version:
  control-suite: sort list of desired packages as intended

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/rm' into merge

* ansgar/rm:
  Use sub-SELECT instead of LEFT OUTER JOIN.
  Check broken dependencies for arch-all packages only once.
  Get rid of WITH.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

And one more lintian reject, nonfatal

added bad-perm-for-file-in-etc-sudoers.d to nonfatal rejects, (Closes: #632466)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add a fatal lintian tag. closes #637389

add udeb-uses-non-gzip-data-tarball as a fatal lintian tag, which closes #637389

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Change make_overrides to use database config

Signed-off-by: Mark Hymers <mhy@debian.org>

Use database for check_overrides configuration

Signed-off-by: Mark Hymers <mhy@debian.org>

Move sanity check to use database

Signed-off-by: Mark Hymers <mhy@debian.org>

Actually apply database update 69

Signed-off-by: Mark Hymers <mhy@debian.org>

Add database fields to support overrides and c-s

Signed-off-by: Mark Hymers <mhy@debian.org>

Enhance source package/version handling when adding a binary deb

Signed-off-by: Mark Hymers <mhy@debian.org>

Make permissions cascade properly

Signed-off-by: Mark Hymers <mhy@debian.org>

Add missing python-debian dependency

Signed-off-by: Mark Hymers <mhy@debian.org>

Update current schema dump to v68

Signed-off-by: Mark Hymers <mhy@debian.org>

Fix incorrect update number

Signed-off-by: Mark Hymers <mhy@debian.org>

Clean out unused languages

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't use old style exception syntax

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote branch 'ansgar/clean-suites'

Signed-off-by: Mark Hymers <mhy@debian.org>