Add support for xz compression to FileWriter

Change how compression methods are selected in FileWriter

Use with statement instead of temporary table

SQLAlchemy might use server-side cursors and prepend a

  DECLARE "..." CURSOR WITHOUT HOLD FOR

to the statement.  This does not work if the statement starts with creating a
temporary table.

Move "import utils" into function

This breaks a dependency cycle (as utils.py imports dbconn.py again) and allows
the tests to pass again.

Merge remote-tracking branch 'ansgar/pu/wheezy' into merge

* ansgar/pu/wheezy:
  Remove dead code.
  Remove redundant indices from database.
  Add path to removal logs to minimal configuration.
  Make dominate -s <suite> work without Obsolete::Options::Suite set.
  setup/README: update for postgresql-9.1
  setup/README: remove no longer needed postgresql packages
  stop using deprecated python-apt functions
  merge check for Description field with other checks
  add our own deb_extract_control function
  Stop passing order_by as a string.
  Allow use with SQLAlchemy 0.7

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove dead code.

In ca9e3716b22771d88dcd7ca2e2f180f9e1707a10 the code to create system users was
removed from add_user.py, but related functions and a command line argument
were still kept.  This commit removes that code.

Remove redundant indices from database.

Add path to removal logs to minimal configuration.

dak rm will not work otherwise.

Make dominate -s <suite> work without Obsolete::Options::Suite set.

setup/README: update for postgresql-9.1

Refer to the current postgresql-9.1 packages. Also use the extension versions
of debversion and plpgsql and drop them from the schema definition.

setup/README: remove no longer needed postgresql packages

dak no longer uses plperl or plpython.

stop using deprecated python-apt functions

Renamed functions and methods:

  Find              -> find
  FindB             -> find_b
  newConfiguration  -> Configuration
  ParseCommandLine  -> parse_commandline
  ParseSrcDepends   -> parse_src_depends
  ReadConfigFileISC -> read_config_file_isc
  SubTree           -> subtree
  ValueList         -> value_list
  VersionCompare    -> version_compare

Removed functions:

  debExtractControl: replaced with utils.deb_extract_control

Other changes:

  x.has_key(y) -> y in x
  x.Find(y)    -> x[y]

The last change was only done in places where `y' is sure to exists (`x.Find'
would return None otherwise, `x[y]' would raise an exception).

ask before installing security updates

helps avoiding accidental *changes commandline arguments

Signed-off-by: Joerg Jaspert <joerg@debian.org>

merge check for Description field with other checks

add our own deb_extract_control function

debExtractControl from apt_inst was deprecated and removed.

Stop passing order_by as a string.

This no longer worked with SQLAlchemy 0.7.

Allow use with SQLAlchemy 0.7

* scripts/debian/link_morgue.sh: New script, converting morgue/ into a
  set of symlinks, then transferring them to the morgue host
* config/debian/cron.daily: Add link_morgue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'youam/master' into merge

* youam/master:
  define used variable, as we're now using strict

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of http://ftp-master.debian.org/git/dak

define used variable, as we're now using strict

Merge remote-tracking branch 'youam/master' into merge

* youam/master:
  warn on read errors in update-ftpstats, don't die
  handle compressed files transparently

Signed-off-by: Joerg Jaspert <joerg@debian.org>

warn on read errors in update-ftpstats, don't die

handle compressed files transparently

Fix win32loader byhand not to update all hardlinks

Signed-off-by: Mark Hymers <mhy@debian.org>

Add stable back to the suite block, thanks Adam

Signed-off-by: Joerg Jaspert <joerg@debian.org>

woops, more oldstable going away

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove lenny

Signed-off-by: Joerg Jaspert <joerg@debian.org>

buildd add keys

ignore the gpg error message, redirecting to dev/null. can appear if we have a new arch/buildd, then its a key-not-found complaint, which we dont care about. and we also care nothing about any other error it might give us here, so off it goes

also log if we have too many keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

minimal change to correctly publish auto-accepted security stuff even without an extra dsa OR a simultaneous event in the unchecked queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix reading $HOME/etc/dak/dak.conf

Previously the default_config would get loaded twice if $HOME/etc/dak/dak.conf
was found.

Signed-off-by: Arnd Hannemann <arnd@arndnet.de>

Ignore 'Operation not permitted' error.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote-tracking branch 'drkranz/lintian' into merge

* drkranz/lintian:
  Re-enable source-contains-waf-binary now that #661561 is fixed.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow squeeze-backports for dm

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Re-enable source-contains-waf-binary now that #661561 is fixed.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

might help to teach dqueued about the dm keyring too

Signed-off-by: Joerg Jaspert <joerg@debian.org>

that should also shutup the html validation foo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

move a closing </span>

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  generate_translations: do not include some descriptions more than once
  Also make generate_translations work with PostgreSQL 9.1.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate_translations: do not include some descriptions more than once

By no longer using s.source in the GROUP BY clause, identical
descriptions for binary packages built by more than one source
no longer appear multiple times in Translation-en.

Bug: http://bugs.debian.org/660543

Also make generate_translations work with PostgreSQL 9.1.

Merge remote-tracking branch 'ansgar/pu/postgresql-9.1' into merge

* ansgar/pu/postgresql-9.1:
  Make generate-packages-sources2 work correctly with PostgreSQL 9.1.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Make generate-packages-sources2 work correctly with PostgreSQL 9.1.

Merge remote-tracking branch 'drkranz/q-r' into merge

* drkranz/q-r:
  Add link to relevant PTS page for binary-NEW packages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add link to relevant PTS page for binary-NEW packages

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge branch 'master' into merge

* master:
  log suitename only

Signed-off-by: Joerg Jaspert <joerg@debian.org>

log suitename only

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/misc' into merge

* drkranz/misc:
  Fix variable name in parse_checksum function (Closes: #658525)
  Display changes in ACCEPTED mails (Closes: #261096)
  When rejecting packages, make .changes files world readable (Closes: #156876)

Signed-off-by: Joerg Jaspert <joerg@debian.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/misc' into merge

* drkranz/misc:
  Fix variable name in parse_checksum function (Closes: #658525)
  Display changes in ACCEPTED mails (Closes: #261096)
  When rejecting packages, make .changes files world readable (Closes: #156876)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix variable name in parse_checksum function (Closes: #658525)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Display changes in ACCEPTED mails (Closes: #261096)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

When rejecting packages, make .changes files world readable (Closes: #156876)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

do the i18n export in a way that we dont need to change it with every release, let it fetch from db

Signed-off-by: Joerg Jaspert <joerg@debian.org>

removed unused lines

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/queuereport' into merge

* drkranz/queuereport:
  Fix sponsor email handling in new.822 (Closes: #662024)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix sponsor email handling in new.822 (Closes: #662024)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/queued' into merge

* drkranz/queued:
  Use GPG format in queued README (Closes: #624437)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use GPG format in queued README (Closes: #624437)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/lintian' into merge

* drkranz/lintian:
  Disable source-contains-waf-binary tag until #661561 is fixed

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Disable source-contains-waf-binary tag until #661561 is fixed

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

exclude the pdiff files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make args a part of stagefile

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add some more logging to c-s

Signed-off-by: Joerg Jaspert <joerg@debian.org>

And also catch double-sign-edit-failure-sign-whatever files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

forget a comment, break the scripts. no more

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove some todo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add package names to title for items.

only use .bz2 files in Index

Signed-off-by: Joerg Jaspert <joerg@debian.org>

shutup

Signed-off-by: Joerg Jaspert <joerg@debian.org>

work without the file extension

Signed-off-by: Joerg Jaspert <joerg@debian.org>

pdiff files for translations

i believe this should generate pdiff files for translation files now,
which then ends up as (closes: #657902)

alternatively this will just break our archive, lets see in next dinstall...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

change config value for pdiffs too

Signed-off-by: Joerg Jaspert <joerg@debian.org>

more pdiff meh

increase from 14 to 56 rotations, which should (closes: #601717)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add the possibility of arch admins

Signed-off-by: Joerg Jaspert <joerg@debian.org>

missed a documentary string

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow a longer expire time for buildd keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/security-locks' into merge

* ansgar/pu/security-locks:
  debian-security: place locks around dak commands that affect packages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

debian-security: place locks around dak commands that affect packages

We don't want process-upload and generate-packages-sources2 or similar
combinations running at the same time. So just create a lock around such
sections.

c.u now also uses dak gps2

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/lintian' into merge

* drkranz/lintian:
  Add source-contains-waf-binary lintian tag to nonfatal list

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add source-contains-waf-binary lintian tag to nonfatal list

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/cruft' into merge

* drkranz/cruft:
  cruft-report: propose removal of outdated non-free binaries

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cruft-report: propose removal of outdated non-free binaries

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiline-external-overrides' into merge

* ansgar/pu/multiline-external-overrides:
  byhand-*: set -o pipefail
  byhand-tag: abort on invalid data
  byhand-tag: Allow uppercase letters in tags.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

byhand-*: set -o pipefail

byhand-tag: abort on invalid data

Abort processing if we find invalid data instead of silently ignoring
invalid lines.  This became more important since we now allow multi-line
fields and skipping lines might result in merging different entries or
incomplete entries.

byhand-tag: Allow uppercase letters in tags.

Merge remote-tracking branch 'ansgar/pu/multiline-external-overrides' into merge

* ansgar/pu/multiline-external-overrides:
  byhand-tag: allow multiline fields
  drop mk-extra-overrides.sh script
  byhand-tag: do not rely on a entry for the directory in the tarball
  allow cruft report a bdo mode and use that in bdo cron.daily

Signed-off-by: Joerg Jaspert <joerg@debian.org>

byhand-tag: allow multiline fields

drop mk-extra-overrides.sh script

This is no longer needed with generate-packages-sources2; external
overrides are now handled by dak external-override.

Note that this means override.*.extra.* files in .../scripts/override
will no longer be updated.

byhand-tag: do not rely on a entry for the directory in the tarball

allow cruft report a bdo mode and use that in bdo cron.daily

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/p-u' into merge

* drkranz/p-u:
  Check whether some mandatory keys are available

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/bts' into merge

* drkranz/bts:
  Categorize override bugs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Categorize override bugs

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Check whether some mandatory keys are available

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiline-external-overrides' into merge

* ansgar/pu/multiline-external-overrides:
  Allow override files to contain multiline fields in a backwards-compatible way

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow override files to contain multiline fields in a backwards-compatible way

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

hints from this . release (squeeze 6.0.4)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

i18n fixups

dont delete the en translations when syncing all the other languages
generate i18n/Index for all suites we do md5 descs for

Signed-off-by: Joerg Jaspert <joerg@debian.org>