daklib/dbconn.py: use apt_pkg.TagSection instead of implementing our own parser

daklib/archive.py: check for source when copying binaries

Add export subcommand to export upload from policy queues.

daklib/dbconn.py: add basename property to PoolFile

daklib/dbconn.py: add path property to Suite

daklib/archive.py: guess source component even with component mappings

daklib/archive.py: implement component mappings

Add BinaryTimestampCheck.

daklib/config.py: add find_i method

daklib/checks.py: add missing join

daklib/checks.py: use apt_pkg.version_compare correctly

version_compare returns values less than, equal to or greater than zero.
This value is not always -1, 0 or 2(!) as the documentation claims.

Reference: http://bugs.debian.org/680891

daklib/checks.py: make version check slightly more verbose

daklib/archive.py: handle unexpected names for byhand files

daklib/archive.py: session → self.session

daklib/checks.py: allow DMs to upload to all suites

DMs may upload to all suites, but only the highest version currently in
unstable, experimental or *-backports will be considered for DM-U-A.

daklib/archive.py (install_binary): fix use of source_suites

daklib/archive.py: use SQLAlchemy 0.6 syntax for join

daklib/regexes.py: re_file_binary: arch names can have dashes

daklib/regexes.py: re_field_source: fix matching version numbers

daklib/contents.py: close db session after use

error out if sql query fails

Using "echo ... | psql" does not generate an error when something goes
wrong.  Using "psql -c ..." instead does:

  $ echo "SELECT * FROM does_not_exist" | psql projectb 2>/dev/null; echo $?
  0

  $ q="SELECT * FROM does_not_exist"; psql -c "$q" projectb 2>/dev/null; echo $?
  1

This patch switches dak to use the second form to avoid silenty ignoring
errors.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

use "set -o pipefail" for shell scripts

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Merge remote-tracking branch 'drkranz/cruft' into merge

* drkranz/cruft:
  cruft_report.py: fix alignment of help description
  Pass -R option to cruft-report cron jobs
  Implement rdeps checking in cruft-report
  Use check_reverse_depends function from utils
  Implement check_reverse_depends function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cruft_report.py: fix alignment of help description

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Pass -R option to cruft-report cron jobs

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Implement rdeps checking in cruft-report

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Use check_reverse_depends function from utils

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Implement check_reverse_depends function

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  Drop column origin_server from archive table.
  Reference archive table from suite and add path to archive root
  typo: "pakcages" → "packages"
  Also import re_bin_only_nmu from daklib.regexes
  don't require all binaries to be included
  use discard instead of remove
  Add module to process policy queue uploads.
  Add module with pre-acceptance tests.
  Add module to handle archive manipulation.
  Add module to handle uploads not yet installed to the archive.
  process-unchecked.new: drop __SUMMARY__ for now
  remove two template variables
  utils.py: add call_editor function
  utils (send_message): add option to write mail to files
  utils.py (mail_addresses_for_upload): only try to use address from key if there is one

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/rrd' into merge

* drkranz/rrd:
  rrd-release-freeze-dates: add wheezy freeze date

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Drop column origin_server from archive table.

Reference archive table from suite and add path to archive root

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

typo: "pakcages" → "packages"

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Also import re_bin_only_nmu from daklib.regexes

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

don't require all binaries to be included

If a package has architecture-specific packages or a buildd uploads only
architecture-dependant packages and there are also arch-indep packages,
the upload does not include all binaries from the Binary field.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

use discard instead of remove

Uploads that do not include source would trigger an exception when
remove is used.  discard does not raise an exception when the element
does not exist.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Add module to process policy queue uploads.

Add module with pre-acceptance tests.

Add module to handle archive manipulation.

Add module to handle uploads not yet installed to the archive.

process-unchecked.new: drop __SUMMARY__ for now

The multi-archive changes don't have a useful value for __SUMMARY__
so far.  So drop it at least temporarily from the templates.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

remove two template variables

Drop __SHORT_SUMMARY__ and __STABLE_WARNING__.  The former provides no
interesting information (just a list of installed files); the latter
seems no longer used and nobody missed it so far.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

utils.py: add call_editor function

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

utils (send_message): add option to write mail to files

Add an option to write outgoing mails to a file in the directory given
by Dir::Mail.  This is intended for use on development installations
where no real mail should be sent.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

utils.py (mail_addresses_for_upload): only try to use address from key if there is one

rrd-release-freeze-dates: add wheezy freeze date

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  config.py: Add __contains__ method
  fstransactions.py: allow mode to be a string
  fstransactions.py: also use mode for directories
  tests: add a few packages for testing dak
  utils.py: add mail_addresses_for_upload function
  gpg_get_key_addresses: return a list instead of a set
  textutils.py: don't try to convert unicode strings again
  Add regexp to match .changes files.
  Correctly match version part of source tarballs
  dominate: convert to str
  Remove no longer used templates.
  Remove unused functions.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

config.py: Add __contains__ method

fstransactions.py: allow mode to be a string

fstransactions.py: also use mode for directories

tests: add a few packages for testing dak

utils.py: add mail_addresses_for_upload function

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

gpg_get_key_addresses: return a list instead of a set

gpg tries to return the primary uid (or newest uid if there is no explicit
primary) first.  dak should prefer this address, but we need a list to know the
order of addresses gpg returned.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

textutils.py: don't try to convert unicode strings again

Merge remote-tracking branch 'algernon/b/queue-report/byhand-trainee' into merge

* algernon/b/queue-report/byhand-trainee:
  queue-report: Also print unprocessed changes files
  queue_report: Ignore stuff without a source

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add regexp to match .changes files.

Also use raw strings for the other regular expressions.

Correctly match version part of source tarballs

The version part must not be greedy in order to not include the .orig.tar.*
part.  Also add .debian.tar.* which I forgot earlier.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

dominate: convert to str

apt_pkg.Configuration does only allow str values; trying to assign a
unicode object raises a TypeError.

Remove no longer used templates.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Remove unused functions.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

queue-report: Also print unprocessed changes files

For the sake of clarity, if there are any changes files that couldn't
be processed (due to our inability to find the source, see byhand +
ftptrainee case), also display those in the text report.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

queue_report: Ignore stuff without a source

Trainees can't see files in byhand, therefore process_changes_file in
queue_report is unable to handle changes files in queue/byhand. As a
workaround, whenever it encounters a changes file that it can't read
(and thus, cache[filename] has no source key), ignore that and
continue.

The result is that trainees will be able to use queue-report without a
backtrace, they just won't be able to see byhand, as intended. For
everyone else, queue-report should work as before.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

first get the lockfile, then sync to ftpmaster. and wait longer for it

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'refs/remotes/ansgar/pu/multiarchive-1' into merge

* refs/remotes/ansgar/pu/multiarchive-1:
  add module for filesystem transactions
  Add nicer and stricter regular expressions.
  override, override-disparity: rename suite variable to suite_name
  daklib/dbconn.py: Don't list install_date twice in not-null constraint.
  fix typo in daklib/gpg.py: seqeuence -> sequence
  Allow to set fingerprint in __init__ for DBBinary and DBSource.
  Remove split-done.
  Remove import-known-changes and import-new-files.
  process-upload: document -d, --directory option
  We now allow non-gzip data in udebs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add module for filesystem transactions

daklib.fstransactions allows to copy, remove, and move files around in
transactions, that is all operations will succeed or be reverted.

Add nicer and stricter regular expressions.

override, override-disparity: rename suite variable to suite_name

daklib/dbconn.py: Don't list install_date twice in not-null constraint.

fix typo in daklib/gpg.py: seqeuence -> sequence

Allow to set fingerprint in __init__ for DBBinary and DBSource.

Remove split-done.

Since 0ce7303ebc8d854fa8061669d39aba933665af6c we store changes files directly
into date-based directories.

Remove import-known-changes and import-new-files.

process-upload: document -d, --directory option

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

We now allow non-gzip data in udebs

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote-tracking branch 'ansgar/pu/wheezy' into merge

* ansgar/pu/wheezy:
  Go back to temporary tables.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Go back to temporary tables.

Using with statements as done in c9f2c29661e8d95215966aa52228febe0fec50cf
requires more resources, so revert back to using temporary tables.

We keep the statements to create and fill the temporary table separate from the
SELECT query itself which should fix the original problem in a different way.

Merge remote-tracking branch 'ansgar/pu/wheezy' into merge

* ansgar/pu/wheezy:
  Change how compression methods are selected in FileWriter
  Use with statement instead of temporary table
  Move "import utils" into function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Change how compression methods are selected in FileWriter

Use with statement instead of temporary table

SQLAlchemy might use server-side cursors and prepend a

  DECLARE "..." CURSOR WITHOUT HOLD FOR

to the statement.  This does not work if the statement starts with creating a
temporary table.

Move "import utils" into function

This breaks a dependency cycle (as utils.py imports dbconn.py again) and allows
the tests to pass again.

Merge remote-tracking branch 'ansgar/pu/wheezy' into merge

* ansgar/pu/wheezy:
  Remove dead code.
  Remove redundant indices from database.
  Add path to removal logs to minimal configuration.
  Make dominate -s <suite> work without Obsolete::Options::Suite set.
  setup/README: update for postgresql-9.1
  setup/README: remove no longer needed postgresql packages
  stop using deprecated python-apt functions
  merge check for Description field with other checks
  add our own deb_extract_control function
  Stop passing order_by as a string.
  Allow use with SQLAlchemy 0.7

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove dead code.

In ca9e3716b22771d88dcd7ca2e2f180f9e1707a10 the code to create system users was
removed from add_user.py, but related functions and a command line argument
were still kept.  This commit removes that code.

Remove redundant indices from database.

Add path to removal logs to minimal configuration.

dak rm will not work otherwise.

Make dominate -s <suite> work without Obsolete::Options::Suite set.

setup/README: update for postgresql-9.1

Refer to the current postgresql-9.1 packages. Also use the extension versions
of debversion and plpgsql and drop them from the schema definition.

setup/README: remove no longer needed postgresql packages

dak no longer uses plperl or plpython.

stop using deprecated python-apt functions

Renamed functions and methods:

  Find              -> find
  FindB             -> find_b
  newConfiguration  -> Configuration
  ParseCommandLine  -> parse_commandline
  ParseSrcDepends   -> parse_src_depends
  ReadConfigFileISC -> read_config_file_isc
  SubTree           -> subtree
  ValueList         -> value_list
  VersionCompare    -> version_compare

Removed functions:

  debExtractControl: replaced with utils.deb_extract_control

Other changes:

  x.has_key(y) -> y in x
  x.Find(y)    -> x[y]

The last change was only done in places where `y' is sure to exists (`x.Find'
would return None otherwise, `x[y]' would raise an exception).

ask before installing security updates

helps avoiding accidental *changes commandline arguments

Signed-off-by: Joerg Jaspert <joerg@debian.org>

merge check for Description field with other checks

add our own deb_extract_control function

debExtractControl from apt_inst was deprecated and removed.

Stop passing order_by as a string.

This no longer worked with SQLAlchemy 0.7.

Allow use with SQLAlchemy 0.7

* scripts/debian/link_morgue.sh: New script, converting morgue/ into a
  set of symlinks, then transferring them to the morgue host
* config/debian/cron.daily: Add link_morgue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'youam/master' into merge

* youam/master:
  define used variable, as we're now using strict

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of http://ftp-master.debian.org/git/dak

define used variable, as we're now using strict

Merge remote-tracking branch 'youam/master' into merge

* youam/master:
  warn on read errors in update-ftpstats, don't die
  handle compressed files transparently

Signed-off-by: Joerg Jaspert <joerg@debian.org>

warn on read errors in update-ftpstats, don't die

handle compressed files transparently