fstransactions.py: allow mode to be a string

fstransactions.py: also use mode for directories

tests: add a few packages for testing dak

utils.py: add mail_addresses_for_upload function

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

gpg_get_key_addresses: return a list instead of a set

gpg tries to return the primary uid (or newest uid if there is no explicit
primary) first.  dak should prefer this address, but we need a list to know the
order of addresses gpg returned.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

textutils.py: don't try to convert unicode strings again

Add regexp to match .changes files.

Also use raw strings for the other regular expressions.

Correctly match version part of source tarballs

The version part must not be greedy in order to not include the .orig.tar.*
part.  Also add .debian.tar.* which I forgot earlier.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

dominate: convert to str

apt_pkg.Configuration does only allow str values; trying to assign a
unicode object raises a TypeError.

Remove no longer used templates.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Remove unused functions.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

add module for filesystem transactions

daklib.fstransactions allows to copy, remove, and move files around in
transactions, that is all operations will succeed or be reverted.

Add nicer and stricter regular expressions.

override, override-disparity: rename suite variable to suite_name

daklib/dbconn.py: Don't list install_date twice in not-null constraint.

fix typo in daklib/gpg.py: seqeuence -> sequence

Allow to set fingerprint in __init__ for DBBinary and DBSource.

Remove split-done.

Since 0ce7303ebc8d854fa8061669d39aba933665af6c we store changes files directly
into date-based directories.

Remove import-known-changes and import-new-files.

process-upload: document -d, --directory option

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

We now allow non-gzip data in udebs

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote-tracking branch 'ansgar/pu/wheezy' into merge

* ansgar/pu/wheezy:
  Go back to temporary tables.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Go back to temporary tables.

Using with statements as done in c9f2c29661e8d95215966aa52228febe0fec50cf
requires more resources, so revert back to using temporary tables.

We keep the statements to create and fill the temporary table separate from the
SELECT query itself which should fix the original problem in a different way.

Merge remote-tracking branch 'ansgar/pu/wheezy' into merge

* ansgar/pu/wheezy:
  Change how compression methods are selected in FileWriter
  Use with statement instead of temporary table
  Move "import utils" into function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Change how compression methods are selected in FileWriter

Use with statement instead of temporary table

SQLAlchemy might use server-side cursors and prepend a

  DECLARE "..." CURSOR WITHOUT HOLD FOR

to the statement.  This does not work if the statement starts with creating a
temporary table.

Move "import utils" into function

This breaks a dependency cycle (as utils.py imports dbconn.py again) and allows
the tests to pass again.

Merge remote-tracking branch 'ansgar/pu/wheezy' into merge

* ansgar/pu/wheezy:
  Remove dead code.
  Remove redundant indices from database.
  Add path to removal logs to minimal configuration.
  Make dominate -s <suite> work without Obsolete::Options::Suite set.
  setup/README: update for postgresql-9.1
  setup/README: remove no longer needed postgresql packages
  stop using deprecated python-apt functions
  merge check for Description field with other checks
  add our own deb_extract_control function
  Stop passing order_by as a string.
  Allow use with SQLAlchemy 0.7

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove dead code.

In ca9e3716b22771d88dcd7ca2e2f180f9e1707a10 the code to create system users was
removed from add_user.py, but related functions and a command line argument
were still kept.  This commit removes that code.

Remove redundant indices from database.

Add path to removal logs to minimal configuration.

dak rm will not work otherwise.

Make dominate -s <suite> work without Obsolete::Options::Suite set.

setup/README: update for postgresql-9.1

Refer to the current postgresql-9.1 packages. Also use the extension versions
of debversion and plpgsql and drop them from the schema definition.

setup/README: remove no longer needed postgresql packages

dak no longer uses plperl or plpython.

stop using deprecated python-apt functions

Renamed functions and methods:

  Find              -> find
  FindB             -> find_b
  newConfiguration  -> Configuration
  ParseCommandLine  -> parse_commandline
  ParseSrcDepends   -> parse_src_depends
  ReadConfigFileISC -> read_config_file_isc
  SubTree           -> subtree
  ValueList         -> value_list
  VersionCompare    -> version_compare

Removed functions:

  debExtractControl: replaced with utils.deb_extract_control

Other changes:

  x.has_key(y) -> y in x
  x.Find(y)    -> x[y]

The last change was only done in places where `y' is sure to exists (`x.Find'
would return None otherwise, `x[y]' would raise an exception).

ask before installing security updates

helps avoiding accidental *changes commandline arguments

Signed-off-by: Joerg Jaspert <joerg@debian.org>

merge check for Description field with other checks

add our own deb_extract_control function

debExtractControl from apt_inst was deprecated and removed.

Stop passing order_by as a string.

This no longer worked with SQLAlchemy 0.7.

Allow use with SQLAlchemy 0.7

* scripts/debian/link_morgue.sh: New script, converting morgue/ into a
  set of symlinks, then transferring them to the morgue host
* config/debian/cron.daily: Add link_morgue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'youam/master' into merge

* youam/master:
  define used variable, as we're now using strict

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of http://ftp-master.debian.org/git/dak

define used variable, as we're now using strict

Merge remote-tracking branch 'youam/master' into merge

* youam/master:
  warn on read errors in update-ftpstats, don't die
  handle compressed files transparently

Signed-off-by: Joerg Jaspert <joerg@debian.org>

warn on read errors in update-ftpstats, don't die

handle compressed files transparently

Fix win32loader byhand not to update all hardlinks

Signed-off-by: Mark Hymers <mhy@debian.org>

Add stable back to the suite block, thanks Adam

Signed-off-by: Joerg Jaspert <joerg@debian.org>

woops, more oldstable going away

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove lenny

Signed-off-by: Joerg Jaspert <joerg@debian.org>

buildd add keys

ignore the gpg error message, redirecting to dev/null. can appear if we have a new arch/buildd, then its a key-not-found complaint, which we dont care about. and we also care nothing about any other error it might give us here, so off it goes

also log if we have too many keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

minimal change to correctly publish auto-accepted security stuff even without an extra dsa OR a simultaneous event in the unchecked queue

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix reading $HOME/etc/dak/dak.conf

Previously the default_config would get loaded twice if $HOME/etc/dak/dak.conf
was found.

Signed-off-by: Arnd Hannemann <arnd@arndnet.de>

Ignore 'Operation not permitted' error.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote-tracking branch 'drkranz/lintian' into merge

* drkranz/lintian:
  Re-enable source-contains-waf-binary now that #661561 is fixed.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow squeeze-backports for dm

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Re-enable source-contains-waf-binary now that #661561 is fixed.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

might help to teach dqueued about the dm keyring too

Signed-off-by: Joerg Jaspert <joerg@debian.org>

that should also shutup the html validation foo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

move a closing </span>

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/description-md5' into merge

* ansgar/description-md5:
  generate_translations: do not include some descriptions more than once
  Also make generate_translations work with PostgreSQL 9.1.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate_translations: do not include some descriptions more than once

By no longer using s.source in the GROUP BY clause, identical
descriptions for binary packages built by more than one source
no longer appear multiple times in Translation-en.

Bug: http://bugs.debian.org/660543

Also make generate_translations work with PostgreSQL 9.1.

Merge remote-tracking branch 'ansgar/pu/postgresql-9.1' into merge

* ansgar/pu/postgresql-9.1:
  Make generate-packages-sources2 work correctly with PostgreSQL 9.1.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Make generate-packages-sources2 work correctly with PostgreSQL 9.1.

Merge remote-tracking branch 'drkranz/q-r' into merge

* drkranz/q-r:
  Add link to relevant PTS page for binary-NEW packages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add link to relevant PTS page for binary-NEW packages

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge branch 'master' into merge

* master:
  log suitename only

Signed-off-by: Joerg Jaspert <joerg@debian.org>

log suitename only

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/misc' into merge

* drkranz/misc:
  Fix variable name in parse_checksum function (Closes: #658525)
  Display changes in ACCEPTED mails (Closes: #261096)
  When rejecting packages, make .changes files world readable (Closes: #156876)

Signed-off-by: Joerg Jaspert <joerg@debian.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/misc' into merge

* drkranz/misc:
  Fix variable name in parse_checksum function (Closes: #658525)
  Display changes in ACCEPTED mails (Closes: #261096)
  When rejecting packages, make .changes files world readable (Closes: #156876)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix variable name in parse_checksum function (Closes: #658525)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Display changes in ACCEPTED mails (Closes: #261096)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

When rejecting packages, make .changes files world readable (Closes: #156876)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

do the i18n export in a way that we dont need to change it with every release, let it fetch from db

Signed-off-by: Joerg Jaspert <joerg@debian.org>

removed unused lines

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/queuereport' into merge

* drkranz/queuereport:
  Fix sponsor email handling in new.822 (Closes: #662024)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix sponsor email handling in new.822 (Closes: #662024)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/queued' into merge

* drkranz/queued:
  Use GPG format in queued README (Closes: #624437)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use GPG format in queued README (Closes: #624437)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/lintian' into merge

* drkranz/lintian:
  Disable source-contains-waf-binary tag until #661561 is fixed

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Disable source-contains-waf-binary tag until #661561 is fixed

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

exclude the pdiff files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make args a part of stagefile

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add some more logging to c-s

Signed-off-by: Joerg Jaspert <joerg@debian.org>

And also catch double-sign-edit-failure-sign-whatever files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

forget a comment, break the scripts. no more

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove some todo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add package names to title for items.

only use .bz2 files in Index

Signed-off-by: Joerg Jaspert <joerg@debian.org>

shutup

Signed-off-by: Joerg Jaspert <joerg@debian.org>

work without the file extension

Signed-off-by: Joerg Jaspert <joerg@debian.org>

pdiff files for translations

i believe this should generate pdiff files for translation files now,
which then ends up as (closes: #657902)

alternatively this will just break our archive, lets see in next dinstall...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

change config value for pdiffs too

Signed-off-by: Joerg Jaspert <joerg@debian.org>

more pdiff meh

increase from 14 to 56 rotations, which should (closes: #601717)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add the possibility of arch admins

Signed-off-by: Joerg Jaspert <joerg@debian.org>

missed a documentary string

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow a longer expire time for buildd keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/security-locks' into merge

* ansgar/pu/security-locks:
  debian-security: place locks around dak commands that affect packages

Signed-off-by: Joerg Jaspert <joerg@debian.org>