Merge commit 'ftpmaster/master'

update import_keyring

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Fix another list.join/str.join instance.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix another list.join/str.join instance.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Prefer interpolation over concatenation.
  Join is str.join, not list.join

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Prefer interpolation over concatenation.

Signed-off-by: Chris Lamb <lamby@debian.org>

Join is str.join, not list.join

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  cnf.__getitem__ is not following protocol, but this is an easier fix.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cnf.__getitem__ is not following protocol, but this is an easier fix.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  We renamed s/directory/queue/ in this code.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

We renamed s/directory/queue/ in this code.

Signed-off-by: Chris Lamb <lamby@debian.org>

add some tags

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  Some people can't open the log; handle this gracefully.
  Split out symlink creation into Upload.ensure_orig

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Some people can't open the log; handle this gracefully.
  Split out symlink creation into Upload.ensure_orig

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Some people can't open the log; handle this gracefully.

Signed-off-by: Chris Lamb <lamby@debian.org>

now we don't need the dm flag

Signed-off-by: Mark Hymers <mhy@debian.org>

allow for keyring priorities

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'ftpmaster/master'

implement key acls

Signed-off-by: Mark Hymers <mhy@debian.org>

Split out symlink creation into Upload.ensure_orig

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge branch 'merge'

* merge:
  Check that we can parse the YAML file before we symlink anything.
  Test that we have Dinstall::LintianTags before we symlink anything
  Cleanup any symlinks that we created.

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Check that we can parse the YAML file before we symlink anything.
  Test that we have Dinstall::LintianTags before we symlink anything
  Cleanup any symlinks that we created.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Check that we can parse the YAML file before we symlink anything.

Signed-off-by: Chris Lamb <lamby@debian.org>

Test that we have Dinstall::LintianTags before we symlink anything

Signed-off-by: Chris Lamb <lamby@debian.org>

Cleanup any symlinks that we created.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge branch 'merge'

* merge:
  Use the same session when getting pool entries, otherwise we can't do poolfile.location
  Hide SystemError, otherwise logging gets ugly.
  Don't reject orig tarballs - we want them

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Use the same session when getting pool entries, otherwise we can't do poolfile.location
  Hide SystemError, otherwise logging gets ugly.
  Don't reject orig tarballs - we want them

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use the same session when getting pool entries, otherwise we can't do poolfile.location

Signed-off-by: Chris Lamb <lamby@debian.org>

Hide SystemError, otherwise logging gets ugly.

Signed-off-by: Chris Lamb <lamby@debian.org>

Don't reject orig tarballs - we want them

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge branch 'merge'

* merge:
  Don't ignore KeyboardInterrupt either in process_unchecked
  Don't log "dak top-level starting" every time we run "dak ls" or something.

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Don't ignore KeyboardInterrupt either in process_unchecked
  Don't log "dak top-level starting" every time we run "dak ls" or something.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Don't ignore KeyboardInterrupt either in process_unchecked

Signed-off-by: Chris Lamb <lamby@debian.org>

Don't log "dak top-level starting" every time we run "dak ls" or something.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge branch 'merge'

* merge:
  Catch and log all exceptions from top-level dak command.
  Look in the pool and queues for missing orig files.
  Tidy check_lintian's 'log' closure
  Inline ensure_all_source_exists.

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Catch and log all exceptions from top-level dak command.
  Look in the pool and queues for missing orig files.
  Tidy check_lintian's 'log' closure
  Inline ensure_all_source_exists.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Catch and log all exceptions from top-level dak command.

Signed-off-by: Chris Lamb <lamby@debian.org>

Look in the pool and queues for missing orig files.

Signed-off-by: Chris Lamb <lamby@debian.org>

Tidy check_lintian's 'log' closure

Thanks Enrico for calling it out.

Signed-off-by: Chris Lamb <lamby@debian.org>

dinstall order change

Signed-off-by: Joerg Jaspert <joerg@debian.org>

symlinks

no longer call symlinks in every dinstall run. instead call it once per
week.
Also call it in di-byhand, just to ensure there isnt any symlink going wrong
there.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Inline ensure_all_source_exists.

Signed-off-by: Chris Lamb <lamby@debian.org>

rsyncable

use --rsyncable for most of our gzip compressions.

For Packages.gz ... 2% bigger, 1/8th of the transfer
For Contents-lala.gz ... ~4% bigger, 1/4th of the transfer

Signed-off-by: Joerg Jaspert <joerg@debian.org>

quote

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Revert "While we're at it, split out another version of ensure_orig_files."

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "While we're at it, split out another version of ensure_orig_files."

This reverts commit a51c070b5347ed9244c7b1db48bc4adb4801d24e.

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Actually use dest_dir argument
  pkg is on self.
  Pass source_dir to ensure_all_source_exists

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Actually use dest_dir argument

Signed-off-by: Chris Lamb <lamby@debian.org>

pkg is on self.

Signed-off-by: Chris Lamb <lamby@debian.org>

Pass source_dir to ensure_all_source_exists

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  build_file_list(changes, ..) can also be dsc information \o/

Signed-off-by: Joerg Jaspert <joerg@debian.org>

build_file_list(changes, ..) can also be dsc information \o/

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Haha, recursive import

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Haha, recursive import

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Really fix import.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Really fix import.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Import ensure_orig_files properly.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Import ensure_orig_files properly.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Aw, [] can't take *args/**kwargs things.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Aw, [] can't take *args/**kwargs things.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Add check_lintian logging.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add check_lintian logging.

Signed-off-by: Chris Lamb <lamby@debian.org>

add keyring defaults

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Drop the SourceFormat-specific validate_format classmethods.
  Don't validate a .changes Format as a source package version format (!)
  Add validate_changes_format utility.
  Move parse_format tests to test_formats.py
  Move parse_format into daklib.formats
  Remove X-Katie: headers
  Updated
  dinstall
  Background half of dinstall
  Dont do work without a tagfile

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Drop the SourceFormat-specific validate_format classmethods.

Signed-off-by: Chris Lamb <lamby@debian.org>

Don't validate a .changes Format as a source package version format (!)

Signed-off-by: Chris Lamb <lamby@debian.org>

Add validate_changes_format utility.

Signed-off-by: Chris Lamb <lamby@debian.org>

tidy up and add more methods to SQLA objects

Signed-off-by: Mark Hymers <mhy@debian.org>

Move parse_format tests to test_formats.py

Signed-off-by: Chris Lamb <lamby@debian.org>

Move parse_format into daklib.formats

Signed-off-by: Chris Lamb <lamby@debian.org>

add basic mapper classes for new tables

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge branch 'merge'

* merge:
  Fix changes[...] call.

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Fix changes[...] call.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix changes[...] call.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge branch 'merge'

* merge:
  Fix return type.
  Don't call check_* due when we are running with No-Action
  While we're at it, split out another version of ensure_orig_files.
  check_lintian needs all the source, otherwise we can't check the package.
  Factor out symlink stuff from get_changelog_versions => ensure_all_source_exists

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Fix return type.
  Don't call check_* due when we are running with No-Action
  While we're at it, split out another version of ensure_orig_files.
  check_lintian needs all the source, otherwise we can't check the package.
  Factor out symlink stuff from get_changelog_versions => ensure_all_source_exists

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix return type.

Signed-off-by: Chris Lamb <lamby@debian.org>

add acls to database schema

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't call check_* due when we are running with No-Action

Signed-off-by: Chris Lamb <lamby@debian.org>

While we're at it, split out another version of ensure_orig_files.

Signed-off-by: Chris Lamb <lamby@debian.org>

check_lintian needs all the source, otherwise we can't check the package.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'ftpmaster/master'

Factor out symlink stuff from get_changelog_versions => ensure_all_source_exists

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge branch 'merge'

* merge:
  Port check_dsc_files to use get_format_from_string.
  Make build_file_list to use get_format_from_string and friends.
  Add get_format_from_string utility method
  Attach validate_format(...) to each SourceFormat that can reject formats.
  Split out parse_format to module-level and test it explicitly.
  Split parsing of "Format:" string and validation of it.
  Compare None with object identity, not equality
  "Format: 0.0" is now invalid
  Add regression tests for parse_format.
  Move "Format:" field parsing into srcformats.py

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Port check_dsc_files to use get_format_from_string.
  Make build_file_list to use get_format_from_string and friends.
  Add get_format_from_string utility method
  Attach validate_format(...) to each SourceFormat that can reject formats.
  Split out parse_format to module-level and test it explicitly.
  Split parsing of "Format:" string and validation of it.
  Compare None with object identity, not equality
  "Format: 0.0" is now invalid
  Add regression tests for parse_format.
  Move "Format:" field parsing into srcformats.py

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Port check_dsc_files to use get_format_from_string.

Signed-off-by: Chris Lamb <lamby@debian.org>

Make build_file_list to use get_format_from_string and friends.

Signed-off-by: Chris Lamb <lamby@debian.org>

Add get_format_from_string utility method

Signed-off-by: Chris Lamb <lamby@debian.org>

Attach validate_format(...) to each SourceFormat that can reject formats.

Signed-off-by: Chris Lamb <lamby@debian.org>

Split out parse_format to module-level and test it explicitly.

Signed-off-by: Chris Lamb <lamby@debian.org>

Split parsing of "Format:" string and validation of it.

Signed-off-by: Chris Lamb <lamby@debian.org>

Compare None with object identity, not equality

Signed-off-by: Chris Lamb <lamby@debian.org>

"Format: 0.0" is now invalid

Signed-off-by: Chris Lamb <lamby@debian.org>

Add regression tests for parse_format.

Signed-off-by: Chris Lamb <lamby@debian.org>

Move "Format:" field parsing into srcformats.py

Signed-off-by: Chris Lamb <lamby@debian.org>

Remove X-Katie: headers

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'ftpmaster/master'

fix indentation

Signed-off-by: Mark Hymers <mhy@debian.org>

Updated

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  Improve logging in clean_empty_directories.
  Clean empty directories from the pool.