Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Monkeypatch commands.getstatusoutput to work around Python Popen issue.
  drop unused imports

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Monkeypatch commands.getstatusoutput to work around Python Popen issue.

Signed-off-by: Chris Lamb <lamby@debian.org>

drop unused imports

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  If positional argument is None, modify it.s

Signed-off-by: Joerg Jaspert <joerg@debian.org>

If positional argument is None, modify it.s

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  If None is passed in.
  let there be referential integrity

Signed-off-by: Joerg Jaspert <joerg@debian.org>

If None is passed in.

Signed-off-by: Chris Lamb <lamby@debian.org>

let there be referential integrity

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla':
  Add missing for loop.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add missing for loop.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla':
  This is SQL, not Python.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

This is SQL, not Python.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla':
  Use the format id. not its name.
  Interpolate values properly.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use the format id. not its name.

Signed-off-by: Chris Lamb <lamby@debian.org>

Interpolate values properly.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla':
  Actually select some rows.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Actually select some rows.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla': (29 commits)
  Drop lzma support.
  Only enable not-"1.0" formats on t-p-u and unstable and experimental.
  Reject uploads that contain a native tarball and a diff.
  dak heresy
  Fix reference to cls.requires.
  Add unittest.main() to test_regexes.
  Add shebang to regex tests.
  Simplify rejecting logic
  Avoid if/elif/elif.. with lookup table.
  Use loop to check for illegal duplication of file types in .dsc
  Use a collections.defaultdict to avoid boilerplate definitions.
  Correct grammar when rejecting a package with insufficient files.
  Require source formats to have a name and interpolate it when returning msgs
  Compare with None using "is", not "=="
  Remove has_ prefix inside srcformats.
  Don't pass dsc_filename to reject_msgs; prepend it in check_dsc_files.
  Move rejection message generation into srcformats
  Add regex to match .dsc "Format: lala" value and compile it on creation.
  Add SourceFormat class and track definitions with metaclass
  Make dbconn.get_suite_src_formats use @session_wrapper.
  ...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Drop lzma support.

Signed-off-by: Chris Lamb <lamby@debian.org>

Only enable not-"1.0" formats on t-p-u and unstable and experimental.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge branch 'master' into deb-src-3.0-sqla

* master:
  Use session.commit_or_flush in some more functions.
  Attach commit_or_flush to session object to call either .commit() or .flush()
  Add doc for session_wrapper.
  process-new: Fix BCC and X-Katie handling
  Fix various small bugs
  Re-enable BXA notifications
  queue: Fix typo
  Convert process_new to new APIs
  Print a warning if a trainee tries to do something he's not allowed to do
  Documentation fixes

Conflicts:
daklib/queue.py

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Use session.commit_or_flush in some more functions.
  Attach commit_or_flush to session object to call either .commit() or .flush()
  Add doc for session_wrapper.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use session.commit_or_flush in some more functions.

Signed-off-by: Chris Lamb <lamby@debian.org>

Attach commit_or_flush to session object to call either .commit() or .flush()

Signed-off-by: Chris Lamb <lamby@debian.org>

Add doc for session_wrapper.

Signed-off-by: Chris Lamb <lamby@debian.org>

Reject uploads that contain a native tarball and a diff.

Signed-off-by: Chris Lamb <lamby@debian.org>

dak heresy

Signed-off-by: Chris Lamb <lamby@debian.org>

Fix reference to cls.requires.

Signed-off-by: Chris Lamb <lamby@debian.org>

Add unittest.main() to test_regexes.

Signed-off-by: Chris Lamb <lamby@debian.org>

Add shebang to regex tests.

Signed-off-by: Chris Lamb <lamby@debian.org>

Simplify rejecting logic

Signed-off-by: Chris Lamb <lamby@debian.org>

Avoid if/elif/elif.. with lookup table.

Signed-off-by: Chris Lamb <lamby@debian.org>

Use loop to check for illegal duplication of file types in .dsc

Signed-off-by: Chris Lamb <lamby@debian.org>

Use a collections.defaultdict to avoid boilerplate definitions.

Signed-off-by: Chris Lamb <lamby@debian.org>

Correct grammar when rejecting a package with insufficient files.

Signed-off-by: Chris Lamb <lamby@debian.org>

Require source formats to have a name and interpolate it when returning msgs

Signed-off-by: Chris Lamb <lamby@debian.org>

Compare with None using "is", not "=="

Signed-off-by: Chris Lamb <lamby@debian.org>

Remove has_ prefix inside srcformats.

Signed-off-by: Chris Lamb <lamby@debian.org>

Don't pass dsc_filename to reject_msgs; prepend it in check_dsc_files.

Signed-off-by: Chris Lamb <lamby@debian.org>

Move rejection message generation into srcformats

Signed-off-by: Chris Lamb <lamby@debian.org>

Add regex to match .dsc "Format: lala" value and compile it on creation.

This forces every format to have a regex too as it will blow up otherwise.

Signed-off-by: Chris Lamb <lamby@debian.org>

Add SourceFormat class and track definitions with metaclass

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  process-new: Fix BCC and X-Katie handling
  Fix various small bugs
  Re-enable BXA notifications
  queue: Fix typo
  Convert process_new to new APIs
  Print a warning if a trainee tries to do something he's not allowed to do
  Documentation fixes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'djpig/djpig'

Conflicts:
daklib/dbconn.py

Signed-off-by: Mark Hymers <mhy@debian.org>

process-new: Fix BCC and X-Katie handling

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Fix various small bugs

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Make dbconn.get_suite_src_formats use @session_wrapper.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge branch 'master' into deb-src-3.0-sqla

* master:
  fix p-u accepts for binary uploads
  Correct logic with detecting default kwarg values vs positional args.
  Wrap __doc__ and func_name in @session_wrapper.
  Avoid circular import when importing daklib.dbconn first.
  Handle arguments with default kwargs in @session_wrapper.
  Add missing "utils" import (used in security conditional)
  No need to assign to a local now that @session_wrapper does the cleanup
  Avoid calling .count(); call .one() and catch the exception.
  Fix Archive.__repr__
  Factor out most common session handling into decorator.

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  fix p-u accepts for binary uploads

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix p-u accepts for binary uploads

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Correct logic with detecting default kwarg values vs positional args.
  Wrap __doc__ and func_name in @session_wrapper.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Correct logic with detecting default kwarg values vs positional args.

Signed-off-by: Chris Lamb <lamby@debian.org>

Wrap __doc__ and func_name in @session_wrapper.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Avoid circular import when importing daklib.dbconn first.
  Handle arguments with default kwargs in @session_wrapper.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Avoid circular import when importing daklib.dbconn first.

Signed-off-by: Chris Lamb <lamby@debian.org>

Handle arguments with default kwargs in @session_wrapper.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Add missing "utils" import (used in security conditional)
  No need to assign to a local now that @session_wrapper does the cleanup
  Avoid calling .count(); call .one() and catch the exception.
  Fix Archive.__repr__
  Factor out most common session handling into decorator.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add missing "utils" import (used in security conditional)

Signed-off-by: Chris Lamb <lamby@debian.org>

No need to assign to a local now that @session_wrapper does the cleanup

Signed-off-by: Chris Lamb <lamby@debian.org>

Avoid calling .count(); call .one() and catch the exception.

Signed-off-by: Chris Lamb <lamby@debian.org>

Add support for multiple orig tarballs

Structure of Upload.pkg is adapted to handle multiple upstream tarballs.
This also means that the .dak format is modified.

Since the .dak format has been modified, improve the object .dak parser
funtion to be able to read both the new and the old format. When
reading the old format, it auto-converts the data to the new structure.
It uses python's type() introspection to know what format is used.

This allows in-place upgrade even when old .dak are still stored
in various queues.

Several other adaptations are also required in other methods of Upload object,
in process-accepted, in autobuild_queue().

Signed-off-by: Raphaël Hertzog <hertzog@debian.org>

dak show-new: use new regex to cope with all source files extensions

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

dak check-archive: replace check tar-gz-in-dsc

The check tar-gz-in-dsc is replaced by a more meaningful
test similar to what is done is process-unchecked. The new test
is called files-in-dsc and verifies that the files listed
in Files are correct for the format announced in the Format field.

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

Fix Upload.check_files() and Upload.check_dsc() to support new formats

Also fix queue.get_type() to handle all source files extensions.

Fix utils.build_file_list() for 3.x source packages

Let utils.build_file_list() know that we understand newer
formats like 3.0 (quilt) or 3.0 (native).

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

Create utils.check_dsc() to verify files in source packages

It ensures that the right files are there for each source format.
This will be used by at several places (daklib/queue.py,
dak/check-archive.py).

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

Add new SQLAlchemy objects representing source formats

Also add a function get_suite_src_formats(suite) returning the list of
allowed formats for a given suite.

Add list of allowed source formats in the database

* Add dak/dakdb/update15.py to update the database.
* Update required_database_schema to 15 in dak/update_db.py.

daklib/regexes.py: updates to support new source files

The regex re_issource is modified to recognize the new compression scheme
supported by the 3.0 source package formats. Also add the
the debian.tar file used by 3.0 (quilt) and 2.0 and the
.orig-component.tar for additional upstream tarballs.

Add a new regex re_is_orig_source to know if a file correspond
to some upstream source tarballs (where the version should not have a
debian revision).

Add new regexes re_source_ext and re_orig_source_ext to match only the
extension of source files. And reuse those in the definition of
re_is_orig_source and re_issource to avoid duplication.

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

Re-enable BXA notifications

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

queue: Fix typo

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Fix Archive.__repr__

Signed-off-by: Chris Lamb <lamby@debian.org>

Factor out most common session handling into decorator.

Signed-off-by: Chris Lamb <lamby@debian.org>

Convert process_new to new APIs

All code only used in security and/or stable updates is commented
out for now and not converted, yet

Print a warning if a trainee tries to do something he's not allowed to do

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Documentation fixes

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  really disable contents in p-a

Signed-off-by: Joerg Jaspert <joerg@debian.org>

really disable contents in p-a

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  disable contents storage for now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

disable contents storage for now

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  Dear Ganneff, C+P coding is not helpful

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Dear Ganneff, C+P coding is not helpful

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  try fixing up this *again*

Signed-off-by: Joerg Jaspert <joerg@debian.org>

For now do not say queue only but let it deliver instantly

Signed-off-by: Joerg Jaspert <joerg@debian.org>

try fixing up this *again*

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  why do people want readable messages?

Signed-off-by: Joerg Jaspert <joerg@debian.org>

why do people want readable messages?

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  urgh, wrong part of the message

Signed-off-by: Joerg Jaspert <joerg@debian.org>

urgh, wrong part of the message

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  tidy up messages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

tidy up messages

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  package -> source

Signed-off-by: Joerg Jaspert <joerg@debian.org>

package -> source

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  show the package name, not the object repr

Signed-off-by: Joerg Jaspert <joerg@debian.org>

show the package name, not the object repr

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  we now get an object or None back not a list...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

we now get an object or None back not a list...

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  use correct function name

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use correct function name

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  initialise template variables

Signed-off-by: Joerg Jaspert <joerg@debian.org>