lintian YAML has a "lintian" root element.

Signed-off-by: Chris Lamb <lamby@debian.org>

old

removing a check against an AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAANCIENT dpkg version

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Close sourcefile.

Signed-off-by: Chris Lamb <lamby@debian.org>

Dedent again by returning if lintian doesn't return any content.

Signed-off-by: Chris Lamb <lamby@debian.org>

Return all the lintian-related rejections, not just the first one.

Signed-off-by: Chris Lamb <lamby@debian.org>

It's called 'next', not 'continue'. =)

Signed-off-by: Chris Lamb <lamby@debian.org>

Dedent again by using continue.

Signed-off-by: Chris Lamb <lamby@debian.org>

Remove one level of indentation by using continue

Signed-off-by: Chris Lamb <lamby@debian.org>

Simple check for lintian regex

use the id, not the object

Signed-off-by: Mark Hymers <mhy@debian.org>

Use set() instead of Perlesque hash[key] = 1

Signed-off-by: Chris Lamb <lamby@debian.org>

add regex import

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge branch 'merge'

* merge:
  clean-suites: Remove trailing whitespace
  clean-suites: Fix logic error in during source cleaning
  clean-suites: Fix SQLA usage
  Fix SQL syntax errors
  clean-suites: Use utils.warn for warnings about orphaned files
  clean-suites: Add proper logging
  daklog: Add username in every log line

Merge commit 'djpig/djpig' into merge

* commit 'djpig/djpig':
  clean-suites: Remove trailing whitespace
  clean-suites: Fix logic error in during source cleaning
  clean-suites: Fix SQLA usage
  Fix SQL syntax errors
  clean-suites: Use utils.warn for warnings about orphaned files
  clean-suites: Add proper logging
  daklog: Add username in every log line

Signed-off-by: Joerg Jaspert <joerg@debian.org>

clean-suites: Remove trailing whitespace

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Remove unused imports from daklib.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge branch 'merge'

* merge:
  Monkeypatch commands.getstatusoutput to work around Python Popen issue.
  drop unused imports

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Monkeypatch commands.getstatusoutput to work around Python Popen issue.
  drop unused imports

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use more Pythonic "".join over str.join

Monkeypatch commands.getstatusoutput to work around Python Popen issue.

Signed-off-by: Chris Lamb <lamby@debian.org>

drop unused imports

Signed-off-by: Chris Lamb <lamby@debian.org>

file -> f

Signed-off-by: Mark Hymers <mhy@debian.org>

we're already in the changes object

Signed-off-by: Mark Hymers <mhy@debian.org>

use isinstance

Signed-off-by: Mark Hymers <mhy@debian.org>

fixup

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  If positional argument is None, modify it.s

Signed-off-by: Joerg Jaspert <joerg@debian.org>

If positional argument is None, modify it.s

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  If None is passed in.
  let there be referential integrity

Signed-off-by: Joerg Jaspert <joerg@debian.org>

If None is passed in.

Signed-off-by: Chris Lamb <lamby@debian.org>

let there be referential integrity

Signed-off-by: Mark Hymers <mhy@debian.org>

clean-suites: Fix logic error in during source cleaning

We need to remove all the entries in dsc_files(sic) for a given
source before we can remove the source.

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla':
  Add missing for loop.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add missing for loop.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla':
  This is SQL, not Python.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

This is SQL, not Python.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla':
  Use the format id. not its name.
  Interpolate values properly.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use the format id. not its name.

Signed-off-by: Chris Lamb <lamby@debian.org>

Interpolate values properly.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla':
  Actually select some rows.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Actually select some rows.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/deb-src-3.0-sqla' into merge

* commit 'lamby/deb-src-3.0-sqla': (29 commits)
  Drop lzma support.
  Only enable not-"1.0" formats on t-p-u and unstable and experimental.
  Reject uploads that contain a native tarball and a diff.
  dak heresy
  Fix reference to cls.requires.
  Add unittest.main() to test_regexes.
  Add shebang to regex tests.
  Simplify rejecting logic
  Avoid if/elif/elif.. with lookup table.
  Use loop to check for illegal duplication of file types in .dsc
  Use a collections.defaultdict to avoid boilerplate definitions.
  Correct grammar when rejecting a package with insufficient files.
  Require source formats to have a name and interpolate it when returning msgs
  Compare with None using "is", not "=="
  Remove has_ prefix inside srcformats.
  Don't pass dsc_filename to reject_msgs; prepend it in check_dsc_files.
  Move rejection message generation into srcformats
  Add regex to match .dsc "Format: lala" value and compile it on creation.
  Add SourceFormat class and track definitions with metaclass
  Make dbconn.get_suite_src_formats use @session_wrapper.
  ...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Drop lzma support.

Signed-off-by: Chris Lamb <lamby@debian.org>

Only enable not-"1.0" formats on t-p-u and unstable and experimental.

Signed-off-by: Chris Lamb <lamby@debian.org>

clean-suites: Fix SQLA usage

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Fix SQL syntax errors

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

clean-suites: Use utils.warn for warnings about orphaned files

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Merge branch 'master' into deb-src-3.0-sqla

* master:
  Use session.commit_or_flush in some more functions.
  Attach commit_or_flush to session object to call either .commit() or .flush()
  Add doc for session_wrapper.
  process-new: Fix BCC and X-Katie handling
  Fix various small bugs
  Re-enable BXA notifications
  queue: Fix typo
  Convert process_new to new APIs
  Print a warning if a trainee tries to do something he's not allowed to do
  Documentation fixes

Conflicts:
daklib/queue.py

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Use session.commit_or_flush in some more functions.
  Attach commit_or_flush to session object to call either .commit() or .flush()
  Add doc for session_wrapper.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

autoreject

add a lintian autoreject function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

clean-suites: Add proper logging

Also move some SQL queries to ORM API where useful and/or easy.

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

daklog: Add username in every log line

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Use session.commit_or_flush in some more functions.

Signed-off-by: Chris Lamb <lamby@debian.org>

Attach commit_or_flush to session object to call either .commit() or .flush()

Signed-off-by: Chris Lamb <lamby@debian.org>

Add doc for session_wrapper.

Signed-off-by: Chris Lamb <lamby@debian.org>

Reject uploads that contain a native tarball and a diff.

Signed-off-by: Chris Lamb <lamby@debian.org>

dak heresy

Signed-off-by: Chris Lamb <lamby@debian.org>

Fix reference to cls.requires.

Signed-off-by: Chris Lamb <lamby@debian.org>

Add unittest.main() to test_regexes.

Signed-off-by: Chris Lamb <lamby@debian.org>

Add shebang to regex tests.

Signed-off-by: Chris Lamb <lamby@debian.org>

Simplify rejecting logic

Signed-off-by: Chris Lamb <lamby@debian.org>

move check_status to daklib/queue.py

Signed-off-by: Mark Hymers <mhy@debian.org>

move recheck logic into daklib/queue.py

Signed-off-by: Mark Hymers <mhy@debian.org>

Avoid if/elif/elif.. with lookup table.

Signed-off-by: Chris Lamb <lamby@debian.org>

Use loop to check for illegal duplication of file types in .dsc

Signed-off-by: Chris Lamb <lamby@debian.org>

Use a collections.defaultdict to avoid boilerplate definitions.

Signed-off-by: Chris Lamb <lamby@debian.org>

Correct grammar when rejecting a package with insufficient files.

Signed-off-by: Chris Lamb <lamby@debian.org>

Require source formats to have a name and interpolate it when returning msgs

Signed-off-by: Chris Lamb <lamby@debian.org>

Compare with None using "is", not "=="

Signed-off-by: Chris Lamb <lamby@debian.org>

Remove has_ prefix inside srcformats.

Signed-off-by: Chris Lamb <lamby@debian.org>

Don't pass dsc_filename to reject_msgs; prepend it in check_dsc_files.

Signed-off-by: Chris Lamb <lamby@debian.org>

Move rejection message generation into srcformats

Signed-off-by: Chris Lamb <lamby@debian.org>

Add regex to match .dsc "Format: lala" value and compile it on creation.

This forces every format to have a regex too as it will blow up otherwise.

Signed-off-by: Chris Lamb <lamby@debian.org>

Add SourceFormat class and track definitions with metaclass

Signed-off-by: Chris Lamb <lamby@debian.org>

remove unused code (moving to process-holding) and readd security support

Signed-off-by: Mark Hymers <mhy@debian.org>

Add lintian tags file

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  process-new: Fix BCC and X-Katie handling
  Fix various small bugs
  Re-enable BXA notifications
  queue: Fix typo
  Convert process_new to new APIs
  Print a warning if a trainee tries to do something he's not allowed to do
  Documentation fixes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'djpig/djpig'

Conflicts:
daklib/dbconn.py

Signed-off-by: Mark Hymers <mhy@debian.org>

process-new: Fix BCC and X-Katie handling

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Fix various small bugs

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

Make dbconn.get_suite_src_formats use @session_wrapper.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge branch 'master' into deb-src-3.0-sqla

* master:
  fix p-u accepts for binary uploads
  Correct logic with detecting default kwarg values vs positional args.
  Wrap __doc__ and func_name in @session_wrapper.
  Avoid circular import when importing daklib.dbconn first.
  Handle arguments with default kwargs in @session_wrapper.
  Add missing "utils" import (used in security conditional)
  No need to assign to a local now that @session_wrapper does the cleanup
  Avoid calling .count(); call .one() and catch the exception.
  Fix Archive.__repr__
  Factor out most common session handling into decorator.

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  fix p-u accepts for binary uploads

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix p-u accepts for binary uploads

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Correct logic with detecting default kwarg values vs positional args.
  Wrap __doc__ and func_name in @session_wrapper.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Correct logic with detecting default kwarg values vs positional args.

Signed-off-by: Chris Lamb <lamby@debian.org>

Wrap __doc__ and func_name in @session_wrapper.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Avoid circular import when importing daklib.dbconn first.
  Handle arguments with default kwargs in @session_wrapper.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Avoid circular import when importing daklib.dbconn first.

Signed-off-by: Chris Lamb <lamby@debian.org>

Handle arguments with default kwargs in @session_wrapper.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Add missing "utils" import (used in security conditional)
  No need to assign to a local now that @session_wrapper does the cleanup
  Avoid calling .count(); call .one() and catch the exception.
  Fix Archive.__repr__
  Factor out most common session handling into decorator.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add missing "utils" import (used in security conditional)

Signed-off-by: Chris Lamb <lamby@debian.org>

No need to assign to a local now that @session_wrapper does the cleanup

Signed-off-by: Chris Lamb <lamby@debian.org>

Avoid calling .count(); call .one() and catch the exception.

Signed-off-by: Chris Lamb <lamby@debian.org>

Add support for multiple orig tarballs

Structure of Upload.pkg is adapted to handle multiple upstream tarballs.
This also means that the .dak format is modified.

Since the .dak format has been modified, improve the object .dak parser
funtion to be able to read both the new and the old format. When
reading the old format, it auto-converts the data to the new structure.
It uses python's type() introspection to know what format is used.

This allows in-place upgrade even when old .dak are still stored
in various queues.

Several other adaptations are also required in other methods of Upload object,
in process-accepted, in autobuild_queue().

Signed-off-by: Raphaël Hertzog <hertzog@debian.org>

dak show-new: use new regex to cope with all source files extensions

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

dak check-archive: replace check tar-gz-in-dsc

The check tar-gz-in-dsc is replaced by a more meaningful
test similar to what is done is process-unchecked. The new test
is called files-in-dsc and verifies that the files listed
in Files are correct for the format announced in the Format field.

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

Fix Upload.check_files() and Upload.check_dsc() to support new formats

Also fix queue.get_type() to handle all source files extensions.

Fix utils.build_file_list() for 3.x source packages

Let utils.build_file_list() know that we understand newer
formats like 3.0 (quilt) or 3.0 (native).

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

Create utils.check_dsc() to verify files in source packages

It ensures that the right files are there for each source format.
This will be used by at several places (daklib/queue.py,
dak/check-archive.py).

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

Add new SQLAlchemy objects representing source formats

Also add a function get_suite_src_formats(suite) returning the list of
allowed formats for a given suite.