Add support for multiple orig tarballs

Structure of Upload.pkg is adapted to handle multiple upstream tarballs.
This also means that the .dak format is modified.

Since the .dak format has been modified, improve the object .dak parser
funtion to be able to read both the new and the old format. When
reading the old format, it auto-converts the data to the new structure.
It uses python's type() introspection to know what format is used.

This allows in-place upgrade even when old .dak are still stored
in various queues.

Several other adaptations are also required in other methods of Upload object,
in process-accepted, in autobuild_queue().

Signed-off-by: Raphaël Hertzog <hertzog@debian.org>

dak show-new: use new regex to cope with all source files extensions

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

dak check-archive: replace check tar-gz-in-dsc

The check tar-gz-in-dsc is replaced by a more meaningful
test similar to what is done is process-unchecked. The new test
is called files-in-dsc and verifies that the files listed
in Files are correct for the format announced in the Format field.

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

Fix Upload.check_files() and Upload.check_dsc() to support new formats

Also fix queue.get_type() to handle all source files extensions.

Fix utils.build_file_list() for 3.x source packages

Let utils.build_file_list() know that we understand newer
formats like 3.0 (quilt) or 3.0 (native).

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

Create utils.check_dsc() to verify files in source packages

It ensures that the right files are there for each source format.
This will be used by at several places (daklib/queue.py,
dak/check-archive.py).

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

Add new SQLAlchemy objects representing source formats

Also add a function get_suite_src_formats(suite) returning the list of
allowed formats for a given suite.

Add list of allowed source formats in the database

* Add dak/dakdb/update15.py to update the database.
* Update required_database_schema to 15 in dak/update_db.py.

daklib/regexes.py: updates to support new source files

The regex re_issource is modified to recognize the new compression scheme
supported by the 3.0 source package formats. Also add the
the debian.tar file used by 3.0 (quilt) and 2.0 and the
.orig-component.tar for additional upstream tarballs.

Add a new regex re_is_orig_source to know if a file correspond
to some upstream source tarballs (where the version should not have a
debian revision).

Add new regexes re_source_ext and re_orig_source_ext to match only the
extension of source files. And reuse those in the definition of
re_is_orig_source and re_issource to avoid duplication.

Signed-off-by: Raphael Hertzog <hertzog@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  really disable contents in p-a

Signed-off-by: Joerg Jaspert <joerg@debian.org>

really disable contents in p-a

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  disable contents storage for now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

disable contents storage for now

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  Dear Ganneff, C+P coding is not helpful

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Dear Ganneff, C+P coding is not helpful

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  try fixing up this *again*

Signed-off-by: Joerg Jaspert <joerg@debian.org>

For now do not say queue only but let it deliver instantly

Signed-off-by: Joerg Jaspert <joerg@debian.org>

try fixing up this *again*

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  why do people want readable messages?

Signed-off-by: Joerg Jaspert <joerg@debian.org>

why do people want readable messages?

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  urgh, wrong part of the message

Signed-off-by: Joerg Jaspert <joerg@debian.org>

urgh, wrong part of the message

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  tidy up messages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

tidy up messages

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  package -> source

Signed-off-by: Joerg Jaspert <joerg@debian.org>

package -> source

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  show the package name, not the object repr

Signed-off-by: Joerg Jaspert <joerg@debian.org>

show the package name, not the object repr

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  we now get an object or None back not a list...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

we now get an object or None back not a list...

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  use correct function name

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use correct function name

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  initialise template variables

Signed-off-by: Joerg Jaspert <joerg@debian.org>

initialise template variables

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Don't repr the object; could be a long (and ends up with eg. "2L")

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  the database is faster than us now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

the database is faster than us now

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't repr the object; could be a long (and ends up with eg. "2L")

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  make cruft_report report
  whoops - call it with the object, not the name
  call get_suite_binaries properly
  pass parameters properly

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make cruft_report report

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Use the correct dictionary to lookup name of users.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use the correct dictionary to lookup name of users.

Signed-off-by: Chris Lamb <lamby@debian.org>

whoops - call it with the object, not the name

Signed-off-by: Mark Hymers <mhy@debian.org>

call get_suite_binaries properly

Signed-off-by: Mark Hymers <mhy@debian.org>

pass parameters properly

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  import a class we need and don't hide errors

Signed-off-by: Joerg Jaspert <joerg@debian.org>

import a class we need and don't hide errors

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  hack around file hanging around forever

Signed-off-by: Joerg Jaspert <joerg@debian.org>

hack around file hanging around forever

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Revert "Use gzip.open(.., 'rb')" as this version of python-apt is olde
  Find/replace fail.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "Use gzip.open(.., 'rb')" as this version of python-apt is olde

This reverts commit 91cd6acebec69854074c594bf917561001f57ef4.

Signed-off-by: Chris Lamb <lamby@debian.org>

Find/replace fail.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  fix handling of suite names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix handling of suite names

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Make import_keyring use dbconn.get_or_set_uid.
  Make import_keyring use get_or_set_keyring.
  Port database.get_or_set_keyring_id => dbconn.get_or_set_keyring
  Use gzip.open(.., 'rb') instead of gunzip and temporary filenames.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Make import_keyring use dbconn.get_or_set_uid.

Signed-off-by: Chris Lamb <lamby@debian.org>

Make import_keyring use get_or_set_keyring.

Signed-off-by: Chris Lamb <lamby@debian.org>

Port database.get_or_set_keyring_id => dbconn.get_or_set_keyring

Signed-off-by: Chris Lamb <lamby@debian.org>

Use gzip.open(.., 'rb') instead of gunzip and temporary filenames.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  use the right variable names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use the right variable names

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  import a function which we use

Signed-off-by: Joerg Jaspert <joerg@debian.org>

import a function which we use

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  and again...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

and again...

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  use the right variable name

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use the right variable name

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  pass session down to delete_packages

Signed-off-by: Joerg Jaspert <joerg@debian.org>

pass session down to delete_packages

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  get_suite_architectures returns [Architecture] now, not [str]

Signed-off-by: Joerg Jaspert <joerg@debian.org>

get_suite_architectures returns [Architecture] now, not [str]

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Alter get_maintainer API to return Maintainer object or None
  Fix get_maintainer

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Alter get_maintainer API to return Maintainer object or None

Signed-off-by: Chris Lamb <lamby@debian.org>

Fix get_maintainer

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Port get_maintainer to dbconn.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Port get_maintainer to dbconn.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  another merge failure

Signed-off-by: Joerg Jaspert <joerg@debian.org>

another merge failure

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  fix bad merge

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix bad merge

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  remove UserExtensions
  move extensions back into main code base

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Use session because we have it.
  daklib.database has gone away; use dbconn versions.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove UserExtensions

Signed-off-by: Mark Hymers <mhy@debian.org>

move extensions back into main code base

Signed-off-by: Mark Hymers <mhy@debian.org>

Use session because we have it.

Signed-off-by: Chris Lamb <lamby@debian.org>

daklib.database has gone away; use dbconn versions.

Signed-off-by: Chris Lamb <lamby@debian.org>

Merge commit 'mhy/sqlalchemy' into merge

* commit 'mhy/sqlalchemy': (135 commits)
  pass session to get_id
  NULL is None, not ""
  fix bad merge in 1c35448b880358d020e81339657e3435fdda9434
  typo fixes
  clean up holding path
  only look in queues which exist
  handle bad checksum lines
  misc fixes
  fix typo
  fix typo
  attempt to ensure we clear up sessions
  make sure we close sessions
  miscellaneous fixups from testing
  convert check_overrides to new DB API
  convert override.py to new DB API
  convert (badly) rm to new DB API
  convert ls to new DB API
  bug fix
  convert import_keyring to new DB API
  convert cruft_report to new DB API
  ...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

and another

another useless script gone.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

pass session to get_id

Signed-off-by: Mark Hymers <mhy@debian.org>

NULL is None, not ""

Signed-off-by: Mark Hymers <mhy@debian.org>

cleanup

remove 2 unused commands.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix bad merge in 1c35448b880358d020e81339657e3435fdda9434

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'origin/sqlalchemy' into sqlalchemy

Merge commit 'ftpmaster/master' into sqlalchemy

Conflicts:
dak/override.py
dak/process_unchecked.py

Signed-off-by: Mark Hymers <mhy@debian.org>

add a guest user

Signed-off-by: Mark Hymers <mhy@debian.org>

shut up import-users-from-passwd on merkel

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Reject "dcut rm" components that start with a wildcard

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Reject "dcut rm" components that start with a wildcard

typo fixes

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge branch 'sqlalchemy' of http://ftp-master.debian.org/~mhy/git/dak into sqlalchemy