Add functions to colourize RC bug fixing packages differently

This commit adds some functions to query the BTS Soap interface to
determine if the package closes an RC bug or not. If it does close an
RC bug, it allows for differently colourizing the package line. It
adds a variable to indicate if a package fixes an RC bug or not, and
already allows for colourization of the HTML output; the new entry can
be used to colourize in other output formats as well.

Signed-off-by: Kumar Appaiah <a.kumar@alumni.iitm.ac.in>

Merge remote branch 'drkranz/make-changelog' into merge

* drkranz/make-changelog:
  make-changelog: refactorize code to improve performances

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  Simplify DebVersionTestCase.
  Refactor PackageTestCase.test_sources().
  Refactor PackageTestCase.
  Make a bidirectional relation  DBSource - PoolFile.
  Improve test_maintainers().
  Refactor maintainer tests.

Update stable point release readme

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make-changelog: refactorize code to improve performances

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge branch 'dbtests' of ftp-master.debian.org:public_html/dak into dbtests

Merge branch 'master' into dbtests

Simplify DebVersionTestCase.

Signed-off-by: Torsten Werner <twerner@debian.org>

win32-loader autobyhand

fix dak.conf by closing }; the entry.
use proper set statements
use scriptvars and later on $ftpdir instead of writing full path
drop error() function, only used once.
proper indentation
change target path to build a win32-loader/$SUITE tree so different suites can have different installer for win32
remove unused trap - and call to undefined function cleanup.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use set statements for options to the shell

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Refactor PackageTestCase.test_sources().

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'odyx/win32-loader-autobyhand' into merge

* odyx/win32-loader-autobyhand:
  Add a win32-loader autobyhand script.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Refactor PackageTestCase.

Signed-off-by: Torsten Werner <twerner@debian.org>

Make a bidirectional relation  DBSource - PoolFile.

Signed-off-by: Torsten Werner <twerner@debian.org>

Improve test_maintainers().

Signed-off-by: Torsten Werner <twerner@debian.org>

Refactor maintainer tests.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge branch 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak

Extend PackageTestCase.

Signed-off-by: Torsten Werner <twerner@debian.org>

Remove function get_poolfile_by_name().

Signed-off-by: Torsten Werner <twerner@debian.org>

Test PoolFile.fullpath.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge branch 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://franck.debian.org/srv/ftp.debian.org/git/dak:
  Extend test_poolfiles().
  Add a test for PoolFile and Location.
  Mark Location.archive_type as obsolete.
  Carefully add a backref from PoolFile to Location.
  Add an incomplete test for Maintainer.
  Make relation Maintainer - DBSource bidirectional.
  TimestampTestCase: replace sql string by func.now.
  DBSource: drop property srcassociations.

Ensure symlinks get copied as symlinks, not their contents

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Extend test_poolfiles().

Signed-off-by: Torsten Werner <twerner@debian.org>

Add a test for PoolFile and Location.

Signed-off-by: Torsten Werner <twerner@debian.org>

Mark Location.archive_type as obsolete.

It needs to be removed through a DB upgrade.

Signed-off-by: Torsten Werner <twerner@debian.org>

Carefully add a backref from PoolFile to Location.

Using lazy='dynamic' makes sure that property Location.files is not a very huge
list but a query object that can be iterated or .filter()-ed.

Signed-off-by: Torsten Werner <twerner@debian.org>

Add an incomplete test for Maintainer.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge branch 'master' into dbtests

Add a win32-loader autobyhand script.

make-changelog: do not move to next element on unpack error

This leads to not correctly remove temporary directory, which
is not available for the next packages to be unpacked.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

make-changelog: only consider latest sources in suites

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Make relation Maintainer - DBSource bidirectional.

The following is possible now (returns lists of DBSource objects):
- somesrc.maintainer.maintains_sources
- somesrc.changedby.changed_sources

Signed-off-by: Torsten Werner <twerner@debian.org>

TimestampTestCase: replace sql string by func.now.

Signed-off-by: Torsten Werner <twerner@debian.org>

DBSource: drop property srcassociations.

... in favour of new property suites.

Signed-off-by: Torsten Werner <twerner@debian.org>

make-changelog: print dpkg-source output on fail

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Drop 'source' and 'all' from  'dak admin s-a list'.

Signed-off-by: Torsten Werner <twerner@debian.org>

Fix sort order of property Suite.architectures.

Signed-off-by: Torsten Werner <twerner@debian.org>

Fix dak admin s-a list.

Signed-off-by: Torsten Werner <twerner@debian.org>

Optimize performance of running multiple DB tests.

Signed-off-by: Torsten Werner <twerner@debian.org>

Make admin.py more robust.

Signed-off-by: Torsten Werner <twerner@debian.org>

Suppress warnings in the most suitable files.

Signed-off-by: Torsten Werner <twerner@debian.org>

Make generate-filelist more readable.

Signed-off-by: Torsten Werner <twerner@debian.org>

Remove class SuiteAchitecture completely.

Signed-off-by: Torsten Werner <twerner@debian.org>

Unicode fixes in generate-filelist

Signed-off-by: Torsten Werner <twerner@debian.org>

Remove SuiteArchitecture from admin.py.

Signed-off-by: Torsten Werner <twerner@debian.org>

Remove function get_suite_architecture().

Signed-off-by: Torsten Werner <twerner@debian.org>

Refactor get_architecture_suites().

Signed-off-by: Torsten Werner <twerner@debian.org>

Add test for get_architecture_suites().

Signed-off-by: Torsten Werner <twerner@debian.org>

Define sort order for Architecture Suite relationship.

Signed-off-by: Torsten Werner <twerner@debian.org>

Refactor get_suite_architectures().

Signed-off-by: Torsten Werner <twerner@debian.org>

Add a test for get_suite_architectures().

Signed-off-by: Torsten Werner <twerner@debian.org>

Improve relation between Suite and Architecture.

Define a many to many relation between Suite and Architecture which makes
SuiteArchitecture obsolete.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge branch 'master' into dbtests

Handle (and re-raise) IOError in generate-releases.

Print the full filename before re-raising the Exception to aid debugging.

Signed-off-by: Torsten Werner <twerner@debian.org>

Start new PackageTestCase.

Signed-off-by: Torsten Werner <twerner@debian.org>

Make TimestampTestCase work with sqlalchemy 0.5.

Signed-off-by: Torsten Werner <twerner@debian.org>

Add new TimestampTestCase.

* Add triggers to test database.
* Add test case for columns created and modified.

Signed-off-by: Torsten Werner <twerner@debian.org>

Add more Fingerprint tests.

Signed-off-by: Torsten Werner <twerner@debian.org>

Add a doc string to FingerprintTestCase.

Signed-off-by: Torsten Werner <twerner@debian.org>

Improve database tests.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge master branch.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge branch 'master' into dbtests

Really fix the DebVersion type in dbconn.py.

Signed-off-by: Torsten Werner <twerner@debian.org>

Add another fix to DebVersion.

Signed-off-by: Torsten Werner <twerner@debian.org>

Really fix the DebVersion type in dbconn.py.

Signed-off-by: Torsten Werner <twerner@debian.org>

Improve debversion test.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge branch 'dbtests' of ftp-master.debian.org:public_html/dak into dbtests

Add tests/dbtest_debversion.py.

Signed-off-by: Torsten Werner <twerner@debian.org>

Clean up after DB test.

Signed-off-by: Torsten Werner <twerner@debian.org>

Fix the DebVersion type in dbconn.py.

Signed-off-by: Torsten Werner <twerner@debian.org>

Really, really fix DebVersion.

Signed-off-by: Torsten Werner <twerner@debian.org>

Really fix DebVersion type.

Signed-off-by: Torsten Werner <twerner@debian.org>

Fix custom type DebVersion in dbconn.py.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge branch 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak

Use original dak.conf in tests/create_pickle_file.py.

We don't want to use the test database for creating the pickle file.

Signed-off-by: Torsten Werner <twerner@debian.org>

Avoid production database names in dbtest code.

Signed-off-by: Torsten Werner <twerner@debian.org>

Add workaround for database versions < #41.

Signed-off-by: Torsten Werner <twerner@debian.org>

Rename 2 sequences in database upgrade #41.

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge remote branch 'drkranz/overrides' into merge

* drkranz/overrides:
  Avoid converting unicode strings into yaml nodes
  override.py: fix typo, spotted by Holger Levsen

Signed-off-by: Joerg Jaspert <joerg@debian.org>

improve dbtest_fingerprint.py

Signed-off-by: Torsten Werner <twerner@debian.org>

update db-metadata-0.5.2.pkl to include views

Signed-off-by: Torsten Werner <twerner@debian.org>

update db-metadata-0.6.3.pkl to include views

Signed-off-by: Torsten Werner <twerner@debian.org>

dbconn.py: reflect all views, too

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge branch 'dbtests' of ftp-master.debian.org:public_html/dak into dbtests

add a script create_pickle_file.py for updating the metadata

Signed-off-by: Torsten Werner <twerner@debian.org>

Merge branch 'master' into dbtests

add pickle file db-metadata-0.5.2.pkl

Signed-off-by: Torsten Werner <twerner@debian.org>

include sqlalchemy's version in db-metadata-*.pkl

The metadata objects are not compatible between versions and that is why
we need to keep one pickle file per version.

Signed-off-by: Torsten Werner <twerner@debian.org>

dbconn.py: workaround for good old sqlalchemy 0.5

Signed-off-by: Torsten Werner <twerner@debian.org>

Avoid converting unicode strings into yaml nodes

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

override.py: fix typo, spotted by Holger Levsen

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge branch 'security'

* security: (36 commits)
  bugfixes
  process-policy
  also clean disembargo incoming
  Override mail
  use the right var name, stupid
  Move a-f cleanup to the last
  right path
  More directories for queue-report
  Fix the arch entries for the buildd suites
  s/install//
  try with case
  no more advisory
  fix n-s-i
  cron.buildd
  cron.buildd
  copyfile wants full names
  only run the archive update when we actually had changes in the archive
  use copyfile, we want it accessible in that dest
  Add import-keyring
  unchecked
  ...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

bugfixes

merge bugfixes from Torsten and Mark:
- built uncompressed and bz2 packages/sources too for buildd
- set a codename in the release file
- strip epoch from version

Signed-off-by: Joerg Jaspert <joerg@debian.org>

rsyncable

centrally export the GZIP variable with the --rsyncable default set

Signed-off-by: Joerg Jaspert <joerg@debian.org>

we need to wait for the background processes before the end of dinstall

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Added --rsyncable for gzip calls to scriptvars

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote branch 'drkranz/overrides' into merge

* drkranz/overrides:
  Move more objects into get_packages_from_ftp()
  Pipes ftw!
  Add dak override-disparity command to cron.daily
  override_disparity.py: display YAML output
  Move common code to the new get_packages_from_ftp()
  override_disparity.py: generate a list of override disparities
  override.py: check override compliance
  ls.py: let -a source display sources only (#458186)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into dbtests

implement first test with database access

* Implement a new test class: DBDakTestCase in db_test.py.
* First test: dbtest_fingerprint.py is prefixed with dbtest_ instead of
  test_ because we do not have a test database on franck (yet).

Signed-off-by: Torsten Werner <twerner@debian.org>

Remove useless type casts from primary keys.

Signed-off-by: Torsten Werner <twerner@debian.org>