Merge commit 'stew/content_generation' into merge

* commit 'stew/content_generation': (35 commits)
  spalling fix, get rid of extra import in utils.py
  allow contents files to be written to an alternate location
  another fix to bootstrap, and get rid of 'fetchall'
  get bootstrap working again
  stop setting the db connection to latin1
  insert files, not dirs
  cant delete it after i set it to null, dummy
  use get_suite_architectures from dbconn.py instead of database.py
  fix misspelling cleanup() -> _cleanup()
  forgot to update config, get rid of incorrect warning
  stupid bad merge syntax error
  better cleanup of temporary files, consolidate some repeated code
  adding back our schema migration as update6
  update header - we always ship compressed contents files
  temp_content_associations -> pending_content_associations
  typo fix
  some spelling changes
  oops, forgot some changes to contents.py
  missing ; in dak.conf
  undoing incorrect changes in dak.conf
  ...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

spalling fix, get rid of extra import in utils.py

Signed-off-by: Mike O'Connor <stew@vireo.org>

allow contents files to be written to an alternate location

Signed-off-by: Mike O'Connor <stew@vireo.org>

another fix to bootstrap, and get rid of 'fetchall'

Signed-off-by: Mike O'Connor <stew@vireo.org>

get bootstrap working again

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge branch 'master' into content_generation

clean-suites

actually run the prepared query...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

clean-suites

its delete_date, not delete_data

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate-releases

call database.init

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  use database to generate suite_architectures list
  remove debug output
  allow --maximum argument to clean_suites

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use database to generate suite_architectures list

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'ftpmaster/master'

dinstall / reboot

add a first pass of a script intended to restart dinstall after a reboot,
in case it was running right before.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

stop setting the db connection to latin1

Signed-off-by: Mike O'Connor <stew@vireo.org>

insert files, not dirs

Signed-off-by: Mike O'Connor <stew@vireo.org>

Save the 'after' log

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cant delete it after i set it to null, dummy

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge branch 'master' into content_generation

remove debug output

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'ftpmaster/master'

allow --maximum argument to clean_suites

Signed-off-by: Mark Hymers <mhy@debian.org>

use get_suite_architectures from dbconn.py instead of database.py

Signed-off-by: Mike O'Connor <stew@vireo.org>

fix misspelling cleanup() -> _cleanup()

Signed-off-by: Mike O'Connor <stew@vireo.org>

forgot to update config, get rid of incorrect warning

Signed-off-by: Mike O'Connor <stew@vireo.org>

dinstall

save timestamp when we start and rename the logfile according to it
at the end of dinstall.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'djpig/djpig' into merge

* commit 'djpig/djpig':
  control-overrides: Add some safer modes of operation
  control-overrides: Simplify maintainer override handling

Signed-off-by: Joerg Jaspert <joerg@debian.org>

control-overrides: Add some safer modes of operation

Add "--no-action" option to not do any changes but only tell
the user what would've been done.

Also add "--change" option which will ignore all additions
and deletions.

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

control-overrides: Simplify maintainer override handling

Signed-off-by: Frank Lichtenheld <djpig@debian.org>

stupid bad merge syntax error

Signed-off-by: Mike O'Connor <stew@vireo.org>

better cleanup of temporary files, consolidate some repeated code

Signed-off-by: Mike O'Connor <stew@vireo.org>

adding back our schema migration as update6

Signed-off-by: Mike O'Connor <stew@vireo.org>

update header - we always ship compressed contents files

Signed-off-by: Mark Hymers <mhy@debian.org>

temp_content_associations -> pending_content_associations

Signed-off-by: Mark Hymers <mhy@debian.org>

typo fix

Signed-off-by: Mark Hymers <mhy@debian.org>

some spelling changes

Signed-off-by: Mike O'Connor <stew@vireo.org>

merge from master

Signed-off-by: Mike O'Connor <stew@vireo.org>

dinstall

use full path for REPORT everywhere

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Dont complain

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

rename to cron.dinstall, its now default

Signed-off-by: Joerg Jaspert <joerg@debian.org>

set up Arguments properly

Signed-off-by: Mark Hymers <mhy@debian.org>

dinstall

fix the find to not warn.
its LOCK_BRITNEY, not britneylock

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'merge'

* merge:
  docstring
  move logic into a function
  more tidy ups for paths/variables
  use variables for paths
  allow p-a and p-u to take a directory to parse themselves

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  docstring
  move logic into a function
  more tidy ups for paths/variables
  use variables for paths
  allow p-a and p-u to take a directory to parse themselves
  dinstall
  p-a
  dinstall
  Ignore errors to updates
  2 more fixes
  dinstall
  Add a space
  utf-8

Signed-off-by: Joerg Jaspert <joerg@debian.org>

docstring

Signed-off-by: Mark Hymers <mhy@debian.org>

move logic into a function

Signed-off-by: Mark Hymers <mhy@debian.org>

more tidy ups for paths/variables

Signed-off-by: Mark Hymers <mhy@debian.org>

use variables for paths

Signed-off-by: Mark Hymers <mhy@debian.org>

allow p-a and p-u to take a directory to parse themselves

This prevents any possible issues with maximum command line
lengths when using shell globbing.

Signed-off-by: Mark Hymers <mhy@debian.org>

dinstall

if $LOCK_STOP exists - exit asap.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

its lock_accepted, not lockac

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-a

add the two lines back, p-a insists on having them. it just doesnt want
to make up random ones for it.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

dont rotate logs in cleanup

dont ignore p-a errors

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Ignore errors to updates

Signed-off-by: Joerg Jaspert <joerg@debian.org>

2 more fixes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

args, 2 functions with same name does no good

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add a space

Signed-off-by: Joerg Jaspert <joerg@debian.org>

utf-8

enforce properly encoded changes/dsc files. if they do not pass
unicode() they wont get in.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

implement various  comments and suggestions from mhy

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into content_generation, make changes based on Joerg's review

Conflicts:

dak/dakdb/update4.py
dak/init_db.py
dak/process_accepted.py
dak/update_db.py
daklib/database.py

Signed-off-by: Mike O'Connor <stew@vireo.org>

key expire

catch a case where the key is expired and no not-expired-subkey is
used to sign the .changes, ie. no GOODSIG token available. The
timestamp we get back from the command is unixtime, but type string,
so we should cast it to float or time.gmtime will complain.

And if that doesnt work, for whatever reason, issue a more generic
reject message.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

legacy

remove the legacy support

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mixed component

remove the mixed component part, its LONG gone.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

make sure all functions start in a defined dir, currently $configdir.
they have to cd to wherever they want to be if thats not good enough
for them.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add_user
its no longer daklib.foo but just foo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

commit an initial version of the new dinstall script. People: Please
comment.

The idea being that we end up with a dinstall that we can interrupt
and restart without (too much) trouble.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Its base, not basedir

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mail-whitelist

keep mail-whitelist as local file

Signed-off-by: Joerg Jaspert <joerg@debian.org>

bpo/security

remove architectures from config

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Damn python and its complains on missing )

Signed-off-by: Joerg Jaspert <joerg@debian.org>

bin_assoc

fix bin_assoc_by_arch view

Signed-off-by: Joerg Jaspert <joerg@debian.org>

architectures

remove the architecture mappings from the config file.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use the database.init

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Import database

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fixes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fixes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

get_suite_architectures

its database.get_suite_architectures everywhere

Signed-off-by: Joerg Jaspert <joerg@debian.org>

updatedb

helps to import an exception if you want to catch it

Signed-off-by: Joerg Jaspert <joerg@debian.org>

suite_architectures

new function, daklib.database.get_suite_architectures.
Use that instead of Cnf.ValueList("Suites::%s::Architectures") everywhere
to find out which suite supports which architectures

Signed-off-by: Joerg Jaspert <joerg@debian.org>

suite_architectures

lets put the architectures into the database.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

oops, forgot some changes to contents.py

* fix to find the header from dak.conf
* had forgotten the change for lowercase packagesnames in daklib/

Signed-off-by: Mike O'Connor <stew@vireo.org>

missing ; in dak.conf

Signed-off-by: Mike O'Connor <stew@vireo.org>

undoing incorrect changes in dak.conf

Signed-off-by: Mike O'Connor <stew@vireo.org>

merge from master

Signed-off-by: Mike O'Connor <stew@vireo.org>

Contents generation should be working now

* rename mhy's daklib/Foo.py to daklib/foo.py
* add temporary tables which are populated during p-u
* copy from the temporary tables during p-a

Signed-off-by: Mike O'Connor <stew@vireo.org>

Try with utf8, thanks

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Forgot dato

Signed-off-by: Joerg Jaspert <joerg@debian.org>

security dak.conf

add silent map for oldstable-security

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Yuck, careful who you list

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Describe the key split thing we have now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

And properly close the damn ()

Signed-off-by: Joerg Jaspert <joerg@debian.org>

update db

(hopefully) fix the bug that dak update-db happily ignores errors
from the update scripts, going on with all the other following updates.
Which isn't all that helpful.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Its base, not basedir

Signed-off-by: Joerg Jaspert <joerg@debian.org>

its lenny not Lenny

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into bpo

* master:
  one more squeeze
  its filenames, not filename
  Squeeze is now testing
  security stuff
  Also modified ddtp-i18n-check for squeeze
  i18n for squeeze
  Remove lenny-r0 specials
  Add security support for the lenny release
  First pass at lenny release branch
  url
  remove backwards-compatiblity stuff which is no longer needed

one more squeeze

Signed-off-by: Joerg Jaspert <joerg@debian.org>

its filenames, not filename

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'stew/master' into merge

* commit 'stew/master':
  Squeeze is now testing

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Squeeze is now testing

Signed-off-by: Mike O'Connor <stew@vireo.org>

security stuff

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Also modified ddtp-i18n-check for squeeze

Signed-off-by: Joerg Jaspert <joerg@debian.org>