Merge branch 'master' into content_generation, make changes based on Joerg's review

Conflicts:

dak/dakdb/update4.py
dak/init_db.py
dak/process_accepted.py
dak/update_db.py
daklib/database.py

Signed-off-by: Mike O'Connor <stew@vireo.org>

key expire

catch a case where the key is expired and no not-expired-subkey is
used to sign the .changes, ie. no GOODSIG token available. The
timestamp we get back from the command is unixtime, but type string,
so we should cast it to float or time.gmtime will complain.

And if that doesnt work, for whatever reason, issue a more generic
reject message.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

legacy

remove the legacy support

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mixed component

remove the mixed component part, its LONG gone.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

make sure all functions start in a defined dir, currently $configdir.
they have to cd to wherever they want to be if thats not good enough
for them.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add_user
its no longer daklib.foo but just foo

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

commit an initial version of the new dinstall script. People: Please
comment.

The idea being that we end up with a dinstall that we can interrupt
and restart without (too much) trouble.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Its base, not basedir

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mail-whitelist

keep mail-whitelist as local file

Signed-off-by: Joerg Jaspert <joerg@debian.org>

bpo/security

remove architectures from config

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Damn python and its complains on missing )

Signed-off-by: Joerg Jaspert <joerg@debian.org>

bin_assoc

fix bin_assoc_by_arch view

Signed-off-by: Joerg Jaspert <joerg@debian.org>

architectures

remove the architecture mappings from the config file.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use the database.init

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Import database

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fixes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fixes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

get_suite_architectures

its database.get_suite_architectures everywhere

Signed-off-by: Joerg Jaspert <joerg@debian.org>

updatedb

helps to import an exception if you want to catch it

Signed-off-by: Joerg Jaspert <joerg@debian.org>

suite_architectures

new function, daklib.database.get_suite_architectures.
Use that instead of Cnf.ValueList("Suites::%s::Architectures") everywhere
to find out which suite supports which architectures

Signed-off-by: Joerg Jaspert <joerg@debian.org>

suite_architectures

lets put the architectures into the database.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

oops, forgot some changes to contents.py

* fix to find the header from dak.conf
* had forgotten the change for lowercase packagesnames in daklib/

Signed-off-by: Mike O'Connor <stew@vireo.org>

missing ; in dak.conf

Signed-off-by: Mike O'Connor <stew@vireo.org>

undoing incorrect changes in dak.conf

Signed-off-by: Mike O'Connor <stew@vireo.org>

merge from master

Signed-off-by: Mike O'Connor <stew@vireo.org>

Contents generation should be working now

* rename mhy's daklib/Foo.py to daklib/foo.py
* add temporary tables which are populated during p-u
* copy from the temporary tables during p-a

Signed-off-by: Mike O'Connor <stew@vireo.org>

Try with utf8, thanks

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Forgot dato

Signed-off-by: Joerg Jaspert <joerg@debian.org>

security dak.conf

add silent map for oldstable-security

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Yuck, careful who you list

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Describe the key split thing we have now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

And properly close the damn ()

Signed-off-by: Joerg Jaspert <joerg@debian.org>

update db

(hopefully) fix the bug that dak update-db happily ignores errors
from the update scripts, going on with all the other following updates.
Which isn't all that helpful.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Its base, not basedir

Signed-off-by: Joerg Jaspert <joerg@debian.org>

its lenny not Lenny

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into bpo

* master:
  one more squeeze
  its filenames, not filename
  Squeeze is now testing
  security stuff
  Also modified ddtp-i18n-check for squeeze
  i18n for squeeze
  Remove lenny-r0 specials
  Add security support for the lenny release
  First pass at lenny release branch
  url
  remove backwards-compatiblity stuff which is no longer needed

one more squeeze

Signed-off-by: Joerg Jaspert <joerg@debian.org>

its filenames, not filename

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'stew/master' into merge

* commit 'stew/master':
  Squeeze is now testing

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Squeeze is now testing

Signed-off-by: Mike O'Connor <stew@vireo.org>

security stuff

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Also modified ddtp-i18n-check for squeeze

Signed-off-by: Joerg Jaspert <joerg@debian.org>

i18n for squeeze

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Remove lenny-r0 specials

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'mhy/lenny-prepare' into merge

* commit 'mhy/lenny-prepare':
  Add security support for the lenny release
  First pass at lenny release branch
  remove backwards-compatiblity stuff which is no longer needed

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' into merge

* master:
  security install
  security_install

And module string

Signed-off-by: Joerg Jaspert <joerg@debian.org>

whitelist patch

this needs module re for now

Signed-off-by: Joerg Jaspert <joerg@debian.org>

backports.org

also add the config and scripts from it.
Most, if not all, should possibly be made cleaner/merged into the debian part
of it, but right now i just want to merge it and get it working with latest
code...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mail-whitelist

finally make the mail whitelist patch a proper part of dak.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add-user

add an OLD OLD script from bpo to git, used to "create" new users on that
archive.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add security support for the lenny release

 * Move etch to oldstable
 * Rename lenny to stable
 * Create squeeze as testing
 * Make sure that all stable references now have arm and armel
 * Make sure that all testing/unstable/experimental references only have armel
   (i.e. drop arm)

Signed-off-by: Mark Hymers <mhy@debian.org>

First pass at lenny release branch

Things we do:
 * Move etch to oldstable
 * Rename lenny to stable
 * Create squeeze as testing
 * Make sure that all stable references now have arm and armel
 * Make sure that all testing/unstable/experimental references only have armel
   (i.e. drop arm)

Signed-off-by: Mark Hymers <mhy@debian.org>

security install

oh well, use a wrapper.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

security_install

enable the package-file-map

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'ftpmaster/master'

Conflicts:

dak/check_archive.py

Signed-off-by: Mark Hymers <mhy@debian.org>

Content generation seems to be working now

I did a fair amount of testing only with amd64 and unstable, but nothing else

Signed-off-by: Mike O'Connor <stew@vireo.org>

url

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'psycopg2' into content_generation

Conflicts:

daklib/database.py

Signed-off-by: Mike O'Connor <stew@vireo.org>

move generate_contents_information to utils.py

generate_contents_information will be used by p-a and by the bootstrap
so I move it to a more common location.

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge branch 'master' into psycopg2

Merge commit 'ftpmaster/master' into psycopg2

add a class providing access methods to a projectb database

This class provides an alternative to daklib/database.py for accessing a
projectb database.  This benefits to this alternative are that it uses the
psycopg2 module instead of the pg module, and I object oriented.  My
motivation for creating this class is to keep the new code for generating
Contents.gz files free from the pg module, and therefore, the only functions
I've moved into this class so far are those needed for generating the
Contents.gz files.

Signed-off-by: Mike O'Connor <stew@vireo.org>

docstrings fun

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove backwards-compatiblity stuff which is no longer needed

Signed-off-by: Mark Hymers <mhy@debian.org>

dsync

as we now built our own static version, add a bindir variable, put
the compiled one in there and use it from that place.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

gitignore

add a few files/directories to .gitignore

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  add static target

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add static target

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  build a static library

Signed-off-by: Joerg Jaspert <joerg@debian.org>

build a static library

Signed-off-by: Mark Hymers <mhy@debian.org>

dinstall

have subjects in the mails we send to the l10n list

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cron.dinstall

<Ganneff> now
<Ganneff> one would think its helpful to not only output this into the logfile of dinstall
<Ganneff> but actually redirect it somewhere
<weasel> you think?
<Ganneff> maybe you want to parse our log instead?
<weasel> :)
<Ganneff> $base/ftp/indices/package-file.map that it will end up as
<weasel> .bz2
<Ganneff> always those wishes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak.py

add the new command

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

added package/file mapping generation to dinstall

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make_pkg_file_mapping

add the funny quote weasel missed
use row as variable name, not the too clearly named i
do use the new docstring foo.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'weasel/master' into merge

* commit 'weasel/master':
  Add make_pkg_file_mapping.py

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add make_pkg_file_mapping.py

make_pkg_file_mapping prints, for every file in the pool, which source package
and version it belongs to and for binary packages additionally which arch,
binary package and binary package version it has in a standard rfc2822-like
format.

More docstrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

control-suite

allow to set lenny-r0

Signed-off-by: Joerg Jaspert <joerg@debian.org>

more docstrings

a few more in dak/

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'content_generation' of http://kernel.ubuntu.com/~mcasadevall/dak into content_generation

Conflicts:

dak/dakdb/update2.py
dak/update_db.py

This updates the "required_schema" to 4, moving mcasadevall's update2 to
update4

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'mhy/web' into merge

* commit 'mhy/web':
  add stable keys, thanks to Luk

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add stable keys, thanks to Luk

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  don't die on silly input such as: Changed-By: P=Q6P9 P<P5Q)P5Q Q/P:P>P2 <eugen@debian.org>

Signed-off-by: Joerg Jaspert <joerg@debian.org>

don't die on silly input such as: Changed-By: P=Q6P9 P<P5Q)P5Q Q/P:P>P2 <eugen@debian.org>

Signed-off-by: Mark Hymers <mhy@debian.org>

git

one more ../ for the new setup

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'mhy/web' into merge

* commit 'mhy/web':
  grumble, whitespace, grumble
  tidy up keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

grumble, whitespace, grumble

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'ftpmaster/master' into web

tidy up keys

Signed-off-by: Mark Hymers <mhy@debian.org>

And another used dir

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add empty dirs, but ones that are used automagically by our tools

i18n

this symlink is autogenerated, remove

Signed-off-by: Joerg Jaspert <joerg@debian.org>

web/

lets add that part of our webdir to git thats not generated
automagically.

p-u

re_default_answer was missing.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

various

a few more docstrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

utils.py

initial markup

Signed-off-by: Joerg Jaspert <joerg@debian.org>

[various]

more docstrings, even if some are empty/not written yet. Any help would be nice :)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

s/FTPMaster/FTP Master/

Signed-off-by: Joerg Jaspert <joerg@debian.org>