Contents generation should be working now

* rename mhy's daklib/Foo.py to daklib/foo.py
* add temporary tables which are populated during p-u
* copy from the temporary tables during p-a

Signed-off-by: Mike O'Connor <stew@vireo.org>

Content generation seems to be working now

I did a fair amount of testing only with amd64 and unstable, but nothing else

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge branch 'psycopg2' into content_generation

Conflicts:

daklib/database.py

Signed-off-by: Mike O'Connor <stew@vireo.org>

move generate_contents_information to utils.py

generate_contents_information will be used by p-a and by the bootstrap
so I move it to a more common location.

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge branch 'master' into psycopg2

Merge commit 'ftpmaster/master' into psycopg2

add a class providing access methods to a projectb database

This class provides an alternative to daklib/database.py for accessing a
projectb database.  This benefits to this alternative are that it uses the
psycopg2 module instead of the pg module, and I object oriented.  My
motivation for creating this class is to keep the new code for generating
Contents.gz files free from the pg module, and therefore, the only functions
I've moved into this class so far are those needed for generating the
Contents.gz files.

Signed-off-by: Mike O'Connor <stew@vireo.org>

docstrings fun

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dsync

as we now built our own static version, add a bindir variable, put
the compiled one in there and use it from that place.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

gitignore

add a few files/directories to .gitignore

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  add static target

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add static target

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  build a static library

Signed-off-by: Joerg Jaspert <joerg@debian.org>

build a static library

Signed-off-by: Mark Hymers <mhy@debian.org>

dinstall

have subjects in the mails we send to the l10n list

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cron.dinstall

<Ganneff> now
<Ganneff> one would think its helpful to not only output this into the logfile of dinstall
<Ganneff> but actually redirect it somewhere
<weasel> you think?
<Ganneff> maybe you want to parse our log instead?
<weasel> :)
<Ganneff> $base/ftp/indices/package-file.map that it will end up as
<weasel> .bz2
<Ganneff> always those wishes

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak.py

add the new command

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

added package/file mapping generation to dinstall

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make_pkg_file_mapping

add the funny quote weasel missed
use row as variable name, not the too clearly named i
do use the new docstring foo.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'weasel/master' into merge

* commit 'weasel/master':
  Add make_pkg_file_mapping.py

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add make_pkg_file_mapping.py

make_pkg_file_mapping prints, for every file in the pool, which source package
and version it belongs to and for binary packages additionally which arch,
binary package and binary package version it has in a standard rfc2822-like
format.

More docstrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

control-suite

allow to set lenny-r0

Signed-off-by: Joerg Jaspert <joerg@debian.org>

more docstrings

a few more in dak/

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'content_generation' of http://kernel.ubuntu.com/~mcasadevall/dak into content_generation

Conflicts:

dak/dakdb/update2.py
dak/update_db.py

This updates the "required_schema" to 4, moving mcasadevall's update2 to
update4

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'mhy/web' into merge

* commit 'mhy/web':
  add stable keys, thanks to Luk

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add stable keys, thanks to Luk

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'mhy/master' into merge

* commit 'mhy/master':
  don't die on silly input such as: Changed-By: P=Q6P9 P<P5Q)P5Q Q/P:P>P2 <eugen@debian.org>

Signed-off-by: Joerg Jaspert <joerg@debian.org>

don't die on silly input such as: Changed-By: P=Q6P9 P<P5Q)P5Q Q/P:P>P2 <eugen@debian.org>

Signed-off-by: Mark Hymers <mhy@debian.org>

git

one more ../ for the new setup

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'mhy/web' into merge

* commit 'mhy/web':
  grumble, whitespace, grumble
  tidy up keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

grumble, whitespace, grumble

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'ftpmaster/master' into web

tidy up keys

Signed-off-by: Mark Hymers <mhy@debian.org>

And another used dir

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add empty dirs, but ones that are used automagically by our tools

i18n

this symlink is autogenerated, remove

Signed-off-by: Joerg Jaspert <joerg@debian.org>

web/

lets add that part of our webdir to git thats not generated
automagically.

p-u

re_default_answer was missing.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

various

a few more docstrings

Signed-off-by: Joerg Jaspert <joerg@debian.org>

utils.py

initial markup

Signed-off-by: Joerg Jaspert <joerg@debian.org>

[various]

more docstrings, even if some are empty/not written yet. Any help would be nice :)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

s/FTPMaster/FTP Master/

Signed-off-by: Joerg Jaspert <joerg@debian.org>

bts-categorize

add a few more docstrings to the top

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'stew/categorize-bts' into merge

* commit 'stew/categorize-bts':
  git rid of useless email realeted imports.  added docstring for module
  Use dak's facility for sending email.  Add bts-categorize to cron.dinstall
  dont send email unless there is something to categorize
  move bts_categorize into dak, send email
  drop logging level
  a script that categorizes bugs against ftp.debian.org

Signed-off-by: Joerg Jaspert <joerg@debian.org>

git rid of useless email realeted imports.  added docstring for module
Signed-off-by: Mike O'Connor <stew@vireo.org>

Use dak's facility for sending email.  Add bts-categorize to cron.dinstall

Signed-off-by: Mike O'Connor <stew@vireo.org>

fix typo

Signed-off-by: Mark Hymers <mhy@debian.org>

move Ganneff's comments into the new DB module too

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'ftpmaster/master' into psycopg2

Merge commit 'ftpmaster/master' into psycopg2

daklib/database

the first fully documented (well, docstrings, but many) file.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Hm, i seem to miss a small detail here, lets back out this one hunk and look later. I DO HATE PDIFFS. I DO

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Its subprocess.PIPE, not PIPE

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make-suite-file-list

forgot to rename one usage of the two variable names

Signed-off-by: Joerg Jaspert <joerg@debian.org>

lotsa files

doc strings, dont we love em?

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-u

its re_no_epoch and re_no_revision

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'ftpmaster/master' into psycopg2

Merge commit 'mhy/regexes' into merge

* commit 'mhy/regexes':
  remove unused regexes
  docstring update
  Only import regexes we're using
  whoops, put sensible comment in
  Move regexes into a module so we can keep track

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove unused regexes

Signed-off-by: Mark Hymers <mhy@debian.org>

docstring update

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'ftpmaster/master' into regexes

Conflicts:

dak/make_maintainers.py
dak/new_security_install.py
dak/process_accepted.py

Signed-off-by: Mark Hymers <mhy@debian.org>

Only import regexes we're using

This is so that we have an idea of where we need what.

Lots of these should be changed to be opaque functions,
not exposing that they're internally regexes at all.

Signed-off-by: Mark Hymers <mhy@debian.org>

whoops, put sensible comment in

Signed-off-by: Mark Hymers <mhy@debian.org>

Move regexes into a module so we can keep track

Rather than scatter regexes all over the place (for things
which should probably be functions hiding the implementation
detail anyways such as "is this a valid package version"),
move them into daklib.regexes.

I'm not convinced this is an immediate win, but I think it's
one step on a long road...

Oh, and it's untested

Signed-off-by: Mark Hymers <mhy@debian.org>

attempt initial conversion of init_db script

Signed-off-by: Mark Hymers <mhy@debian.org>

start dbconn module

Signed-off-by: Mark Hymers <mhy@debian.org>

add basic config module

Signed-off-by: Mark Hymers <mhy@debian.org>

dont send email unless there is something to categorize

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge branch 'master' into categorize-bts

move bts_categorize into dak, send email

bts_categorize can now be called as "dak bts-categorize"
added command line options (try 'dak bts-categorize -h')
it now optionally sends email to control@bugs.debian.org

Signed-off-by: Mike O'Connor <stew@vireo.org>

queue.py

"0644" != 0644. damn you, string and int.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fdopen

who would have thought, os.fdopen really wants an fd, not a filename.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Various

remove a few trailing ;

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make_overrides

simple remove of two unneeded ;

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mirror_split.py

Remove, not used.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

database.py

add docstrings.
make two sql queries more readable

Signed-off-by: Joerg Jaspert <joerg@debian.org>

pychecker 2

a whole bunch more pychecker warnings. (Thanks to bicyclerepair, those are the easy ones)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

import_ldap_fingerprints

its existing_uid, not existing_ui

Signed-off-by: Joerg Jaspert <joerg@debian.org>

pychecker

shut up more of pychecker.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

utils.py

remove a few "FOO shadows builtin" warnings.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate_index_diffs

remove commented code. if we really need it - we do have a VCS...

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate_index_diffs

replace os.popen2 by strftime usage (someone clearly didnt know that
and preferred to spawn date +%whatever. *sigh*).

also replace a os.popen call with subprocess.Popen.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

various

use the new "style" for the temp_filename function, and if applicable
also use os.fdopen.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

temp_filename

stop using mktemp and use mkstemp. Also use the functions with all their
features, like setting prefix, instead of trying to do that ourself.
Yikes, one-liner now, could remove the function alltogether and instead
use mkstemp directly, but *maybe* we want to get more code into here,
so lets keep it for now.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

utils.py

stop using mktemp and use mkstemp instead

Signed-off-by: Joerg Jaspert <joerg@debian.org>

utils.py

eliminate pychecker warning "shadows builtin input|file|hash"

Signed-off-by: Joerg Jaspert <joerg@debian.org>

index diffs

(cosmetical) this is not a warning, merely an information about the correct
function of this tool.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "Merge commit 'stew/popen2-must-die' into merge"

This reverts commit d72561f42b76635948b88902ecd0966cecec9aaf.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "Merge commit 'stew/popen2-must-die' into merge"

This reverts commit 1fb2a3d44f1e64fbf91e7801c8c549732c6104b4.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak:
  generate_releases

generate_releases

depending on what kind of file we have we generate the checksums in
different ways. For the uncompressed sum we continue reading in all the
content and hand that as a variable to apt_pkg.*sum. Turns out this does
not work for the already compressed files, there we now go and just hand
the opened file_handle to apt_pkg.*sum.

p-u

we expect 3 values

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'stew/popen2-must-die' into merge

* commit 'stew/popen2-must-die':
  fix generate_index_diffs' smartopen by replacing it with a smartread

Signed-off-by: Joerg Jaspert <joerg@debian.org>

fix generate_index_diffs' smartopen by replacing it with a smartread

smartread slurps the contents of the file into a string, we need to do this
becuase apt_pkg.sha1sum won't accept a 'gzip open file' but will accept a
string

Signed-off-by: Mike O'Connor <stew@vireo.org>

templates/rm

show a url to the bug log.
Closes #510887 (yes, without url. ha! )

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'stew/popen2-must-die' into merge

* commit 'stew/popen2-must-die':
  get rid of popen2 calls in generate_index_diffs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

get rid of popen2 calls in generate_index_diffs

Signed-off-by: Mike O'Connor <stew@vireo.org>

Merge commit 'stew/popen2-must-die' into merge

* commit 'stew/popen2-must-die':
  oops DEcompress, dummy
  getting rid of popen2 in generate_releases

Signed-off-by: Joerg Jaspert <joerg@debian.org>

oops DEcompress, dummy

Signed-off-by: Mike O'Connor <stew@vireo.org>