move fix_maintainer support routines to textutils

Signed-off-by: Mark Hymers <mhy@debian.org>

add get_uid_from_fingerprint routine

Signed-off-by: Mark Hymers <mhy@debian.org>

add get_binary_components (from p-u)

Signed-off-by: Mark Hymers <mhy@debian.org>

convert contents.py to the new API

Signed-off-by: Mark Hymers <mhy@debian.org>

add options to get_suite_architectures

Signed-off-by: Mark Hymers <mhy@debian.org>

move to sqla

Signed-off-by: Mark Hymers <mhy@debian.org>

export some exceptions

Signed-off-by: Mark Hymers <mhy@debian.org>

source -> DBSource, binary -> DBBinary

Signed-off-by: Mark Hymers <mhy@debian.org>

whitespace cleanup

Signed-off-by: Mark Hymers <mhy@debian.org>

allow listing all s-a/a combinations and add a backref to make it easier

Signed-off-by: Mark Hymers <mhy@debian.org>

tidy up file

Signed-off-by: Mark Hymers <mhy@debian.org>

finish rewriting routines to use SQLA

Signed-off-by: Mark Hymers <mhy@debian.org>

export DBConn

Signed-off-by: Mark Hymers <mhy@debian.org>

safe to import * now

Signed-off-by: Mark Hymers <mhy@debian.org>

make it safer to do from daklib.dbconn import *

Signed-off-by: Mark Hymers <mhy@debian.org>

use SQLAlchemy instead of hard coded SQL

Signed-off-by: Mark Hymers <mhy@debian.org>

change to not using autocommit by default

Signed-off-by: Mark Hymers <mhy@debian.org>

ContentAssociations -> ContentAssociation

Signed-off-by: Mark Hymers <mhy@debian.org>

add basic dak admin command to test out sqla work

Signed-off-by: Mark Hymers <mhy@debian.org>

add suite_arch routine

Signed-off-by: Mark Hymers <mhy@debian.org>

untested conversion to sqla class

Signed-off-by: Mark Hymers <mhy@debian.org>

more conversions to sqla

Signed-off-by: Mark Hymers <mhy@debian.org>

update to 0.5 api

Signed-off-by: Mark Hymers <mhy@debian.org>

updates

Signed-off-by: Mark Hymers <mhy@debian.org>

more class / get/set routine work (in progress)

Signed-off-by: Mark Hymers <mhy@debian.org>

improve mappings

Signed-off-by: Mark Hymers <mhy@debian.org>

remove pointless code

Signed-off-by: Mark Hymers <mhy@debian.org>

add very basic set of ORM classes

Signed-off-by: Mark Hymers <mhy@debian.org>

check in old SQLa work

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Add some simple regression tests for regexes.re_single_line_field
  Add a basic test runner.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add some simple regression tests for regexes.re_single_line_field

In particular, check fields that being with a colon (see d7eb2f0).

Add a basic test runner.

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Correct regex for 822 value fields that begin with a colon character

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Correct regex for 822 value fields that begin with a colon character

Previously, we parsed "colon: :" => ("colon:", "") and "lol: :lol" =>
("lol:", "lol"). This commit changes these parses to ("colon", "") and
("lol", ":lol") respectfully.

Fields starting with colons can happen with values containing CVS
locations. eg:

  Vcs-Cvs: :ext:_anoncvs@anoncvs.mirbsd.org:/cvs contrib/hosted/tg/deb/makefs

(from /srv/ftp.debian.org/queue/new/makefs_20090808-1.dsc)

This is causing a traceback when examining this package as the regex to
strip the keys in read_changes_or_dsc(..) works differently to this one.

Signed-off-by: Chris Lamb <lamby@debian.org>

Ups

Signed-off-by: Joerg Jaspert <joerg@debian.org>

byhand-foo

and use the new script location

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mk_extra_overrides

and use an improved version provided from Frans Pop.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mk-extra-overrides

properly add this script to $VCS

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'lamby/master' into merge

* commit 'lamby/master':
  Clear package_relations in all cases so that subsequent calls are not polluted

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Clear package_relations in all cases so that subsequent calls are not polluted

dak.conf

While sick this makes sure we can still find stuff and not break.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

templates

adjust the override disparity template

Signed-off-by: Joerg Jaspert <joerg@debian.org>

queue

security wants us to check their origs also in their upload/embargo queies. so lets do that

Signed-off-by: Joerg Jaspert <joerg@debian.org>

And add the bsds to d-i

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove kfreebsd from d-i for now

Signed-off-by: Mark Hymers <mhy@debian.org>

generate Packages for testing/t-p-u for kfreebsd-*

Signed-off-by: Mark Hymers <mhy@debian.org>

dqeued

it is really helpful if we upload to ftp-master.d.o instead of ftp.upload.debian.org.
Especially in the case ftp.u.d.o points back to us, as then we think its already there
and go "HEY, FINE, DELETE". Which isnt what the DDs expect, for some reason.
Thanks to sgran/weasel for this fix.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

cvs moved to alioth

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Write some more stuff down

Signed-off-by: Joerg Jaspert <joerg@debian.org>

remove sh, currently unused

Signed-off-by: Joerg Jaspert <joerg@debian.org>

also 822 the oldproposedupdates

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak.conf

allow codename uploads using maps.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-new

allow to delete all notes at once, including notes for old versions.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

use error instead of ERR

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

mention in subject of error mails if dinstall was broken due to this, or
if the error was ignored.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

kfreebsd

add kfreebsd d-i stuff

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add stupid hack to work around apt-pkg's config handling

Signed-off-by: Mark Hymers <mhy@debian.org>

signing key

lets drop the old and only use the new one.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-new

(Hopefully) ignore trainee comments for the sorting within NEW.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-new

and use _accept() instead of move_to_holding()

Signed-off-by: Joerg Jaspert <joerg@debian.org>

process-new

move stable/oldstable updates to newstage and not to holding area
when the source is in newstage.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Sign with the new key

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Use the right timestamp name

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

no longer number the timestamps

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

background two function calls.
once for the initial ssh to merkel and the other the dak-dev cluster
projectb reload on ries.
The first does not need to be foreground, we do not care if we are already
continuing in dinstall, its only informative for the qa user on merkel.
The second also doesnt need to run alone. The next thing after it is the 1hour
apt-fuckthearchive call. So the dak-dev reload will well be done, with its 15 minutes
runtime, before the next function is also done. And there is no harm done
in having the two run at the same time.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

tab/space, i hate you

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

spelling, little more explanation.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

put all log created by the varios functions into files named after
their stage lockfile. At the end of the function, redirect log
back to the global LOGFILE, after their stage logfile got appended to
it.

Use the stage logfile in the ERRtrap, so whenever an error happen the
stuff that gets mailed is the short part that happens to be around the
error, not the whole long stuff the complete dinstall log happens to be.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

The most important part of everything. A proper (Simpsons) quote.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

force hardlink break

Signed-off-by: Joerg Jaspert <joerg@debian.org>

various shell scripts

make them set -E so they honor the errtrap even in functions

Signed-off-by: Joerg Jaspert <joerg@debian.org>

unchecked
do not retry the lockfile forever and ever

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add check for newstage source

Signed-off-by: Mark Hymers <mhy@debian.org>

Adjust the keys stuff to new situation

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

also ignore Archive_Maintenance_In_Progress file in mirror hardlink location

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mail address

somehow some people got confused with a From: "Debian Installer <installer@ftp-master.d.o>".
While I dont see how one can mistaken that to be from a tool you
install your system with, change it to archive administrator instead.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak

* 'master' of ssh://ftp-master.debian.org/srv/ftp.debian.org/git/dak:
  Send the "transitions completed" mail to debian-devel instead of the RT.

Merge commit 'dato/master' into merge

Signed-off-by: Mark Hymers <mhy@debian.org>

Send the "transitions completed" mail to debian-devel instead of the RT.

As per http://lists.debian.org/debian-devel/2009/05/msg00673.html, notice
of transition blocks being lifted is going to be sent to debian-devel and
not to the release team.

This commit also reworks the wording of the body of the message (the
important bit being that the block is lifted, rather than the transitions
were removed from the transitions.yaml file), and it includes the names
of the finished transitions in the Subject of the mail.

Signed-off-by: Adeodato Simó <dato@net.com.org.es>

Additionally sign with the new ftpmaster key

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Set name

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

look process-new with an own lockfile.
This wont make a difference for dinstall, same lock time there.
But it will make a big difference whenever cron.unchecked runs (which is far
more often), as it now will lock for a few seconds and not for the
sometimes unbearable long times process-unchecked and the w-b trigger
needs.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Revert "p-n"

This reverts commit cc095d57450c4828e855608c398cc7695283a277.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

ignore an EPIPE at a pretty annoying place.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'stew/master' into merge

* commit 'stew/master':
  must import pg...
  escape strings for comments on packages and comment authors

Signed-off-by: Joerg Jaspert <joerg@debian.org>

must import pg...

escape strings for comments on packages and comment authors

dak hates the name "Mike O'Connor".  This uses pg.escape_string to make it love
my name instead.

process-new

no longer check the daily lock when we start looking at a package, but
when we try to do modifying actions.
No reason to not allow people to do Check/Reject/Note, those are actions
we can do whenever. Its just modifying overrides which *have* to be
avoided at certain times.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge commit 'allan/bugfixes' into merge

* commit 'allan/bugfixes':
  Check for the existance of the function before trying to drop it.
  Added mention of groups required by update11.py
  Fixed missing DBUpdateError imports.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Stuff must be newer than in oldstable too, otherwise we get "nice" bugs like with treecc

Signed-off-by: Joerg Jaspert <joerg@debian.org>

examine_package

a set of newlines

Signed-off-by: Joerg Jaspert <joerg@debian.org>

what a difference a small little innocent + can make

Signed-off-by: Joerg Jaspert <joerg@debian.org>

p-n

allow process-new to also look in newstage/ for the source. files
might not yet be in one of the other queues if it just got accepted
through one of the NEW queues.
No other process-* should need this, but p-n does.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

do not exit on non-existant files, only log it

Signed-off-by: Joerg Jaspert <joerg@debian.org>

mailwhitelist

ignore whitespace/comment lines.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Check for the existance of the function before trying to drop it.

At least on my machine, ignoring the error if the function doesn't exist
doesn't work since psycopg2 bombs.  So, we attempt to at least check if
there are any functions with a similar name before trying to drop it.
This way it should work better on an empty database where the function
has never existed.

Signed-off-by: Allan Lyons <Allan_Lyons@wycliffe.ca>

Added mention of groups required by update11.py

Update11.py requires some database groups to already exist.  So, move the mention of those groups ahead of the line that updates the database schema.

Signed-off-by: Allan Lyons <Allan_Lyons@wycliffe.ca>

Fixed missing DBUpdateError imports.

Signed-off-by: Allan Lyons <Allan_Lyons@wycliffe.ca>

docstring

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dinstall

call unchecked with the -p option, it has to run within the locked area.

Signed-off-by: Joerg Jaspert <joerg@debian.org>