Restore the correct From address by adding additional headers.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Do not pass sendmail options to mail.

bsd-mailx no longer allows passing options to sendmail since the last
security update (8.1.2-0.20111106cvs-1+deb7u1). These are now
understood as additional recipient addresses and cause errors.

Reference: https://www.debian.org/security/2014/dsa-3104

Now thats a better url

Make list_paths use the epydoc html for api docs

A bit of docs for the ftpmaster api

epydoc from cron sucks big donkeys through small needle holes, turn off for now

Timeout epydoc, it likes to hang randomly...

sync-dd wants sync, not pool, as argument

Instead of doing our own (bad) help, simply use existing epydoc foo and redirect there

And to have that in useful, rework the whole docstrings of the dakweb/
foo, to give useful epydoc output.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Regen our epydoc html files

Not nice, but some doc

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow json format for madison

Signed-off-by: Joerg Jaspert <joerg@debian.org>

tools/queue_rss.py: Fix author format

see http://validator.w3.org/feed/docs/warning/EmailFormat.html

Signed-off-by: Laurent Arnoud <laurent@spkdev.net>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust way of syncing the dd-accessible copy

- Take out ries, hostname is coccia for a long time (use dd...)
- Allow sync-dd to push only the dak/ code directory
- Fixup whitespace in that script
- Take out the distinction of sync|pool push - that wasn't done for a
  long time, ftp/ is never ever synced instead.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Ups, rename function so its actually what it should be

dakweb: Allow to query for all source packages

dakweb: add sources_in_suite query

rmadison: use yield to return content and set correct content type.

dakweb: add rmadison query (still incomplete)

Use new package_list view for "dak ls" command.

daklib/utils.py: Use boolean instead of an integer.

Add custom SQLAlchemy extensions for Postgres' string_agg.

Add new package_list view.

Make queued complain less when removing files

Reset @files each time through the command loop to avoid adding
previously deleted files to the output message.

Bug: https://bugs.debian.org/594803
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Close our SQLAlchemy sessions

This is a temporary workaround to stop us leaving sessions around
until I write a decorator function

Signed-off-by: Mark Hymers <mhy@debian.org>

Implement and document the different names

Signed-off-by: Mark Hymers <mhy@debian.org>

Hack to not end up with None versions

Signed-off-by: Mark Hymers <mhy@debian.org>

Find suite by any of the random name types we have

Signed-off-by: Mark Hymers <mhy@debian.org>

Add database update to contain release_suite field

Signed-off-by: Mark Hymers <mhy@debian.org>

Add suite function

Signed-off-by: Mark Hymers <mhy@debian.org>

Improve suites() documentation

Signed-off-by: Mark Hymers <mhy@debian.org>

Improve dsc_in_suite function documentation

Signed-off-by: Mark Hymers <mhy@debian.org>

Improve archives() function documentation

Signed-off-by: Mark Hymers <mhy@debian.org>

Add initial suites and archives routines

Signed-off-by: Mark Hymers <mhy@debian.org>

Return filesize and sha256sum too

Signed-off-by: Mark Hymers <mhy@debian.org>

Run WSGI script from apache

Signed-off-by: Mark Hymers <mhy@debian.org>

First pass at a hacky mod_wsgi version

Signed-off-by: Mark Hymers <mhy@debian.org>

Add initial api.ftp-master.d.o apache config

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge in the initial web API code

Remove debugging code

Signed-off-by: Mark Hymers <mhy@debian.org>

Merge remote-tracking branch 'origin/dakweb'

Merge remote-tracking branch 'mhy/master'

Lock {src,bin}_associations to stop other things writing to them during gps

Signed-off-by: Mark Hymers <mhy@debian.org>

Update install instructions

Signed-off-by: Mark Hymers <mhy@debian.org>

Create some directories needed for new dak installs

Signed-off-by: Mark Hymers <mhy@debian.org>

Call dak admin s-c in example install instructions

Signed-off-by: Mark Hymers <mhy@debian.org>

Reject uploads with Multi-Arch: no

Multi-Arch: no currently breaks wanna-build. We don't want that to happen.

Reference: https://bugs.debian.org/768353

Do not require arch:all packages in experimental uploads

This is to allow setting up an experimental arch:all buildd and will
be reverted later.

daklib/checks.py: check for Section field in binary packages

daklib/gpg.py: Ignore POLICY_URL keyword.

daklib/command.py: Add Cc option.

README.stable-point-release: Update for 7.7

Add copy & paste snippets for propups.

security NEW processing: add dak admin forget-signature

Handle packages with overrides in multiple components

This should make moving packages between components (e.g. packages
moving from non-free to main) less painful.

Bug: https://bugs.debian.org/690444

daklib/checks.py: check timestamp of .changes signature

This allows to eventually drop old entries from the signature_history
table.

dak make-pkg-file-mapping: do not include sources from other archives

Include only information about a source package's files if its .dsc is
in the requested archive.

Previously when xy_1.0-1 was in the requested archive and xy_1.0-2
using the same upstream tarball in a different archive, dak would
still include information about xy_1.0-2's upstream tarball resulting
in confusing entries on snapshot.d.o.

Reported-by: Salvatore Bonaccorso <carnil@debian.org>

dak make-pkg-file-mapping: ensure stable order

Include component and filename in the ORDER BY clause to ensure the
output order does not change.

test_gpg.py: test PGP messages and plaintext

test_gpg.py: also check signature timestamp

Add first unit tests for GnuPG wrapper.

dm-migrate: list source packages for which permissions were migrated.

cron.unchecked: drop unused do_dists function.

cron.unchecked: stop bothering with override files.

Merge remote-tracking branch 'paultag/paultag/bugfix/import-errno'

Import errno, used in Exception handling.

From a reject exception:

|   File "/srv/ftp-master.debian.org/dak/dak/daklib/upload.py", line 155, in check
|     if e.errno == errno.ENOENT:
| NameError: global name 'errno' is not defined

HashedFile: Raise FileDoesNotExist if referring to a non-existing file

A custom exception is nicer to handle in the caller.

daklib/upload.py: Use common base class for all exception.

Merge branch 'master' of /srv/ftp.debian.org/git/dak

Add ppc64el

Signed-off-by: Mark Hymers <mhy@debian.org>

cron.daily: Don't allow ssh trigger to run arbitrary SQL

Remove apache.conf-incoming.

incoming.d.o is no longer hosted on ftp-master.d.o.

Show last updated time on i.d.o

Signed-off-by: Mark Hymers <mhy@debian.org>

Remove old (and slow) code

Signed-off-by: Mark Hymers <mhy@debian.org>

Remove code working around an old issue

Signed-off-by: Mark Hymers <mhy@debian.org>

Stop generating old incoming.debian.org

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't use privacy temporarily to work out which buildds need reconfiguring

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't break on too many links

Signed-off-by: Mark Hymers <mhy@debian.org>

Remove old variables

Signed-off-by: Mark Hymers <mhy@debian.org>

Use chronic

Signed-off-by: Mark Hymers <mhy@debian.org>

Drop created and modified columns from bin_contents and src_contents

Debian_arch_to_Debian_triplet: handle linux-${arch}

Fix DirectoryMatch

Signed-off-by: Mark Hymers <mhy@debian.org>

We don't want emails every 15 minutes

Signed-off-by: Mark Hymers <mhy@debian.org>

Don't sync incoming - there's no point

Signed-off-by: Mark Hymers <mhy@debian.org>

Use the right option

Signed-off-by: Mark Hymers <mhy@debian.org>

Change how we generate incoming.debian.org

Signed-off-by: Mark Hymers <mhy@debian.org>

Move canonical incoming.debian.org location

Signed-off-by: Mark Hymers <mhy@debian.org>

export-suite: Add --relative option.

apache.conf-incoming: Grant access to home.mraw.org

process-new: Indicate which packages were not include in upload

Show "NOT UPLOADED" besides overrides for packages that were not
included in the upload.

Only inject processed uploads into signature_history

Uploads that were 'skipped' should not be recorded in
signature_history as they will be repeocessed later.

daklib/regexes.py: Do not allow colons in filenames.

Colons should not be used anywhere as the epoch part of versions is
not included in the filename.

daklib/checks.py: Add instructions how to get an upload processed again.

daklib/gpg.py: Ignore SIGEXPIRED and KEYEXPIRED

apache.conf-incoming: Grant access to mahler.debian.net

Bug: https://bugs.debian.org/754742

daklib/gpg.py: Ignore NOTATION_{NAME,DATA} keywords.

show-deferred: Do not require a valid signature.

daklib/gpg.py: Also handle SIGEXPIRED keyword.

daklib/gpg.py: Handle a few more keywords for invalid or and expired signatures.

Drop unique .changes name requirement and allow ftpteam to forget seen files.