Merge remote-tracking branch 'nthykier/auto-decruft' into merge

* nthykier/auto-decruft:
  Rewrite auto-decruft to group removals
  daklib/rm: Add a fitting dak-quote
  auto-decruft: Batch check source-less cruft
  auto-decruft: Fix wording of removal message
  auto-decruft: Use bind variables
  auto_decruft: Fix typo
  utils: Use a set rather than list
  utils: Drop unused fields from database query
  utils: Avoid some throw away collections
  generate_filelist.py: Fix typo
  utils: Add a quiet=False parameter to check_reverse_depends
  Add dak auto-decruft command based on cruft-report
  Move two queries from cruft_report to daklib/cruft
  Extract a "remove" method from "dak rm"

Merge branch 'master' into auto-decruft-passive

Conflicts:
dak/generate_filelist.py

Remove old implementation of generate-packages-sources

This patch removes the old implementation of generate-packages-sources
that used apt-ftparchive instead of the metadata in the Postgres
database.

daklib/queue.py: Remove unneeded imports.

Remove obsolete daklib/holding.py.

Remove old database schema update scripts

Some very old schema update scripts make use of obsolete code and
would need to be updated to keep working. Just remove them instead.

Rewrite auto-decruft to group removals

Signed-off-by: Niels Thykier <niels@thykier.net>

daklib/rm: Add a fitting dak-quote

Which doubles as a fitting disclaimer too.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Batch check source-less cruft

Add a ReverseDependencyChecker class for bulk testing breakage in
reverse dependencies and use it in the auto-decrufter.

At this point, disable the NBS removal - it will be re-added in the
next commit.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Fix wording of removal message

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Use bind variables

Signed-off-by: Niels Thykier <niels@thykier.net>

auto_decruft: Fix typo

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Use a set rather than list

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Drop unused fields from database query

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Avoid some throw away collections

Avoid creating collections that are thrown away after a single (or
even zero) uses.

Signed-off-by: Niels Thykier <niels@thykier.net>

generate_filelist.py: Fix typo

Signed-off-by: Niels Thykier <niels@thykier.net>

Update, jessie 8.1

Signed-off-by: Joerg Jaspert <joerg@debian.org>

utils: Add a quiet=False parameter to check_reverse_depends

Signed-off-by: Niels Thykier <niels@thykier.net>

Add dak auto-decruft command based on cruft-report

The new auto-decruft command automatically removes:

 * sourceless binaries
 * NBS

When the removals can be done without breaking any reverse
dependencies.

Signed-off-by: Niels Thykier <niels@thykier.net>

Move two queries from cruft_report to daklib/cruft

Signed-off-by: Niels Thykier <niels@thykier.net>

Extract a "remove" method from "dak rm"

Signed-off-by: Niels Thykier <niels@thykier.net>

Remove more obsolete code.

Remove obsolete code.

dakweb: add -a option for madison

Signed-off-by: Julien Cristau <jcristau@debian.org>

Re-enable TLS for LDAP

CACERTFILE now must point to a CA, using service certificates directly
doesn't work.

Also use per-connection settings for TLS. Note that the order of
set_option calls matters (setting ldap.OPT_X_TLS_NEWCTX first
fails)...

Do not require TLS for LDAP.

Somehow this broke with the upgrade to Debian 8. As the information is
more or less informational (connect keys to accounts), do not require
TLS for LDAP connections for a moment.

apache.conf: merge changes from upgrade to Debian 8

dak.conf: update path to db.debian.org certificate

docs: Add notes from Jessie release.

update-bugdoctxt: set SSL_CERT_FILE when calling lynx

lynx doesn't seem able to use the service certificates in
/etc/ssl/certs and the SSL_CERT_DIR environment variable doesn't seem
to work either.

While at it, also run lynx as the dak-unpriv user.

deleteAssociations: handle empty idList

Use apt_pkg.parse_src_depends to parse Build-Depends(-Indep)

apt_pkg.parse_depends does not handle all features allowed in the
Build-Depends(-Indep) fields. In particular it gives an error when
Build-Depends contains restriction formulas as used for build
profiles.

Add --ca-directory=/etc/ssl/ca-debian to wget options.

debianqueued: switch to Email::Sender

Email::Send is deprecated and not part of Debian 8 (Jessie).

debian-security: import new security updates into stable-kfreebsd

No, we don't need to see this output, halt die klappe cron

Exclude tiffani/ from dd-sync and shut up cron

its a state dir only and files change too often so rsync gets annoyed
which in turn annoys cron which hands that over to ftpmasters, who
dont like it. AWAY, you mails.

public mirror is not ries

Merge remote-tracking branch 'dktrkranz/releases'

And another case of "shutup, cron"

Add jessie freeze and release dates

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Shutup unchecked

make-mirror shutup

Silence dak generate-releases

Send buildd notifications for oldstable again.

Document how to import additional sources into the security archive.

Do not require overridecodename to be set.

Make sure ${exportdir} for stable-new exists.

Make "mirrordir" a local variable.

update-suite: Handle case of not installing new packages.

Add missing import for NoResultFound.

add-build-queue: Fix format string in error message.

Switch to "jessie" as stable.

No longer generate override.*.all3{,.src}

The buildd support no longer needs these files.

update-suite: We need the build queue's suite.

Choose a more useful default overridesuite for build queues.

config/debian/dak.conf: No direct uploads to testing-kfreebsd.

update-suite: fix module name: daklog -> daklib.daklog

Initial work on update-suite.

Do not include long description in Packages index by default

suite add: set version to NULL when an empty string is given

Add "add-build-queue" to quickly setup build queues.

Allow release team to manage jessie-updates. (Closes: #781403)

Bug: https://bugs.debian.org/781403

generate-d-i: Use "set -u"

generate-d-i: Only look at architectures in testing.

generate-d-i: Do not hardcode suite ids.

The suite.id for testing and testing-proposed-updates changed with the
wheezy release.

generate-d-i: Reformat SQL queries (no semantic changes).

Run bts-categorize as unprivileged user.

Use more https://

queue-report: use tracker.debian.org instead of packages.qa.d.o

cron.daily: tell dc-tool where to find CA certificates

Signed-off-by: Julien Cristau <jcristau@debian.org>

cron.buildd: disable oldstable, enable testing

Rename exception.

Also inherit from Reject so a proper rejection message is shown
instead of a backtrace.

Include backports-policy in backports-new.html.

process-policy: pass component name to get_mapped_component

process-policy: Rollback transaction if dry run is requested.

process-policy: Apply component mappings.

Allow uploads to jessie-backports.

Restore the correct From address by adding additional headers.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Do not pass sendmail options to mail.

bsd-mailx no longer allows passing options to sendmail since the last
security update (8.1.2-0.20111106cvs-1+deb7u1). These are now
understood as additional recipient addresses and cause errors.

Reference: https://www.debian.org/security/2014/dsa-3104

Now thats a better url

Make list_paths use the epydoc html for api docs

A bit of docs for the ftpmaster api

epydoc from cron sucks big donkeys through small needle holes, turn off for now

Timeout epydoc, it likes to hang randomly...

sync-dd wants sync, not pool, as argument

Instead of doing our own (bad) help, simply use existing epydoc foo and redirect there

And to have that in useful, rework the whole docstrings of the dakweb/
foo, to give useful epydoc output.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Regen our epydoc html files

Not nice, but some doc

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Allow json format for madison

Signed-off-by: Joerg Jaspert <joerg@debian.org>

tools/queue_rss.py: Fix author format

see http://validator.w3.org/feed/docs/warning/EmailFormat.html

Signed-off-by: Laurent Arnoud <laurent@spkdev.net>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust way of syncing the dd-accessible copy

- Take out ries, hostname is coccia for a long time (use dd...)
- Allow sync-dd to push only the dak/ code directory
- Fixup whitespace in that script
- Take out the distinction of sync|pool push - that wasn't done for a
  long time, ftp/ is never ever synced instead.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Ups, rename function so its actually what it should be

dakweb: Allow to query for all source packages

dakweb: add sources_in_suite query

rmadison: use yield to return content and set correct content type.

dakweb: add rmadison query (still incomplete)

Use new package_list view for "dak ls" command.

daklib/utils.py: Use boolean instead of an integer.

Add custom SQLAlchemy extensions for Postgres' string_agg.