auto-decruft: Fix and reduce two SQL statements

Thanks to Ansgar Burchardt for spotting these issues.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Merge groups with same name

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Expand NVI in cmd line argument names

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Fix typo of "denoted"

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decrufter: Support NVIX removals

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Create a more helpful help/usage message

Signed-off-by: Niels Thykier <niels@thykier.net>

Revert "ls: also accept codenames"

This would need addition of the codename to the "package_list" view.

This reverts commit 87087596eaef30f9e2bfaa5908ffceadf7813a25.

ls: also accept codenames

Remove dak/generate_filelist.py

Help! A zombie appeared!

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  rm: Ensure con_components are not None

rm: Ensure con_components are not None

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  rm: Only add component restriction if there is a component

rm: Only add component restriction if there is a component

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  daklib/rm: Use strings and not RowProxy as key

daklib/rm: Use strings and not RowProxy as key

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft' into merge

* nthykier/auto-decruft:
  dak/rm: Fix typo in key name

dak/rm: Fix typo in key name

Signed-off-by: Niels Thykier <niels@thykier.net>

Add autocruft function, calling (guess) auto_decruft

For now only with -n and then mail out what it thinks it would do.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'nthykier/auto-decruft' into merge

* nthykier/auto-decruft:
  Rewrite auto-decruft to group removals
  daklib/rm: Add a fitting dak-quote
  auto-decruft: Batch check source-less cruft
  auto-decruft: Fix wording of removal message
  auto-decruft: Use bind variables
  auto_decruft: Fix typo
  utils: Use a set rather than list
  utils: Drop unused fields from database query
  utils: Avoid some throw away collections
  generate_filelist.py: Fix typo
  utils: Add a quiet=False parameter to check_reverse_depends
  Add dak auto-decruft command based on cruft-report
  Move two queries from cruft_report to daklib/cruft
  Extract a "remove" method from "dak rm"

Merge branch 'master' into auto-decruft-passive

Conflicts:
dak/generate_filelist.py

Remove old implementation of generate-packages-sources

This patch removes the old implementation of generate-packages-sources
that used apt-ftparchive instead of the metadata in the Postgres
database.

daklib/queue.py: Remove unneeded imports.

Remove obsolete daklib/holding.py.

Remove old database schema update scripts

Some very old schema update scripts make use of obsolete code and
would need to be updated to keep working. Just remove them instead.

Rewrite auto-decruft to group removals

Signed-off-by: Niels Thykier <niels@thykier.net>

daklib/rm: Add a fitting dak-quote

Which doubles as a fitting disclaimer too.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Batch check source-less cruft

Add a ReverseDependencyChecker class for bulk testing breakage in
reverse dependencies and use it in the auto-decrufter.

At this point, disable the NBS removal - it will be re-added in the
next commit.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Fix wording of removal message

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Use bind variables

Signed-off-by: Niels Thykier <niels@thykier.net>

auto_decruft: Fix typo

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Use a set rather than list

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Drop unused fields from database query

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Avoid some throw away collections

Avoid creating collections that are thrown away after a single (or
even zero) uses.

Signed-off-by: Niels Thykier <niels@thykier.net>

generate_filelist.py: Fix typo

Signed-off-by: Niels Thykier <niels@thykier.net>

Update, jessie 8.1

Signed-off-by: Joerg Jaspert <joerg@debian.org>

utils: Add a quiet=False parameter to check_reverse_depends

Signed-off-by: Niels Thykier <niels@thykier.net>

Add dak auto-decruft command based on cruft-report

The new auto-decruft command automatically removes:

 * sourceless binaries
 * NBS

When the removals can be done without breaking any reverse
dependencies.

Signed-off-by: Niels Thykier <niels@thykier.net>

Move two queries from cruft_report to daklib/cruft

Signed-off-by: Niels Thykier <niels@thykier.net>

Extract a "remove" method from "dak rm"

Signed-off-by: Niels Thykier <niels@thykier.net>

Remove more obsolete code.

Remove obsolete code.

dakweb: add -a option for madison

Signed-off-by: Julien Cristau <jcristau@debian.org>

Re-enable TLS for LDAP

CACERTFILE now must point to a CA, using service certificates directly
doesn't work.

Also use per-connection settings for TLS. Note that the order of
set_option calls matters (setting ldap.OPT_X_TLS_NEWCTX first
fails)...

Do not require TLS for LDAP.

Somehow this broke with the upgrade to Debian 8. As the information is
more or less informational (connect keys to accounts), do not require
TLS for LDAP connections for a moment.

apache.conf: merge changes from upgrade to Debian 8

dak.conf: update path to db.debian.org certificate

docs: Add notes from Jessie release.

update-bugdoctxt: set SSL_CERT_FILE when calling lynx

lynx doesn't seem able to use the service certificates in
/etc/ssl/certs and the SSL_CERT_DIR environment variable doesn't seem
to work either.

While at it, also run lynx as the dak-unpriv user.

deleteAssociations: handle empty idList

Use apt_pkg.parse_src_depends to parse Build-Depends(-Indep)

apt_pkg.parse_depends does not handle all features allowed in the
Build-Depends(-Indep) fields. In particular it gives an error when
Build-Depends contains restriction formulas as used for build
profiles.

Add --ca-directory=/etc/ssl/ca-debian to wget options.

debianqueued: switch to Email::Sender

Email::Send is deprecated and not part of Debian 8 (Jessie).

debian-security: import new security updates into stable-kfreebsd

No, we don't need to see this output, halt die klappe cron

Exclude tiffani/ from dd-sync and shut up cron

its a state dir only and files change too often so rsync gets annoyed
which in turn annoys cron which hands that over to ftpmasters, who
dont like it. AWAY, you mails.

public mirror is not ries

Merge remote-tracking branch 'dktrkranz/releases'

And another case of "shutup, cron"

Add jessie freeze and release dates

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Shutup unchecked

make-mirror shutup

Silence dak generate-releases

Send buildd notifications for oldstable again.

Document how to import additional sources into the security archive.

Do not require overridecodename to be set.

Make sure ${exportdir} for stable-new exists.

Make "mirrordir" a local variable.

update-suite: Handle case of not installing new packages.

Add missing import for NoResultFound.

add-build-queue: Fix format string in error message.

Switch to "jessie" as stable.

No longer generate override.*.all3{,.src}

The buildd support no longer needs these files.

update-suite: We need the build queue's suite.

Choose a more useful default overridesuite for build queues.

config/debian/dak.conf: No direct uploads to testing-kfreebsd.

update-suite: fix module name: daklog -> daklib.daklog

Initial work on update-suite.

Do not include long description in Packages index by default

suite add: set version to NULL when an empty string is given

Add "add-build-queue" to quickly setup build queues.

Allow release team to manage jessie-updates. (Closes: #781403)

Bug: https://bugs.debian.org/781403

generate-d-i: Use "set -u"

generate-d-i: Only look at architectures in testing.

generate-d-i: Do not hardcode suite ids.

The suite.id for testing and testing-proposed-updates changed with the
wheezy release.

generate-d-i: Reformat SQL queries (no semantic changes).

Run bts-categorize as unprivileged user.

Use more https://

queue-report: use tracker.debian.org instead of packages.qa.d.o

cron.daily: tell dc-tool where to find CA certificates

Signed-off-by: Julien Cristau <jcristau@debian.org>

cron.buildd: disable oldstable, enable testing

Rename exception.

Also inherit from Reject so a proper rejection message is shown
instead of a backtrace.

Include backports-policy in backports-new.html.

process-policy: pass component name to get_mapped_component

process-policy: Rollback transaction if dry run is requested.

process-policy: Apply component mappings.

Allow uploads to jessie-backports.

Restore the correct From address by adding additional headers.

Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Do not pass sendmail options to mail.

bsd-mailx no longer allows passing options to sendmail since the last
security update (8.1.2-0.20111106cvs-1+deb7u1). These are now
understood as additional recipient addresses and cause errors.

Reference: https://www.debian.org/security/2014/dsa-3104

Now thats a better url

Make list_paths use the epydoc html for api docs