Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  dak/rm: Pass a list of bugs to remove() as the correct parameter

dak/rm: Pass a list of bugs to remove() as the correct parameter

Thanks to Adam D. Barratt for spotting the mistake.

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

dak/rm: Pass a list of bugs to remove() rather than a string

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  daklib/rm: Fix boolean inversion on partial removals

daklib/rm: Fix boolean inversion on partial removals

Signed-off-by: Niels Thykier <niels@thykier.net>

Implicitly release lock when closing file

Letting Python close the file will also release the lock after having
flushed all buffers.

Reported-by: Niels Thykier <niels@thykier.net>

lintian.tags: add empty-binary-package

Signed-off-by: Jakub Wilk <jwilk@debian.org>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  daklib/rm: Components can be None even when partial is True

daklib/rm: Components can be None even when partial is True

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  auto-decruft: Remember to commit database changes

auto-decruft: Remember to commit database changes

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  auto-decruft: Use an id rather than an ORM object in SQL

auto-decruft: Use an id rather than an ORM object in SQL

Signed-off-by: Niels Thykier <niels@thykier.net>

Let auto-decruft (hopefully not) destroy the archive

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Change indices for {src,bin}_contents

daklib/ls.py: manage our own database session

session_wrapper gets confused by generators: let "f" be a generator
making use of a database session:

    def wrapped_f():
      session = DBConn().session()
      try:
        return f(session)
      finally:
        session.close()

    for item in wrapped_f():
      do_something(item)

will leak database sessions as the implementation of "f" will only be
invoked from the for-loop. However at this time the "finally" block
closing the session has already run. SQLAlchemy will helpfully reopen
the session, but it will not be closed in the end.

daklib/daklog.py: acquire an advisory lock when writing to file

daklib/rm.py: acquire an advisory lock when writing to file

ls: Also search for codename.

Bug: https://bugs.debian.org/788669

Add codename to package_list view

autocruft: Report NVIU removals.

autodecruft: Make function look a bit nicer.

Merge remote-tracking branch 'nthykier/auto-decruft'

auto-decruft: Disable short options for NVI

The short options were originally not intended to be used, but until
now I did not know how to disable the short options.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Fix and reduce two SQL statements

Thanks to Ansgar Burchardt for spotting these issues.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Merge groups with same name

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Expand NVI in cmd line argument names

Signed-off-by: Niels Thykier <niels@thykier.net>

Remove more unused code.

Remove unneeded import.

typo: providors -> providers

process_upload: Remove unused variables

Signed-off-by: Niels Thykier <niels@thykier.net>
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Don't pass "session" to process_it()

Reported-by: Niels Thykier <niels@thykier.net>

auto-decruft: Fix typo of "denoted"

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decrufter: Support NVIX removals

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Create a more helpful help/usage message

Signed-off-by: Niels Thykier <niels@thykier.net>

Revert "ls: also accept codenames"

This would need addition of the codename to the "package_list" view.

This reverts commit 87087596eaef30f9e2bfaa5908ffceadf7813a25.

ls: also accept codenames

Remove dak/generate_filelist.py

Help! A zombie appeared!

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  rm: Ensure con_components are not None

rm: Ensure con_components are not None

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  rm: Only add component restriction if there is a component

rm: Only add component restriction if there is a component

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  daklib/rm: Use strings and not RowProxy as key

daklib/rm: Use strings and not RowProxy as key

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft' into merge

* nthykier/auto-decruft:
  dak/rm: Fix typo in key name

dak/rm: Fix typo in key name

Signed-off-by: Niels Thykier <niels@thykier.net>

Add autocruft function, calling (guess) auto_decruft

For now only with -n and then mail out what it thinks it would do.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'nthykier/auto-decruft' into merge

* nthykier/auto-decruft:
  Rewrite auto-decruft to group removals
  daklib/rm: Add a fitting dak-quote
  auto-decruft: Batch check source-less cruft
  auto-decruft: Fix wording of removal message
  auto-decruft: Use bind variables
  auto_decruft: Fix typo
  utils: Use a set rather than list
  utils: Drop unused fields from database query
  utils: Avoid some throw away collections
  generate_filelist.py: Fix typo
  utils: Add a quiet=False parameter to check_reverse_depends
  Add dak auto-decruft command based on cruft-report
  Move two queries from cruft_report to daklib/cruft
  Extract a "remove" method from "dak rm"

Merge branch 'master' into auto-decruft-passive

Conflicts:
dak/generate_filelist.py

Remove old implementation of generate-packages-sources

This patch removes the old implementation of generate-packages-sources
that used apt-ftparchive instead of the metadata in the Postgres
database.

daklib/queue.py: Remove unneeded imports.

Remove obsolete daklib/holding.py.

Remove old database schema update scripts

Some very old schema update scripts make use of obsolete code and
would need to be updated to keep working. Just remove them instead.

Rewrite auto-decruft to group removals

Signed-off-by: Niels Thykier <niels@thykier.net>

daklib/rm: Add a fitting dak-quote

Which doubles as a fitting disclaimer too.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Batch check source-less cruft

Add a ReverseDependencyChecker class for bulk testing breakage in
reverse dependencies and use it in the auto-decrufter.

At this point, disable the NBS removal - it will be re-added in the
next commit.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Fix wording of removal message

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Use bind variables

Signed-off-by: Niels Thykier <niels@thykier.net>

auto_decruft: Fix typo

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Use a set rather than list

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Drop unused fields from database query

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Avoid some throw away collections

Avoid creating collections that are thrown away after a single (or
even zero) uses.

Signed-off-by: Niels Thykier <niels@thykier.net>

generate_filelist.py: Fix typo

Signed-off-by: Niels Thykier <niels@thykier.net>

Update, jessie 8.1

Signed-off-by: Joerg Jaspert <joerg@debian.org>

utils: Add a quiet=False parameter to check_reverse_depends

Signed-off-by: Niels Thykier <niels@thykier.net>

Add dak auto-decruft command based on cruft-report

The new auto-decruft command automatically removes:

 * sourceless binaries
 * NBS

When the removals can be done without breaking any reverse
dependencies.

Signed-off-by: Niels Thykier <niels@thykier.net>

Move two queries from cruft_report to daklib/cruft

Signed-off-by: Niels Thykier <niels@thykier.net>

Extract a "remove" method from "dak rm"

Signed-off-by: Niels Thykier <niels@thykier.net>

Remove more obsolete code.

Remove obsolete code.

dakweb: add -a option for madison

Signed-off-by: Julien Cristau <jcristau@debian.org>

Re-enable TLS for LDAP

CACERTFILE now must point to a CA, using service certificates directly
doesn't work.

Also use per-connection settings for TLS. Note that the order of
set_option calls matters (setting ldap.OPT_X_TLS_NEWCTX first
fails)...

Do not require TLS for LDAP.

Somehow this broke with the upgrade to Debian 8. As the information is
more or less informational (connect keys to accounts), do not require
TLS for LDAP connections for a moment.

apache.conf: merge changes from upgrade to Debian 8

dak.conf: update path to db.debian.org certificate

docs: Add notes from Jessie release.

update-bugdoctxt: set SSL_CERT_FILE when calling lynx

lynx doesn't seem able to use the service certificates in
/etc/ssl/certs and the SSL_CERT_DIR environment variable doesn't seem
to work either.

While at it, also run lynx as the dak-unpriv user.

deleteAssociations: handle empty idList

Use apt_pkg.parse_src_depends to parse Build-Depends(-Indep)

apt_pkg.parse_depends does not handle all features allowed in the
Build-Depends(-Indep) fields. In particular it gives an error when
Build-Depends contains restriction formulas as used for build
profiles.

Add --ca-directory=/etc/ssl/ca-debian to wget options.

debianqueued: switch to Email::Sender

Email::Send is deprecated and not part of Debian 8 (Jessie).

debian-security: import new security updates into stable-kfreebsd

No, we don't need to see this output, halt die klappe cron

Exclude tiffani/ from dd-sync and shut up cron

its a state dir only and files change too often so rsync gets annoyed
which in turn annoys cron which hands that over to ftpmasters, who
dont like it. AWAY, you mails.

public mirror is not ries

Merge remote-tracking branch 'dktrkranz/releases'

And another case of "shutup, cron"

Add jessie freeze and release dates

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Shutup unchecked

make-mirror shutup

Silence dak generate-releases

Send buildd notifications for oldstable again.

Document how to import additional sources into the security archive.

Do not require overridecodename to be set.

Make sure ${exportdir} for stable-new exists.

Make "mirrordir" a local variable.

update-suite: Handle case of not installing new packages.

Add missing import for NoResultFound.

add-build-queue: Fix format string in error message.