Alter process-policy to copy debug debs into the debugsuite

This is the first step in creating a debug deb suite for the archive,
and diverts debs that would be added to a suite into the debug suite
linked.

In the event the suite does not support diverting debug debs, the
process-new routine will accept the package into the target suite.

Update projectb to know about suite.debugsuite

 Alter the schema to add `debugsuite` to the suite table, to point at
 the suite to copy debug debs to.

Modify binary package name check to accept -dbgsym

 In particular, we should tolerate .deb packages that are in the
 Files, but are not present in the Binary package listing, since
 adding them into debian/control is a pretty bad idea.

 debhelper (currently, this will be default later), when givin
 `DH_BUILD_DDEBS=1` will build DH_BUILD_DDEBS that are in the Files
 list, named foo-dbgsym.

 The check now validates that the -dbgsym package corresponds to
 a package that *is* listed in the Binary package listing, and in
 the section "debug".

Reorganize code a bit.

Fix typo.

dak: Add import-repository subcommand.

Initial work on import-repository

The new subcommand allows importing packages from an existing
repository. It is currently intended to be used on Debian Ports to
import source and arch:all packages from the main archive.

There are still several places that need work.

Use HashedFile.input_filename

Use the input_filename that was introduced in
64292a3e28c69cb7a816830c858f8503d6995a98

SignedFile: allow multiple signatures

The InRelease file is currently signed using multiple keys and we want
to be able to verify its signature. So allow multiple signatures as
long as all of them are valid.

For uploads (.changes files) we still require that only a single
signature is present. This is currently enforced by the 'fingerprint',
'primary_fingerprint' and 'signature_id' accessors.

Split out logic to parse Built-Using field.

Use changes table to include historic data.

Requested-by: Enrico Zini <enrico@enricozini.org>

Add install_source_to_archive method

This method install the source into an archive without adding it to
any suite. It is intended to be used to import extra source packages
(i.e. those referenced only by Built-Using).

HashedFile: Allow to use a different filename for input

This allows retrieving files using a temporary name, but to install
them into the archive using their proper name.

Do not require all attributes to match

If the same source or binary package is uploaded again, the
fingerprint and changed_by might be different if some other person
signed the new .changes (or if there is no .changes). We still want to
be able to import such packages without error, retaining the
attributes already present.

Add helper functions to decompress files.

Generalize parse_file_list to allow handling Release files

Release files use different field names for checksum fields and the
set of allowed filenames is larger (slashes are allowed). This patch
allows switching the regexp used to validate filenames and the fields
for checksums to allow using parse_file_list not only for .dsc files,
but also for Release files.

Allow checking files given an open file handle.

Fix typo in error message.

Add regexp for safe filenames, including slashes.

Add missing step for NEW processing on sec-master.

Fix handling of mapped components in process-new

I really would like to get rid of mapped components on security-master...

ArchiveTransaction: add flush() method.

setup/README: do not create system users or groups

setup/README: Update PostgreSQL version number.

queued: remove buildd-alpha-keyring.gpg

queued: add buildd-all-keyring.gpg

Use "find ... -delete" instead of "find ... | xargs rm"

Use ${file%.gz} instead of calling basename.

Set 'nullglob' to ignore nonmatching patterns

For example override.stretch.extra.* does not exist. Not ignoring this
pattern results in an output file containing an asterisk.

Merge remote-tracking branch 'dktrkranz/fixes'

Mention machine readable list of DELAYED packages (Closes: #748181)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Shorten header for Contents indices

Do not mention details like how often Contents indices are updates as
these depend on the suite and have changed.

Also remove the description on how to use grep to search these files.

Merge remote-tracking branch 'dktrkranz/fixes'

Restore exporting of NEWS.Debian file

Merge remote-tracking branch 'dktrkranz/fixes'

Allow to export NEWS file (Closes: #709444)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Add an options line for the web/ dir

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  dak/rm: Pass a list of bugs to remove() as the correct parameter

dak/rm: Pass a list of bugs to remove() as the correct parameter

Thanks to Adam D. Barratt for spotting the mistake.

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

dak/rm: Pass a list of bugs to remove() rather than a string

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  daklib/rm: Fix boolean inversion on partial removals

daklib/rm: Fix boolean inversion on partial removals

Signed-off-by: Niels Thykier <niels@thykier.net>

Implicitly release lock when closing file

Letting Python close the file will also release the lock after having
flushed all buffers.

Reported-by: Niels Thykier <niels@thykier.net>

lintian.tags: add empty-binary-package

Signed-off-by: Jakub Wilk <jwilk@debian.org>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  daklib/rm: Components can be None even when partial is True

daklib/rm: Components can be None even when partial is True

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  auto-decruft: Remember to commit database changes

auto-decruft: Remember to commit database changes

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  auto-decruft: Use an id rather than an ORM object in SQL

auto-decruft: Use an id rather than an ORM object in SQL

Signed-off-by: Niels Thykier <niels@thykier.net>

Let auto-decruft (hopefully not) destroy the archive

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Change indices for {src,bin}_contents

daklib/ls.py: manage our own database session

session_wrapper gets confused by generators: let "f" be a generator
making use of a database session:

    def wrapped_f():
      session = DBConn().session()
      try:
        return f(session)
      finally:
        session.close()

    for item in wrapped_f():
      do_something(item)

will leak database sessions as the implementation of "f" will only be
invoked from the for-loop. However at this time the "finally" block
closing the session has already run. SQLAlchemy will helpfully reopen
the session, but it will not be closed in the end.

daklib/daklog.py: acquire an advisory lock when writing to file

daklib/rm.py: acquire an advisory lock when writing to file

ls: Also search for codename.

Bug: https://bugs.debian.org/788669

Add codename to package_list view

autocruft: Report NVIU removals.

autodecruft: Make function look a bit nicer.

Merge remote-tracking branch 'nthykier/auto-decruft'

auto-decruft: Disable short options for NVI

The short options were originally not intended to be used, but until
now I did not know how to disable the short options.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Fix and reduce two SQL statements

Thanks to Ansgar Burchardt for spotting these issues.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Merge groups with same name

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Expand NVI in cmd line argument names

Signed-off-by: Niels Thykier <niels@thykier.net>

Remove more unused code.

Remove unneeded import.

typo: providors -> providers

process_upload: Remove unused variables

Signed-off-by: Niels Thykier <niels@thykier.net>
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

Don't pass "session" to process_it()

Reported-by: Niels Thykier <niels@thykier.net>

auto-decruft: Fix typo of "denoted"

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decrufter: Support NVIX removals

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Create a more helpful help/usage message

Signed-off-by: Niels Thykier <niels@thykier.net>

Revert "ls: also accept codenames"

This would need addition of the codename to the "package_list" view.

This reverts commit 87087596eaef30f9e2bfaa5908ffceadf7813a25.

ls: also accept codenames

Remove dak/generate_filelist.py

Help! A zombie appeared!

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  rm: Ensure con_components are not None

rm: Ensure con_components are not None

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  rm: Only add component restriction if there is a component

rm: Only add component restriction if there is a component

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft'

* nthykier/auto-decruft:
  daklib/rm: Use strings and not RowProxy as key

daklib/rm: Use strings and not RowProxy as key

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/auto-decruft' into merge

* nthykier/auto-decruft:
  dak/rm: Fix typo in key name

dak/rm: Fix typo in key name

Signed-off-by: Niels Thykier <niels@thykier.net>

Add autocruft function, calling (guess) auto_decruft

For now only with -n and then mail out what it thinks it would do.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'nthykier/auto-decruft' into merge

* nthykier/auto-decruft:
  Rewrite auto-decruft to group removals
  daklib/rm: Add a fitting dak-quote
  auto-decruft: Batch check source-less cruft
  auto-decruft: Fix wording of removal message
  auto-decruft: Use bind variables
  auto_decruft: Fix typo
  utils: Use a set rather than list
  utils: Drop unused fields from database query
  utils: Avoid some throw away collections
  generate_filelist.py: Fix typo
  utils: Add a quiet=False parameter to check_reverse_depends
  Add dak auto-decruft command based on cruft-report
  Move two queries from cruft_report to daklib/cruft
  Extract a "remove" method from "dak rm"

Merge branch 'master' into auto-decruft-passive

Conflicts:
dak/generate_filelist.py

Remove old implementation of generate-packages-sources

This patch removes the old implementation of generate-packages-sources
that used apt-ftparchive instead of the metadata in the Postgres
database.

daklib/queue.py: Remove unneeded imports.

Remove obsolete daklib/holding.py.

Remove old database schema update scripts

Some very old schema update scripts make use of obsolete code and
would need to be updated to keep working. Just remove them instead.

Rewrite auto-decruft to group removals

Signed-off-by: Niels Thykier <niels@thykier.net>

daklib/rm: Add a fitting dak-quote

Which doubles as a fitting disclaimer too.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Batch check source-less cruft

Add a ReverseDependencyChecker class for bulk testing breakage in
reverse dependencies and use it in the auto-decrufter.

At this point, disable the NBS removal - it will be re-added in the
next commit.

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Fix wording of removal message

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Use bind variables

Signed-off-by: Niels Thykier <niels@thykier.net>

auto_decruft: Fix typo

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Use a set rather than list

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Drop unused fields from database query

Signed-off-by: Niels Thykier <niels@thykier.net>

utils: Avoid some throw away collections

Avoid creating collections that are thrown away after a single (or
even zero) uses.

Signed-off-by: Niels Thykier <niels@thykier.net>