Sort extrafiles

Generate "extrafiles", (closes: #752134)

A clearsigned sha256sum of files not otherwise having a signed checksum
available.

Add another contributor source, listing the git repos as patch_contributors

Make contributor submissions work again

thanks to enrico for the workaround.

notify about errors, dont stop script

remove more unused code

dont hardcode testing/unstable names, use an extra var for dep11dir

remove unused code

(we arent doing an extra unchecked run out of dinstall anymore for
whoever knows how long)

ensure boolean values are true/false only

Comments, loads of comments

reformat, adjust, add, bla

Remove an indirection

Check the new tree, not the public one

Move ddaccess sync out of the locked area and background it

Its half an hour that it takes, and no reason we need to wait for it

Don't overwrite mirrordir variable

use the existing global one. Yes, this points to the
ftp-master.d.o/mirror dir. If an archives mirrordir really needs to be
elsewhere, symlink it.

autocruft doesnt care about args, so why bother

local is nice for variables in functions

Guard against non-existing tracefiles (eg. new archive)

ssh in a while loop really wants -n

Fixup columns. second is ARGS not TIME

A for loop likes a done at the end, who would have thought?

Get rid of lots of repetitions calling stage

Instead we now have a simple text list, 5 columns and a simple
while read loop transforming that to the right $thingtodo.

Adjust the mirror function to be generic

They now run for all public_archives.

Add option to not check arch:all rdeps

This is useful when removing packages on some architectures that have
many arch:all rdeps.  We know these will break, but listing them
obscures which arch-dep packages will be broken.

Of course we will still break the possibly arch-dep packages of the
arch:all packages that will no longer be installable...

And it seems like apache doesn't like abolute paths in <Files>

Also allow access to the lintian.tags file

Use an alias for lintian.tags

SymlinkIfOwnerMatch doesn't like lintian.tags.

Closes: #801589

PackageLists do not quite behave like a list of actual binaries

Debug packages should not go to NEW even for binary-only uploads

dinstall: also push debug mirrors

Also fallback to component from binary for non-NEW uploads

We want to allow debug packages without overrides.

debianqueued: keep .buildinfo files

Remove unused `session` variable

The code uses the session obtained from the `ArchiveTransaction`.

Run dak manage-debug-suites.

Add program to remove old packages from debug suites

We don't want to have to remove packages from *-debug by hand after we
removed them from the main archive.

Only mirror for ftp-master and backports

We might have to set this up for debian-{debug,data} later too, but at
least for testing purposes not having it is fine too.

Include all source packages in index

Previously we required that either an override is present or the
source is an "extra source" introduced via Built-Using.  However as we
now include all binary packages (see previous commit), we should also
include all source packages to treat both in a consistent way.

Use Priority/Section from package as a fallback

This change makes generage-packages-sources2 use the Section and
Priority values provided by the package in case no override is
present.

With this change, automatic override packages do not require manual
override handling.  It is also useful for testing purposes or possibly
users with other workflows than Debian's.

Also handle "debian-debug" archive.

debug packages now also have "Auto-Built-Package: debug-symbols"

Use log() not echo() to get timestamps

cron.hourly locks itself

Fix typos in the documentation

New files in Release file - adjust the check

Also generate pdiff files for source Contents

Fix pdiff Index file hardlink handling

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate SHA256 hashes for pdiff patches

Preparing for phasing out SHA1 means first and for most eliminating hard
dependencies on it, so lets include SHA256 hashes in .diff/Index as new
fields as this keeps backward compatibility.

Signed-off-by: David Kalnischkies <david@kalnischkies.de>

include hashsum for compressed patch file in .diff/Index

APT prefers to download files it has hashes for to check it actually got
the file it wanted instead of some man-in-the-middled file (by an attacker
or simply by a webportal returning a login mask for every request).
Giving it the hash of the compressed file saves APT from needing to
uncompress the patch before being able to verify its integrity.

Signed-off-by: David Kalnischkies <david@kalnischkies.de>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust the regexes used for DEP-11 files

dep11 people not knowing their own layout poooooooooor dep11

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix cd

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Target dir may not yet exist

Signed-off-by: Joerg Jaspert <joerg@debian.org>

A for loop like a done, not a fi, at the end

Merge remote-tracking branch 'ximion/dep11' into dmerge

* ximion/dep11:
  Include AppStream metadata from the generator server

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Include AppStream metadata from the generator server

This patch pulls AppStream/DEP-11 metadata from the server where it was
generated, then validates it for format issues and adds it to the
archive.

Pass suite name to the autobyhand scripts

To: debian-dak@lists.debian.org
Cc: Julien Cristau <jcristau@debian.org>
Date: Wed,  2 Dec 2015 08:01:37 +0100 (14 hours, 9 minutes, 8 seconds ago)
Resent-From: debian-dak@lists.debian.org

We have it readily available, and most scripts try to get it back from
the changes file anyway.

This makes things consistent for the scripts, so they won't get confused
by aliases (due to codenames or suite mappings) depending on whatever is
in the .changes file.

Signed-off-by: Julien Cristau <jcristau@debian.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add Changelogs field to Release file

Reference: https://lists.debian.org/debian-dak/2015/08/msg00012.html

SQLAlchemy version 1.0 might also be okay

Maybe this check should eventually be dropped?

debianqueued: No early notifications

debianqueued used to send early warnings about invalid uploads, but
relied on being able to (ab)use the setgid bit on the .changes file to
keep track for which uploads it has already complained. If it was
unable to set the setgid bit, it would send mails every run.

This change removes the early warnings. A mail will only be sent when
debianqueued gives up on the upload.

Use /srv instead of /org

security-master.d.o is moving to seger.d.o

Allow source-only uploads with 'sid' as distribution

We only allowed 'unstable' or 'experimental'.

Signed-off-by: Julien Cristau <jcristau@debian.org>
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

ftp-master.d.o: Redirect /testing/* to release.d.o

Currently /testing is a symlink, but this means the same content is
available under different addresses.

Adjust to deal with the new Debian supplementaryGid

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Switch from gid=800 to supplementaryGid=Debian

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix typo in the NEW email template

lintian.tags: remove binary-file-compressed-with-upx

This tag was removed from Lintian (2.5.33).

config-security: also refresh Release for buildd archive weekly

It looks like we actually had a week without uploads to the security
archive and the Release file expired.

[PATCH] Add option to make-maintainers to print data to stdout

Add option which makes make-maintainer print the maintainer data to
stdout instead of writing it to files.

[PATCH] Add option to make-maintainers to only output source packages

This is used in Tanglu to feed it's BTS

Merge remote-tracking branch 'lamby/misc-fixes-796786' into merge

* lamby/misc-fixes-796786:
  daklib/utils.py: mandantory -> mandatory spelling error
  daliblib/dak_exceptions: Add trailing comma to avoid future VCS noise
  tests/test_packagelist.py: make executable
  dalkib/dbconn.py: Mention which version is installed in sqlalchemy check
  dak/copy_installer.py: Include which directory doesn't exist in exception

Merge remote-tracking branch 'lamby/improve-parse-changes-tests-796787' into merge

* lamby/improve-parse-changes-tests-796787:
  tests/test_parse_changes.py: Move test to ParseDscTestCase as we call with dsc_file=1
  tests/test_parse_changes.py: Test that an contentless .dsc fails correctly
  tests/test_parse_changes.py: Actually use the blank file test fixture
  tests/test_parse_changes.py: Rewrite loose and difficult-to-use-correctly assertFails
  tests/test_parse_changes.py: Actually set dsc_file=1 when testing .dsc

Only copy existing byhand files.

Accept +kbsdXuY for kfreebsd.

Automate updating README files

It would be better if the README files were generated from a template
file, but this is better than nothing.

Update for 8.2

Merge remote-tracking branch 'lamby/update-debian-packaging'

Merge remote-tracking branches 'nthykier/fix-generate-releases' and 'nthykier/fix-auto-decrufter'

generate-releases: Use the right key when testing uncompnotseen

This issue caused dak to not generate hashes for uncompressed Contents
files for some architectures in some components.  A bit of context,
there were up to 4 Contents files per architecture:

 * Contents-ARCH
 * main/Contents-ARCH
 * contrib/Contents-ARCH
 * non-free/Contents-ARCH

Any */Contents-ARCH that appeared on the filesystem AFTER the legacy
"Contents-ARCH" would be ignored, because generate-releases used the
wrong key to check if the file was already in uncompnotseen.

Signed-off-by: Niels Thykier <niels@thykier.net>

generate-releases: Fix typo

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Register all members of groups when merging groups

When merging two groups of auto-decruftable packages, remember to
register all members of the combined group so dak can do a reverse
look up later.

Signed-off-by: Niels Thykier <niels@thykier.net>

"Update" Debian packaging

Whilst the packaging is obviously not for use, I'm finding it extremely
useful at least having the Build-Depends at a point where it will run the
tests.

It might be tempting to remove debian/ entirely, but Build-Depends is
just too useful for specifying, well, dependencies that tools such as
mk-build-deps can consume just like other packages.

Signed-off-by: Chris Lamb <lamby@debian.org>

Ups, architectures have more than just one character around here

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Clearly seperate the various steps of dinstall in the log

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Also ignore non-existant unpacked Content files when checking release files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'nthykier/checksumed-contents' into merge

* nthykier/checksumed-contents:
  generate_releases: Remove unneeded .keys() calls
  Always provide a checksum of uncompressed Contents files

generate_releases: Remove unneeded .keys() calls

Signed-off-by: Niels Thykier <niels@thykier.net>

Always provide a checksum of uncompressed Contents files

The new version of apt in experimental will insist on having the
checksum of the uncompressed Contents file, if it is to download the
Contents file.

Signed-off-by: Niels Thykier <niels@thykier.net>

tests/test_parse_changes.py: Move test to ParseDscTestCase as we call with dsc_file=1

Signed-off-by: Chris Lamb <lamby@debian.org>

tests/test_parse_changes.py: Test that an contentless .dsc fails correctly

tests/test_parse_changes.py: Actually use the blank file test fixture

Was added in 47955ee9a5730c81b21ca9f31da4c176a82bcdc4 but never actually
used.

Signed-off-by: Chris Lamb <lamby@debian.org>

tests/test_parse_changes.py: Rewrite loose and difficult-to-use-correctly assertFails

Signed-off-by: Chris Lamb <lamby@debian.org>

tests/test_parse_changes.py: Actually set dsc_file=1 when testing .dsc

Signed-off-by: Chris Lamb <lamby@debian.org>

daklib/utils.py: mandantory -> mandatory spelling error

Signed-off-by: Chris Lamb <lamby@debian.org>

daliblib/dak_exceptions: Add trailing comma to avoid future VCS noise

Signed-off-by: Chris Lamb <lamby@debian.org>

tests/test_packagelist.py: make executable

dalkib/dbconn.py: Mention which version is installed in sqlalchemy check

dak/copy_installer.py: Include which directory doesn't exist in exception

Signed-off-by: Chris Lamb <lamby@debian.org>

Remove install_date from not_null_constraints

Signed-off-by: Mark Hymers <mhy@debian.org>

Set install_date properly for source table

Signed-off-by: Mark Hymers <mhy@debian.org>

Report only obsolete source packages older than one day

This should help with avoiding removal of source-only uploads where no
binary was built yet.