local is nice for variables in functions

Guard against non-existing tracefiles (eg. new archive)

ssh in a while loop really wants -n

Fixup columns. second is ARGS not TIME

A for loop likes a done at the end, who would have thought?

Get rid of lots of repetitions calling stage

Instead we now have a simple text list, 5 columns and a simple
while read loop transforming that to the right $thingtodo.

Adjust the mirror function to be generic

They now run for all public_archives.

Add option to not check arch:all rdeps

This is useful when removing packages on some architectures that have
many arch:all rdeps.  We know these will break, but listing them
obscures which arch-dep packages will be broken.

Of course we will still break the possibly arch-dep packages of the
arch:all packages that will no longer be installable...

And it seems like apache doesn't like abolute paths in <Files>

Also allow access to the lintian.tags file

Use an alias for lintian.tags

SymlinkIfOwnerMatch doesn't like lintian.tags.

Closes: #801589

PackageLists do not quite behave like a list of actual binaries

Debug packages should not go to NEW even for binary-only uploads

dinstall: also push debug mirrors

Also fallback to component from binary for non-NEW uploads

We want to allow debug packages without overrides.

debianqueued: keep .buildinfo files

Remove unused `session` variable

The code uses the session obtained from the `ArchiveTransaction`.

Run dak manage-debug-suites.

Add program to remove old packages from debug suites

We don't want to have to remove packages from *-debug by hand after we
removed them from the main archive.

Only mirror for ftp-master and backports

We might have to set this up for debian-{debug,data} later too, but at
least for testing purposes not having it is fine too.

Include all source packages in index

Previously we required that either an override is present or the
source is an "extra source" introduced via Built-Using.  However as we
now include all binary packages (see previous commit), we should also
include all source packages to treat both in a consistent way.

Use Priority/Section from package as a fallback

This change makes generage-packages-sources2 use the Section and
Priority values provided by the package in case no override is
present.

With this change, automatic override packages do not require manual
override handling.  It is also useful for testing purposes or possibly
users with other workflows than Debian's.

Also handle "debian-debug" archive.

debug packages now also have "Auto-Built-Package: debug-symbols"

Use log() not echo() to get timestamps

cron.hourly locks itself

Fix typos in the documentation

New files in Release file - adjust the check

Also generate pdiff files for source Contents

Fix pdiff Index file hardlink handling

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate SHA256 hashes for pdiff patches

Preparing for phasing out SHA1 means first and for most eliminating hard
dependencies on it, so lets include SHA256 hashes in .diff/Index as new
fields as this keeps backward compatibility.

Signed-off-by: David Kalnischkies <david@kalnischkies.de>

include hashsum for compressed patch file in .diff/Index

APT prefers to download files it has hashes for to check it actually got
the file it wanted instead of some man-in-the-middled file (by an attacker
or simply by a webportal returning a login mask for every request).
Giving it the hash of the compressed file saves APT from needing to
uncompress the patch before being able to verify its integrity.

Signed-off-by: David Kalnischkies <david@kalnischkies.de>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust the regexes used for DEP-11 files

dep11 people not knowing their own layout poooooooooor dep11

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix cd

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Target dir may not yet exist

Signed-off-by: Joerg Jaspert <joerg@debian.org>

A for loop like a done, not a fi, at the end

Merge remote-tracking branch 'ximion/dep11' into dmerge

* ximion/dep11:
  Include AppStream metadata from the generator server

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Include AppStream metadata from the generator server

This patch pulls AppStream/DEP-11 metadata from the server where it was
generated, then validates it for format issues and adds it to the
archive.

Pass suite name to the autobyhand scripts

To: debian-dak@lists.debian.org
Cc: Julien Cristau <jcristau@debian.org>
Date: Wed,  2 Dec 2015 08:01:37 +0100 (14 hours, 9 minutes, 8 seconds ago)
Resent-From: debian-dak@lists.debian.org

We have it readily available, and most scripts try to get it back from
the changes file anyway.

This makes things consistent for the scripts, so they won't get confused
by aliases (due to codenames or suite mappings) depending on whatever is
in the .changes file.

Signed-off-by: Julien Cristau <jcristau@debian.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add Changelogs field to Release file

Reference: https://lists.debian.org/debian-dak/2015/08/msg00012.html

SQLAlchemy version 1.0 might also be okay

Maybe this check should eventually be dropped?

debianqueued: No early notifications

debianqueued used to send early warnings about invalid uploads, but
relied on being able to (ab)use the setgid bit on the .changes file to
keep track for which uploads it has already complained. If it was
unable to set the setgid bit, it would send mails every run.

This change removes the early warnings. A mail will only be sent when
debianqueued gives up on the upload.

Use /srv instead of /org

security-master.d.o is moving to seger.d.o

Allow source-only uploads with 'sid' as distribution

We only allowed 'unstable' or 'experimental'.

Signed-off-by: Julien Cristau <jcristau@debian.org>
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

ftp-master.d.o: Redirect /testing/* to release.d.o

Currently /testing is a symlink, but this means the same content is
available under different addresses.

Adjust to deal with the new Debian supplementaryGid

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Switch from gid=800 to supplementaryGid=Debian

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix typo in the NEW email template

lintian.tags: remove binary-file-compressed-with-upx

This tag was removed from Lintian (2.5.33).

config-security: also refresh Release for buildd archive weekly

It looks like we actually had a week without uploads to the security
archive and the Release file expired.

[PATCH] Add option to make-maintainers to print data to stdout

Add option which makes make-maintainer print the maintainer data to
stdout instead of writing it to files.

[PATCH] Add option to make-maintainers to only output source packages

This is used in Tanglu to feed it's BTS

Merge remote-tracking branch 'lamby/misc-fixes-796786' into merge

* lamby/misc-fixes-796786:
  daklib/utils.py: mandantory -> mandatory spelling error
  daliblib/dak_exceptions: Add trailing comma to avoid future VCS noise
  tests/test_packagelist.py: make executable
  dalkib/dbconn.py: Mention which version is installed in sqlalchemy check
  dak/copy_installer.py: Include which directory doesn't exist in exception

Merge remote-tracking branch 'lamby/improve-parse-changes-tests-796787' into merge

* lamby/improve-parse-changes-tests-796787:
  tests/test_parse_changes.py: Move test to ParseDscTestCase as we call with dsc_file=1
  tests/test_parse_changes.py: Test that an contentless .dsc fails correctly
  tests/test_parse_changes.py: Actually use the blank file test fixture
  tests/test_parse_changes.py: Rewrite loose and difficult-to-use-correctly assertFails
  tests/test_parse_changes.py: Actually set dsc_file=1 when testing .dsc

Only copy existing byhand files.

Accept +kbsdXuY for kfreebsd.

Automate updating README files

It would be better if the README files were generated from a template
file, but this is better than nothing.

Update for 8.2

Merge remote-tracking branch 'lamby/update-debian-packaging'

Merge remote-tracking branches 'nthykier/fix-generate-releases' and 'nthykier/fix-auto-decrufter'

generate-releases: Use the right key when testing uncompnotseen

This issue caused dak to not generate hashes for uncompressed Contents
files for some architectures in some components.  A bit of context,
there were up to 4 Contents files per architecture:

 * Contents-ARCH
 * main/Contents-ARCH
 * contrib/Contents-ARCH
 * non-free/Contents-ARCH

Any */Contents-ARCH that appeared on the filesystem AFTER the legacy
"Contents-ARCH" would be ignored, because generate-releases used the
wrong key to check if the file was already in uncompnotseen.

Signed-off-by: Niels Thykier <niels@thykier.net>

generate-releases: Fix typo

Signed-off-by: Niels Thykier <niels@thykier.net>

auto-decruft: Register all members of groups when merging groups

When merging two groups of auto-decruftable packages, remember to
register all members of the combined group so dak can do a reverse
look up later.

Signed-off-by: Niels Thykier <niels@thykier.net>

"Update" Debian packaging

Whilst the packaging is obviously not for use, I'm finding it extremely
useful at least having the Build-Depends at a point where it will run the
tests.

It might be tempting to remove debian/ entirely, but Build-Depends is
just too useful for specifying, well, dependencies that tools such as
mk-build-deps can consume just like other packages.

Signed-off-by: Chris Lamb <lamby@debian.org>

Ups, architectures have more than just one character around here

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Clearly seperate the various steps of dinstall in the log

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Also ignore non-existant unpacked Content files when checking release files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'nthykier/checksumed-contents' into merge

* nthykier/checksumed-contents:
  generate_releases: Remove unneeded .keys() calls
  Always provide a checksum of uncompressed Contents files

generate_releases: Remove unneeded .keys() calls

Signed-off-by: Niels Thykier <niels@thykier.net>

Always provide a checksum of uncompressed Contents files

The new version of apt in experimental will insist on having the
checksum of the uncompressed Contents file, if it is to download the
Contents file.

Signed-off-by: Niels Thykier <niels@thykier.net>

tests/test_parse_changes.py: Move test to ParseDscTestCase as we call with dsc_file=1

Signed-off-by: Chris Lamb <lamby@debian.org>

tests/test_parse_changes.py: Test that an contentless .dsc fails correctly

tests/test_parse_changes.py: Actually use the blank file test fixture

Was added in 47955ee9a5730c81b21ca9f31da4c176a82bcdc4 but never actually
used.

Signed-off-by: Chris Lamb <lamby@debian.org>

tests/test_parse_changes.py: Rewrite loose and difficult-to-use-correctly assertFails

Signed-off-by: Chris Lamb <lamby@debian.org>

tests/test_parse_changes.py: Actually set dsc_file=1 when testing .dsc

Signed-off-by: Chris Lamb <lamby@debian.org>

daklib/utils.py: mandantory -> mandatory spelling error

Signed-off-by: Chris Lamb <lamby@debian.org>

daliblib/dak_exceptions: Add trailing comma to avoid future VCS noise

Signed-off-by: Chris Lamb <lamby@debian.org>

tests/test_packagelist.py: make executable

dalkib/dbconn.py: Mention which version is installed in sqlalchemy check

dak/copy_installer.py: Include which directory doesn't exist in exception

Signed-off-by: Chris Lamb <lamby@debian.org>

Remove install_date from not_null_constraints

Signed-off-by: Mark Hymers <mhy@debian.org>

Set install_date properly for source table

Signed-off-by: Mark Hymers <mhy@debian.org>

Report only obsolete source packages older than one day

This should help with avoiding removal of source-only uploads where no
binary was built yet.

Do not delete files starting with a dot.

28903fa31f90164d3ea784b31be0e9a19fc5fd8c tried to allow temporary
files used by rsync, however these started with a dot and were still
deleted.

queued: Add buildd-mips64el-keyring.gpg

Allow *.asc to be part of source packages

The patch in 9a1cfa782b2147f017debea6819d71707ff5ab7d is not enough to
start accepting *.asc.

Bug: https://bugs.debian.org/759401

Define regular expressions only once

Two regexes were defined twice.

Remove more unused regular expressions.

Allow *.asc to be uploaded

Source packages should be allowed to include an optional upstream
signature in a *.asc file.

Remove unused regular expression.

config-upload: allow optional suffix used temporarily by rsync

rsync appends a suffix while uploading and renames them later. We
don't want to remove in-progress uploads so we have to allow these.

sync-dd: exclude /archive

Merge branch 'debug'

Allow packages not ending in -dbgsym in the debug section

There should only be one place to check for a debug package

Choose suite to redirect upload to before installing source

Fix field name in error message.

Add debug binary diverting for archive install

For any debug packages, redirect binary packages to the binary debug
suite if set, otherwise install as normal.