Only have an underscore in stagefile if args is non-empty

Rotate REPORT files

Also allow '-' in suffix of .buildinfo files

This matches what we allow to be used for .changes files in
re_file_changes.

daklib/upload.py: Silently accept and discard .buildinfo files

Besides some very trivial validation of the filename, accept
.buildinfo files without really looking at them.

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/optimise-dominate'

dominate: Do not attempt delete rows during dry-run

Without the proper permissions, this will fail even if the transaction
would always be rolled back later.

dominate: Use a bulk DELETE

Signed-off-by: Niels Thykier <niels@thykier.net>

dominate: Do not open log files with -n

Signed-off-by: Niels Thykier <niels@thykier.net>

Archive queue/done in monthly cronjob

archive the directory from 2 months ago, leaving only the last
month accessible directly

Add yearly cronjob

Adjust common functions

Mostly logging
Also dont call process-{upload,commands} if there is no file waiting for them.

Handle yearly cronjobs

A bit more logging, and newoverview in hourly runs backgrounded

Merge remote-tracking branch 'lamby/link-homepage' into dmerge

* lamby/link-homepage:
  Make homepage URLs (nofollow) links.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Various

- reorder global variables
- use UTF-8 locale by default
- declare osme variables readonly
- a bit more comments
- remove dangling logfile symlinks at end of cronscript
- indentation fixups

And away with the old scripts

Loadsa changes to make new cronscript way work

- Move functions so they are seen,
- Emit logs not only when called by dinstall
- Use correct variables (TMPFILES, not TEMPFILES)
- Define used variables
- create a scriptname link to the logfiles with datebased names
   - in the logdir, not in the configdir
- move linkmorgue from daily to weekly
- remove nonexistant tasks
- make purgeempty and fixsymlinks work on all archives, not just main
- all weekly tasks run in parallel

Remember if a file is not on snapshot, don't try every run

Adjust crontab

Make homepage URLs (nofollow) links.

Signed-off-by: Chris Lamb <lamby@debian.org>

Adjust cronscripts to end up with just one

Sort extrafiles

Generate "extrafiles", (closes: #752134)

A clearsigned sha256sum of files not otherwise having a signed checksum
available.

Add another contributor source, listing the git repos as patch_contributors

Make contributor submissions work again

thanks to enrico for the workaround.

notify about errors, dont stop script

remove more unused code

dont hardcode testing/unstable names, use an extra var for dep11dir

remove unused code

(we arent doing an extra unchecked run out of dinstall anymore for
whoever knows how long)

ensure boolean values are true/false only

Comments, loads of comments

reformat, adjust, add, bla

Remove an indirection

Check the new tree, not the public one

Move ddaccess sync out of the locked area and background it

Its half an hour that it takes, and no reason we need to wait for it

Don't overwrite mirrordir variable

use the existing global one. Yes, this points to the
ftp-master.d.o/mirror dir. If an archives mirrordir really needs to be
elsewhere, symlink it.

autocruft doesnt care about args, so why bother

local is nice for variables in functions

Guard against non-existing tracefiles (eg. new archive)

ssh in a while loop really wants -n

Fixup columns. second is ARGS not TIME

A for loop likes a done at the end, who would have thought?

Get rid of lots of repetitions calling stage

Instead we now have a simple text list, 5 columns and a simple
while read loop transforming that to the right $thingtodo.

Adjust the mirror function to be generic

They now run for all public_archives.

Add option to not check arch:all rdeps

This is useful when removing packages on some architectures that have
many arch:all rdeps.  We know these will break, but listing them
obscures which arch-dep packages will be broken.

Of course we will still break the possibly arch-dep packages of the
arch:all packages that will no longer be installable...

And it seems like apache doesn't like abolute paths in <Files>

Also allow access to the lintian.tags file

Use an alias for lintian.tags

SymlinkIfOwnerMatch doesn't like lintian.tags.

Closes: #801589

PackageLists do not quite behave like a list of actual binaries

Debug packages should not go to NEW even for binary-only uploads

dinstall: also push debug mirrors

Also fallback to component from binary for non-NEW uploads

We want to allow debug packages without overrides.

debianqueued: keep .buildinfo files

Remove unused `session` variable

The code uses the session obtained from the `ArchiveTransaction`.

Run dak manage-debug-suites.

Add program to remove old packages from debug suites

We don't want to have to remove packages from *-debug by hand after we
removed them from the main archive.

Only mirror for ftp-master and backports

We might have to set this up for debian-{debug,data} later too, but at
least for testing purposes not having it is fine too.

Include all source packages in index

Previously we required that either an override is present or the
source is an "extra source" introduced via Built-Using.  However as we
now include all binary packages (see previous commit), we should also
include all source packages to treat both in a consistent way.

Use Priority/Section from package as a fallback

This change makes generage-packages-sources2 use the Section and
Priority values provided by the package in case no override is
present.

With this change, automatic override packages do not require manual
override handling.  It is also useful for testing purposes or possibly
users with other workflows than Debian's.

Also handle "debian-debug" archive.

debug packages now also have "Auto-Built-Package: debug-symbols"

Use log() not echo() to get timestamps

cron.hourly locks itself

Fix typos in the documentation

New files in Release file - adjust the check

Also generate pdiff files for source Contents

Fix pdiff Index file hardlink handling

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate SHA256 hashes for pdiff patches

Preparing for phasing out SHA1 means first and for most eliminating hard
dependencies on it, so lets include SHA256 hashes in .diff/Index as new
fields as this keeps backward compatibility.

Signed-off-by: David Kalnischkies <david@kalnischkies.de>

include hashsum for compressed patch file in .diff/Index

APT prefers to download files it has hashes for to check it actually got
the file it wanted instead of some man-in-the-middled file (by an attacker
or simply by a webportal returning a login mask for every request).
Giving it the hash of the compressed file saves APT from needing to
uncompress the patch before being able to verify its integrity.

Signed-off-by: David Kalnischkies <david@kalnischkies.de>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust the regexes used for DEP-11 files

dep11 people not knowing their own layout poooooooooor dep11

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix cd

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Target dir may not yet exist

Signed-off-by: Joerg Jaspert <joerg@debian.org>

A for loop like a done, not a fi, at the end

Merge remote-tracking branch 'ximion/dep11' into dmerge

* ximion/dep11:
  Include AppStream metadata from the generator server

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Include AppStream metadata from the generator server

This patch pulls AppStream/DEP-11 metadata from the server where it was
generated, then validates it for format issues and adds it to the
archive.

Pass suite name to the autobyhand scripts

To: debian-dak@lists.debian.org
Cc: Julien Cristau <jcristau@debian.org>
Date: Wed,  2 Dec 2015 08:01:37 +0100 (14 hours, 9 minutes, 8 seconds ago)
Resent-From: debian-dak@lists.debian.org

We have it readily available, and most scripts try to get it back from
the changes file anyway.

This makes things consistent for the scripts, so they won't get confused
by aliases (due to codenames or suite mappings) depending on whatever is
in the .changes file.

Signed-off-by: Julien Cristau <jcristau@debian.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add Changelogs field to Release file

Reference: https://lists.debian.org/debian-dak/2015/08/msg00012.html

SQLAlchemy version 1.0 might also be okay

Maybe this check should eventually be dropped?

debianqueued: No early notifications

debianqueued used to send early warnings about invalid uploads, but
relied on being able to (ab)use the setgid bit on the .changes file to
keep track for which uploads it has already complained. If it was
unable to set the setgid bit, it would send mails every run.

This change removes the early warnings. A mail will only be sent when
debianqueued gives up on the upload.

Use /srv instead of /org

security-master.d.o is moving to seger.d.o

Allow source-only uploads with 'sid' as distribution

We only allowed 'unstable' or 'experimental'.

Signed-off-by: Julien Cristau <jcristau@debian.org>
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

ftp-master.d.o: Redirect /testing/* to release.d.o

Currently /testing is a symlink, but this means the same content is
available under different addresses.

Adjust to deal with the new Debian supplementaryGid

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Switch from gid=800 to supplementaryGid=Debian

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix typo in the NEW email template

lintian.tags: remove binary-file-compressed-with-upx

This tag was removed from Lintian (2.5.33).

config-security: also refresh Release for buildd archive weekly

It looks like we actually had a week without uploads to the security
archive and the Release file expired.

[PATCH] Add option to make-maintainers to print data to stdout

Add option which makes make-maintainer print the maintainer data to
stdout instead of writing it to files.

[PATCH] Add option to make-maintainers to only output source packages

This is used in Tanglu to feed it's BTS

Merge remote-tracking branch 'lamby/misc-fixes-796786' into merge

* lamby/misc-fixes-796786:
  daklib/utils.py: mandantory -> mandatory spelling error
  daliblib/dak_exceptions: Add trailing comma to avoid future VCS noise
  tests/test_packagelist.py: make executable
  dalkib/dbconn.py: Mention which version is installed in sqlalchemy check
  dak/copy_installer.py: Include which directory doesn't exist in exception

Merge remote-tracking branch 'lamby/improve-parse-changes-tests-796787' into merge

* lamby/improve-parse-changes-tests-796787:
  tests/test_parse_changes.py: Move test to ParseDscTestCase as we call with dsc_file=1
  tests/test_parse_changes.py: Test that an contentless .dsc fails correctly
  tests/test_parse_changes.py: Actually use the blank file test fixture
  tests/test_parse_changes.py: Rewrite loose and difficult-to-use-correctly assertFails
  tests/test_parse_changes.py: Actually set dsc_file=1 when testing .dsc

Only copy existing byhand files.

Accept +kbsdXuY for kfreebsd.

Automate updating README files

It would be better if the README files were generated from a template
file, but this is better than nothing.

Update for 8.2

Merge remote-tracking branch 'lamby/update-debian-packaging'

Merge remote-tracking branches 'nthykier/fix-generate-releases' and 'nthykier/fix-auto-decrufter'

generate-releases: Use the right key when testing uncompnotseen

This issue caused dak to not generate hashes for uncompressed Contents
files for some architectures in some components.  A bit of context,
there were up to 4 Contents files per architecture:

 * Contents-ARCH
 * main/Contents-ARCH
 * contrib/Contents-ARCH
 * non-free/Contents-ARCH

Any */Contents-ARCH that appeared on the filesystem AFTER the legacy
"Contents-ARCH" would be ignored, because generate-releases used the
wrong key to check if the file was already in uncompnotseen.

Signed-off-by: Niels Thykier <niels@thykier.net>

generate-releases: Fix typo

Signed-off-by: Niels Thykier <niels@thykier.net>