Make timestamping configurable and only let dinstall have it for now

Merge remote-tracking branch 'DktrKranz/fixes'

* DktrKranz/fixes:
  Removal dep check only considers latest sources (Closes: #792578)
  Allow closing bugs if more than one source version is available.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Removal dep check only considers latest sources (Closes: #792578)

Proper timestamps in the logs

Entirely make cronscript magic

There is no longer a defined list of arguments it can handle.
Instead the arguments are defined in the var file, whose location
defaults to the FTPMaster location - but can be overriden using an
environment variable.

To be able to have specific types of cronscripts run pre/post actions,
we now check for the existance of preconscript and postcronscript
functions, and if they exist, they are run as the first/last thing
before/after anything listed in the .task file

Allow closing bugs if more than one source version is available.

Only hardcode path to config if variable isn't set

That way we can just set the variable in the crontab file (or users
environment), and do not need to change cronscript (eg. when run on the
security archive)

Update crontab file to match reality

Move the reboot-lock handling into the cronscript and out of crontab

Those who take a lock shall give it back later

There can be only one

Ensure that only one copy of a given crontype can run.

s/true/false/

Move 3 update- scripts into dinstall.functions/tasks proper

Adjust ERR state for many functions

Somehow they got turned around and false, but for those we want
it true - and actually error out when they have trouble

Only have an underscore in stagefile if args is non-empty

Rotate REPORT files

Also allow '-' in suffix of .buildinfo files

This matches what we allow to be used for .changes files in
re_file_changes.

daklib/upload.py: Silently accept and discard .buildinfo files

Besides some very trivial validation of the filename, accept
.buildinfo files without really looking at them.

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/optimise-dominate'

dominate: Do not attempt delete rows during dry-run

Without the proper permissions, this will fail even if the transaction
would always be rolled back later.

dominate: Use a bulk DELETE

Signed-off-by: Niels Thykier <niels@thykier.net>

dominate: Do not open log files with -n

Signed-off-by: Niels Thykier <niels@thykier.net>

Archive queue/done in monthly cronjob

archive the directory from 2 months ago, leaving only the last
month accessible directly

Add yearly cronjob

Adjust common functions

Mostly logging
Also dont call process-{upload,commands} if there is no file waiting for them.

Handle yearly cronjobs

A bit more logging, and newoverview in hourly runs backgrounded

Merge remote-tracking branch 'lamby/link-homepage' into dmerge

* lamby/link-homepage:
  Make homepage URLs (nofollow) links.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Various

- reorder global variables
- use UTF-8 locale by default
- declare osme variables readonly
- a bit more comments
- remove dangling logfile symlinks at end of cronscript
- indentation fixups

And away with the old scripts

Loadsa changes to make new cronscript way work

- Move functions so they are seen,
- Emit logs not only when called by dinstall
- Use correct variables (TMPFILES, not TEMPFILES)
- Define used variables
- create a scriptname link to the logfiles with datebased names
   - in the logdir, not in the configdir
- move linkmorgue from daily to weekly
- remove nonexistant tasks
- make purgeempty and fixsymlinks work on all archives, not just main
- all weekly tasks run in parallel

Remember if a file is not on snapshot, don't try every run

Adjust crontab

Make homepage URLs (nofollow) links.

Signed-off-by: Chris Lamb <lamby@debian.org>

Adjust cronscripts to end up with just one

Sort extrafiles

Generate "extrafiles", (closes: #752134)

A clearsigned sha256sum of files not otherwise having a signed checksum
available.

Add another contributor source, listing the git repos as patch_contributors

Make contributor submissions work again

thanks to enrico for the workaround.

notify about errors, dont stop script

remove more unused code

dont hardcode testing/unstable names, use an extra var for dep11dir

remove unused code

(we arent doing an extra unchecked run out of dinstall anymore for
whoever knows how long)

ensure boolean values are true/false only

Comments, loads of comments

reformat, adjust, add, bla

Remove an indirection

Check the new tree, not the public one

Move ddaccess sync out of the locked area and background it

Its half an hour that it takes, and no reason we need to wait for it

Don't overwrite mirrordir variable

use the existing global one. Yes, this points to the
ftp-master.d.o/mirror dir. If an archives mirrordir really needs to be
elsewhere, symlink it.

autocruft doesnt care about args, so why bother

local is nice for variables in functions

Guard against non-existing tracefiles (eg. new archive)

ssh in a while loop really wants -n

Fixup columns. second is ARGS not TIME

A for loop likes a done at the end, who would have thought?

Get rid of lots of repetitions calling stage

Instead we now have a simple text list, 5 columns and a simple
while read loop transforming that to the right $thingtodo.

Adjust the mirror function to be generic

They now run for all public_archives.

Add option to not check arch:all rdeps

This is useful when removing packages on some architectures that have
many arch:all rdeps.  We know these will break, but listing them
obscures which arch-dep packages will be broken.

Of course we will still break the possibly arch-dep packages of the
arch:all packages that will no longer be installable...

And it seems like apache doesn't like abolute paths in <Files>

Also allow access to the lintian.tags file

Use an alias for lintian.tags

SymlinkIfOwnerMatch doesn't like lintian.tags.

Closes: #801589

PackageLists do not quite behave like a list of actual binaries

Debug packages should not go to NEW even for binary-only uploads

dinstall: also push debug mirrors

Also fallback to component from binary for non-NEW uploads

We want to allow debug packages without overrides.

debianqueued: keep .buildinfo files

Remove unused `session` variable

The code uses the session obtained from the `ArchiveTransaction`.

Run dak manage-debug-suites.

Add program to remove old packages from debug suites

We don't want to have to remove packages from *-debug by hand after we
removed them from the main archive.

Only mirror for ftp-master and backports

We might have to set this up for debian-{debug,data} later too, but at
least for testing purposes not having it is fine too.

Include all source packages in index

Previously we required that either an override is present or the
source is an "extra source" introduced via Built-Using.  However as we
now include all binary packages (see previous commit), we should also
include all source packages to treat both in a consistent way.

Use Priority/Section from package as a fallback

This change makes generage-packages-sources2 use the Section and
Priority values provided by the package in case no override is
present.

With this change, automatic override packages do not require manual
override handling.  It is also useful for testing purposes or possibly
users with other workflows than Debian's.

Also handle "debian-debug" archive.

debug packages now also have "Auto-Built-Package: debug-symbols"

Use log() not echo() to get timestamps

cron.hourly locks itself

Fix typos in the documentation

New files in Release file - adjust the check

Also generate pdiff files for source Contents

Fix pdiff Index file hardlink handling

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate SHA256 hashes for pdiff patches

Preparing for phasing out SHA1 means first and for most eliminating hard
dependencies on it, so lets include SHA256 hashes in .diff/Index as new
fields as this keeps backward compatibility.

Signed-off-by: David Kalnischkies <david@kalnischkies.de>

include hashsum for compressed patch file in .diff/Index

APT prefers to download files it has hashes for to check it actually got
the file it wanted instead of some man-in-the-middled file (by an attacker
or simply by a webportal returning a login mask for every request).
Giving it the hash of the compressed file saves APT from needing to
uncompress the patch before being able to verify its integrity.

Signed-off-by: David Kalnischkies <david@kalnischkies.de>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Adjust the regexes used for DEP-11 files

dep11 people not knowing their own layout poooooooooor dep11

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix cd

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Target dir may not yet exist

Signed-off-by: Joerg Jaspert <joerg@debian.org>

A for loop like a done, not a fi, at the end

Merge remote-tracking branch 'ximion/dep11' into dmerge

* ximion/dep11:
  Include AppStream metadata from the generator server

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Include AppStream metadata from the generator server

This patch pulls AppStream/DEP-11 metadata from the server where it was
generated, then validates it for format issues and adds it to the
archive.

Pass suite name to the autobyhand scripts

To: debian-dak@lists.debian.org
Cc: Julien Cristau <jcristau@debian.org>
Date: Wed,  2 Dec 2015 08:01:37 +0100 (14 hours, 9 minutes, 8 seconds ago)
Resent-From: debian-dak@lists.debian.org

We have it readily available, and most scripts try to get it back from
the changes file anyway.

This makes things consistent for the scripts, so they won't get confused
by aliases (due to codenames or suite mappings) depending on whatever is
in the .changes file.

Signed-off-by: Julien Cristau <jcristau@debian.org>
Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add Changelogs field to Release file

Reference: https://lists.debian.org/debian-dak/2015/08/msg00012.html

SQLAlchemy version 1.0 might also be okay

Maybe this check should eventually be dropped?

debianqueued: No early notifications

debianqueued used to send early warnings about invalid uploads, but
relied on being able to (ab)use the setgid bit on the .changes file to
keep track for which uploads it has already complained. If it was
unable to set the setgid bit, it would send mails every run.

This change removes the early warnings. A mail will only be sent when
debianqueued gives up on the upload.

Use /srv instead of /org

security-master.d.o is moving to seger.d.o

Allow source-only uploads with 'sid' as distribution

We only allowed 'unstable' or 'experimental'.

Signed-off-by: Julien Cristau <jcristau@debian.org>
Signed-off-by: Ansgar Burchardt <ansgar@debian.org>

ftp-master.d.o: Redirect /testing/* to release.d.o

Currently /testing is a symlink, but this means the same content is
available under different addresses.

Adjust to deal with the new Debian supplementaryGid

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Switch from gid=800 to supplementaryGid=Debian

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix typo in the NEW email template