Add support for detached upstream signatures

Upstream tarballs usually come with detached signatures, which would be
useful to have in the source package, as an additional check that could
be performed to verify its integrity and provenance.

dpkg-source supports this since 1.17.20.

Closes: #759401

Fix proposed-updates handling in byhand-di and byhand-win32-loader

To: debian-dak@lists.debian.org
Cc: kibi@debian.org, Julien Cristau <jcristau@debian.org>
Date: Tue, 19 Jan 2016 11:40:01 +0100 (12 hours, 2 minutes, 47 seconds ago)
Resent-From: debian-dak@lists.debian.org

stable-proposed-updates is called "proposed-updates" in projectb, so
that's what we pass to the byhand script.  It shouldn't be turned into
"proposed-updates-proposed-updates".

Signed-off-by: Julien Cristau <jcristau@debian.org>

Reject arch:all binNMUs

While arch:all binNMUs might work for some packages, they still tend
to create problems due to versioned dependencies using

  arch-all-package (= ${source:Version})

as these will be broken by the binNMU.  To avoid these, we reject
arch:all binNMUs for now.

Run new SuiteCheck as a per-suite check

Debug suites might also miss the source package

If a binary-only upload including debug packages gets accepted from a
policy queue, the source might be missing from the debug suite.

Reported-by: Matthias Klumpp <mak@debian.org>

Do not consider MD5-based signatures valid

Do not accept direct uploads to new build queues

Add option to forbid source and/or binary uploads to a suite

This is intended to be used to forbid uploads to policy queues and build
queues which would result in confusing results.  While we already have a
"reject" option in the dak.conf's SuiteMappings, having the option in
the database means we don't have to edit dak.conf when configuring new
suites.

Another usecase will be the "unstable" suite for Debian Ports: here we
want to import the source packages (and arch:all) from the main archive
and only accept binary uploads.  Additional source packages must go into
the "unreleased-*" suites.  This was not possible via SuiteMappings.

Bug: https://bugs.debian.org/783115

Check for debug suite for upload suite, not override suite

Debug packages are exempt from NEW if the target suite has a seperate
debug suite.  However the code checked if the target's override suite
had a debug suite...  For the Debian archive this went unnoticed as
experimental's override suite is unstable and both suites have a
seperate debug suite.

Reported-by: Matthias Klumpp <mak@debian.org>

Link tracefiles into webview

Also create Date: line in archives tracefiles

Create archive serial

Link "master" to the tracefile, to have one name only

Merge remote-tracking branch 'dktrkranz/fixes'

Define correct RM version when binary name is different than source

Style foo

New function for tempfile generation

Especially proper adding to the TMPFILES variable to get rid of em
again.

Remove dead code

Make timestamping configurable and only let dinstall have it for now

Merge remote-tracking branch 'DktrKranz/fixes'

* DktrKranz/fixes:
  Removal dep check only considers latest sources (Closes: #792578)
  Allow closing bugs if more than one source version is available.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Removal dep check only considers latest sources (Closes: #792578)

Proper timestamps in the logs

Entirely make cronscript magic

There is no longer a defined list of arguments it can handle.
Instead the arguments are defined in the var file, whose location
defaults to the FTPMaster location - but can be overriden using an
environment variable.

To be able to have specific types of cronscripts run pre/post actions,
we now check for the existance of preconscript and postcronscript
functions, and if they exist, they are run as the first/last thing
before/after anything listed in the .task file

Allow closing bugs if more than one source version is available.

Only hardcode path to config if variable isn't set

That way we can just set the variable in the crontab file (or users
environment), and do not need to change cronscript (eg. when run on the
security archive)

Update crontab file to match reality

Move the reboot-lock handling into the cronscript and out of crontab

Those who take a lock shall give it back later

There can be only one

Ensure that only one copy of a given crontype can run.

s/true/false/

Move 3 update- scripts into dinstall.functions/tasks proper

Adjust ERR state for many functions

Somehow they got turned around and false, but for those we want
it true - and actually error out when they have trouble

Only have an underscore in stagefile if args is non-empty

Rotate REPORT files

Also allow '-' in suffix of .buildinfo files

This matches what we allow to be used for .changes files in
re_file_changes.

daklib/upload.py: Silently accept and discard .buildinfo files

Besides some very trivial validation of the filename, accept
.buildinfo files without really looking at them.

Signed-off-by: Niels Thykier <niels@thykier.net>

Merge remote-tracking branch 'nthykier/optimise-dominate'

dominate: Do not attempt delete rows during dry-run

Without the proper permissions, this will fail even if the transaction
would always be rolled back later.

dominate: Use a bulk DELETE

Signed-off-by: Niels Thykier <niels@thykier.net>

dominate: Do not open log files with -n

Signed-off-by: Niels Thykier <niels@thykier.net>

Archive queue/done in monthly cronjob

archive the directory from 2 months ago, leaving only the last
month accessible directly

Add yearly cronjob

Adjust common functions

Mostly logging
Also dont call process-{upload,commands} if there is no file waiting for them.

Handle yearly cronjobs

A bit more logging, and newoverview in hourly runs backgrounded

Merge remote-tracking branch 'lamby/link-homepage' into dmerge

* lamby/link-homepage:
  Make homepage URLs (nofollow) links.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Various

- reorder global variables
- use UTF-8 locale by default
- declare osme variables readonly
- a bit more comments
- remove dangling logfile symlinks at end of cronscript
- indentation fixups

And away with the old scripts

Loadsa changes to make new cronscript way work

- Move functions so they are seen,
- Emit logs not only when called by dinstall
- Use correct variables (TMPFILES, not TEMPFILES)
- Define used variables
- create a scriptname link to the logfiles with datebased names
   - in the logdir, not in the configdir
- move linkmorgue from daily to weekly
- remove nonexistant tasks
- make purgeempty and fixsymlinks work on all archives, not just main
- all weekly tasks run in parallel

Remember if a file is not on snapshot, don't try every run

Adjust crontab

Make homepage URLs (nofollow) links.

Signed-off-by: Chris Lamb <lamby@debian.org>

Adjust cronscripts to end up with just one

Sort extrafiles

Generate "extrafiles", (closes: #752134)

A clearsigned sha256sum of files not otherwise having a signed checksum
available.

Add another contributor source, listing the git repos as patch_contributors

Make contributor submissions work again

thanks to enrico for the workaround.

notify about errors, dont stop script

remove more unused code

dont hardcode testing/unstable names, use an extra var for dep11dir

remove unused code

(we arent doing an extra unchecked run out of dinstall anymore for
whoever knows how long)

ensure boolean values are true/false only

Comments, loads of comments

reformat, adjust, add, bla

Remove an indirection

Check the new tree, not the public one

Move ddaccess sync out of the locked area and background it

Its half an hour that it takes, and no reason we need to wait for it

Don't overwrite mirrordir variable

use the existing global one. Yes, this points to the
ftp-master.d.o/mirror dir. If an archives mirrordir really needs to be
elsewhere, symlink it.

autocruft doesnt care about args, so why bother

local is nice for variables in functions

Guard against non-existing tracefiles (eg. new archive)

ssh in a while loop really wants -n

Fixup columns. second is ARGS not TIME

A for loop likes a done at the end, who would have thought?

Get rid of lots of repetitions calling stage

Instead we now have a simple text list, 5 columns and a simple
while read loop transforming that to the right $thingtodo.

Adjust the mirror function to be generic

They now run for all public_archives.

Add option to not check arch:all rdeps

This is useful when removing packages on some architectures that have
many arch:all rdeps.  We know these will break, but listing them
obscures which arch-dep packages will be broken.

Of course we will still break the possibly arch-dep packages of the
arch:all packages that will no longer be installable...

And it seems like apache doesn't like abolute paths in <Files>

Also allow access to the lintian.tags file

Use an alias for lintian.tags

SymlinkIfOwnerMatch doesn't like lintian.tags.

Closes: #801589

PackageLists do not quite behave like a list of actual binaries

Debug packages should not go to NEW even for binary-only uploads

dinstall: also push debug mirrors

Also fallback to component from binary for non-NEW uploads

We want to allow debug packages without overrides.

debianqueued: keep .buildinfo files

Remove unused `session` variable

The code uses the session obtained from the `ArchiveTransaction`.

Run dak manage-debug-suites.

Add program to remove old packages from debug suites

We don't want to have to remove packages from *-debug by hand after we
removed them from the main archive.

Only mirror for ftp-master and backports

We might have to set this up for debian-{debug,data} later too, but at
least for testing purposes not having it is fine too.

Include all source packages in index

Previously we required that either an override is present or the
source is an "extra source" introduced via Built-Using.  However as we
now include all binary packages (see previous commit), we should also
include all source packages to treat both in a consistent way.

Use Priority/Section from package as a fallback

This change makes generage-packages-sources2 use the Section and
Priority values provided by the package in case no override is
present.

With this change, automatic override packages do not require manual
override handling.  It is also useful for testing purposes or possibly
users with other workflows than Debian's.

Also handle "debian-debug" archive.

debug packages now also have "Auto-Built-Package: debug-symbols"

Use log() not echo() to get timestamps

cron.hourly locks itself

Fix typos in the documentation

New files in Release file - adjust the check

Also generate pdiff files for source Contents

Fix pdiff Index file hardlink handling

Signed-off-by: Joerg Jaspert <joerg@debian.org>

generate SHA256 hashes for pdiff patches

Preparing for phasing out SHA1 means first and for most eliminating hard
dependencies on it, so lets include SHA256 hashes in .diff/Index as new
fields as this keeps backward compatibility.

Signed-off-by: David Kalnischkies <david@kalnischkies.de>

include hashsum for compressed patch file in .diff/Index

APT prefers to download files it has hashes for to check it actually got
the file it wanted instead of some man-in-the-middled file (by an attacker
or simply by a webportal returning a login mask for every request).
Giving it the hash of the compressed file saves APT from needing to
uncompress the patch before being able to verify its integrity.

Signed-off-by: David Kalnischkies <david@kalnischkies.de>
Signed-off-by: Joerg Jaspert <joerg@debian.org>