setup/README: update for recent changes

Merge remote-tracking branch 'dktrkranz/fixes'

Strip contrib/non-free from source names

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

daklib/lists: output one less / for the pool/

or otherwise apt-ftparchive is writing non-useful stuff into the
generated files

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: allow source to be in enhanced suite

This allows binNMUs for which the source is in stable to be accepted
into proposed-updates.

A better fix would be to handle this in _install_to_suite which already
does the right thing when source_suites is None.

daklib/archive.py: fix autobyhand for binNMUs

daklib/policy.py: don't list missing overrides for each arch

If an upload include binary packages for multiple architectures, dak
should only display (and add) the missing overrides once.

Merge branch 'new-dm'

dak/acl.py: include fingerprint of person who granted upload permission

Bug: http://bugs.debian.org/688490

Merge branch 'fix-acl'

daklib/checks.py: include acl name in reason for rejection

remove per-fingerprint ACLs that are identical to keyring ACL

With the changes in 707a89a3b86961755a99cb9e1a0a5f23690f9529 dak uses
the keyring acl if there is no acl for the fingerprint. Also
import_keyring.py stopped updating the fingerprint acl. This caused
problems for old fingerprints (with an acl set) that move between
keyrings as they would continue to use the old acl.

This update sets the acl to NULL for fingerprints using the keyring acl
to avoid these issues.

daklib/command.py: give a real error message for unknown fingerprints

dak/import_keyring.py: fix SQL syntax error

This was broken by 707a89a3b86961755a99cb9e1a0a5f23690f9529.

Merge branch 'new-dm'

daklib/command.py: quote section we are processing in reply

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  show-new: remove False statement to reduce processing time

Signed-off-by: Joerg Jaspert <joerg@debian.org>

show-new: remove False statement to reduce processing time

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge branch 'backports-merge'

Merge branch 'new-dm'

per-queue NEW comments and permissions

dak/queue_report.py: don't die if dak.conf does not know about LDAP

daklib/command.py: strip whitespace from fingerprint

This allows copying the fingerprint from the gpg output without any
editing.

daklib/command.py: process all sections and not only the first one

dak/process_commands.py: remove all processed files to done

We want all files that were processed to be moved to done. It would be
confusing to have files in reject when we did evaluate some of the
commands from there and only encountered an error later.

Files that do not pass the GPG check are still moved to the reject
directory.

link_morgue.sh: adapt to work also on security-master

dak/acl.py: update documentation

daklib/command.py: error out when trying to grant permission for non-existing packages

Merge branch 'new-dm'

daklib/command.py: Add another experimental action.

dak/process_commands.py: typo

Keep track who adds entries to DM upload table (and when).

debianqueued: log which .dak-commands file we are processing

daklib/archive.py: Fix typo in message about suite mappings.

Rename process-commands.py to process_commands.py.

Merge branch 'new-dm'

Configure new DM implementation for Debian.

dak/acl.py: add export-per-source subcommand

Add process-commands program and activate new DM implementation.

For now packages that use DMUA in the source package are still accepted.

debianqueued: add support for *.dak-commands

Mail notification is not implemented (yet) as this would require another
implementation to extract the uploader address from the signed part of
the file or factoring this out of the existing code.

dak/process_upload.py: show if we accept/reject packages also on stdout

Add support for warnings.

Merge branch 'small-fixes'

daklib/checks.py: only use source.filename if source is not None

Merge branch 'small-fixes'

daklib/upload.py (Source): check hashes for .dsc before using it

This makes sure we have the correct file when accessing the source
property of a Changes object.

Don't include stacktrace for hash mismatches.

Improve error message for uploads that miss files.

daklib/archive.py: change permissions for copied .changes and byhand files

Merge branch 'fix/debinfo'

daklib/archive.py: restore architecture field in .debinfo files

The field was omitted in the new implementation introduced in 49c85ab8.

Reported-by: Don Armstrong <don@debian.org>

Merge branch 'fix-clean-suites'

dak/clean_queues.py: restore line setting incoming variable

Merge branch 'fix-clean-suites'

config/debian/dinstall.functions: reactivate clean-suites

dak/clean_queues.py: use Dir::Unchecked instead of looking for unchecked queue

Merge branch 'pu/backports-merge'

add mail_whitelist column to suite table

Merge branch 'master' into pu/backports-merge

config/debian: Add settings for backports.

daklib/config.py: allow additional configuration files for specific groups

daklib/utils.py: use daklib.config

dak/admin.py: add subcommand to print configuration value

Add per-suite mail whitelists.

cleanup ssh config, remove unused keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add ftpmaster ssh config/authorized_keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'algernon/f/external_files' into merge

* algernon/f/external_files:
  checks: Fix a syntax error in ExternalHashCheck

Signed-off-by: Joerg Jaspert <joerg@debian.org>

checks: Fix a syntax error in ExternalHashCheck

There was one extra closing parens in a call to raise
RejectStupidMaintainerException (oops, stupid me), lets remove it.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Merge remote-tracking branch 'algernon/f/external_files' into merge

* algernon/f/external_files:
  update87: Insert a default use_extfiles value to the config table too
  debian/cron.hourly: Dump & push the external_files table to security
  Introduce the external_files table

Signed-off-by: Joerg Jaspert <joerg@debian.org>

update87: Insert a default use_extfiles value to the config table too

Signed-off-by: Gergely Nagy <algernon@debian.org>

Merge remote-tracking branch 'algernon/h/check/hashcheck' into merge

* algernon/h/check/hashcheck:
  checks: Set the source in HashesCheck correctly

Signed-off-by: Joerg Jaspert <joerg@debian.org>

debian/cron.hourly: Dump & push the external_files table to security

To make the external_files table useful, it needs to be populated. But
it only needs to have that on security, so lets export 7 push the
table there from cron.hourly. (Commented out for now, pending info)

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Introduce the external_files table

The external_files table is to be used by - for example -
security.d.o: we should export the files table to debian-security
under the disguised name of external_files.

We also introduce the use_extfiles setting, and a new check:
check.ExternalHashesCheck, which will compare the uploaded files
hashes to the external_files table, if that holds an entry for them.

It will only do that though, if the use_extfiles setting is on.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

checks: Set the source in HashesCheck correctly

Instead of setting the source within a for loop, set it outside, so it
does what it is supposed to do, instead of accidentally working
because self has a source field set too.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Merge remote-tracking branch 'ansgar/fix-acl' into merge

* ansgar/fix-acl:
  dak/admin.py: make 'keyring list-(binary|source)' work with new ACLs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/admin.py: make 'keyring list-(binary|source)' work with new ACLs

Revert "we dont like -p, use shutil.copy instead of .copy2"

This reverts commit 27392942032f853b74e097a7016d958ed93eac9c.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dont create hardlinks by default

Signed-off-by: Joerg Jaspert <joerg@debian.org>

we dont like -p, use shutil.copy instead of .copy2

Signed-off-by: Joerg Jaspert <joerg@debian.org>

and do it for the tempdir function too

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/fix-unpriv' into merge

* ansgar/fix-unpriv:
  daklib/utils.py: lookup gid for group.
  daklib/checks.py: typo: unpribgroup → unprivgroup

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/utils.py: lookup gid for group.

daklib/checks.py: typo: unpribgroup → unprivgroup

dont know python? come, join the ftpteam and write code. works for me.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

sod off, None. also, group= is helpful there

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'dak-unpriv' into merge

* dak-unpriv:
  update function docu
  make use of dak-unpriv

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/backports-merge' into merge

* ansgar/pu/backports-merge:
  daklib/checks.py: add note to send warning for DMUA later
  daklib/checks.py: restore comment about hijack check
  daklib/checks.py: include all not allowed binary architectures in error.
  Add suite ACLs and per-suite NEW.
  daklib/upload.py (Changes): add source_name property
  daklib/archive.py: set final_suites earlier.
  daklib/checks.py: use final_suites for DM check
  daklib/archive.py: look for target suites earlier
  add per-suite close_bugs option
  Add per-suite database permissions.
  setup/dak-minimal.conf.template: add missing Dir::Base

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/checks.py: add note to send warning for DMUA later

daklib/checks.py: restore comment about hijack check

daklib/checks.py: include all not allowed binary architectures in error.

Add suite ACLs and per-suite NEW.

update function docu

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make use of dak-unpriv

allow our tempfile/tempdir generating function to chmod/chgrp the created
files/directories
use that to have the processed uploads and the lintian tagfile readable by
the dak-unpriv user/group
run lintian sudo-ed to dak-unpriv

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/upload.py (Changes): add source_name property

daklib/archive.py: set final_suites earlier.

daklib/checks.py: use final_suites for DM check

This way suite mappings will also be evaluated for the DM checks.

Bug: http://bugs.debian.org/685807

daklib/archive.py: look for target suites earlier

add per-suite close_bugs option

Add per-suite database permissions.

Merge remote-tracking branch 'drkranz/graph' into merge

* drkranz/graph:
  Fix (old)stable-new graph generation

Signed-off-by: Joerg Jaspert <joerg@debian.org>