per-queue NEW comments and permissions

dak/queue_report.py: don't die if dak.conf does not know about LDAP

link_morgue.sh: adapt to work also on security-master

Merge branch 'new-dm'

daklib/command.py: Add another experimental action.

dak/process_commands.py: typo

Keep track who adds entries to DM upload table (and when).

debianqueued: log which .dak-commands file we are processing

daklib/archive.py: Fix typo in message about suite mappings.

Rename process-commands.py to process_commands.py.

Merge branch 'new-dm'

Configure new DM implementation for Debian.

dak/acl.py: add export-per-source subcommand

Add process-commands program and activate new DM implementation.

For now packages that use DMUA in the source package are still accepted.

debianqueued: add support for *.dak-commands

Mail notification is not implemented (yet) as this would require another
implementation to extract the uploader address from the signed part of
the file or factoring this out of the existing code.

dak/process_upload.py: show if we accept/reject packages also on stdout

Add support for warnings.

Merge branch 'small-fixes'

daklib/checks.py: only use source.filename if source is not None

Merge branch 'small-fixes'

daklib/upload.py (Source): check hashes for .dsc before using it

This makes sure we have the correct file when accessing the source
property of a Changes object.

Don't include stacktrace for hash mismatches.

Improve error message for uploads that miss files.

daklib/archive.py: change permissions for copied .changes and byhand files

Merge branch 'fix/debinfo'

daklib/archive.py: restore architecture field in .debinfo files

The field was omitted in the new implementation introduced in 49c85ab8.

Reported-by: Don Armstrong <don@debian.org>

Merge branch 'fix-clean-suites'

dak/clean_queues.py: restore line setting incoming variable

Merge branch 'fix-clean-suites'

config/debian/dinstall.functions: reactivate clean-suites

dak/clean_queues.py: use Dir::Unchecked instead of looking for unchecked queue

Merge branch 'pu/backports-merge'

add mail_whitelist column to suite table

Merge branch 'master' into pu/backports-merge

config/debian: Add settings for backports.

daklib/config.py: allow additional configuration files for specific groups

daklib/utils.py: use daklib.config

dak/admin.py: add subcommand to print configuration value

Add per-suite mail whitelists.

cleanup ssh config, remove unused keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

add ftpmaster ssh config/authorized_keys

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'algernon/f/external_files' into merge

* algernon/f/external_files:
  checks: Fix a syntax error in ExternalHashCheck

Signed-off-by: Joerg Jaspert <joerg@debian.org>

checks: Fix a syntax error in ExternalHashCheck

There was one extra closing parens in a call to raise
RejectStupidMaintainerException (oops, stupid me), lets remove it.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Merge remote-tracking branch 'algernon/f/external_files' into merge

* algernon/f/external_files:
  update87: Insert a default use_extfiles value to the config table too
  debian/cron.hourly: Dump & push the external_files table to security
  Introduce the external_files table

Signed-off-by: Joerg Jaspert <joerg@debian.org>

update87: Insert a default use_extfiles value to the config table too

Signed-off-by: Gergely Nagy <algernon@debian.org>

Merge remote-tracking branch 'algernon/h/check/hashcheck' into merge

* algernon/h/check/hashcheck:
  checks: Set the source in HashesCheck correctly

Signed-off-by: Joerg Jaspert <joerg@debian.org>

debian/cron.hourly: Dump & push the external_files table to security

To make the external_files table useful, it needs to be populated. But
it only needs to have that on security, so lets export 7 push the
table there from cron.hourly. (Commented out for now, pending info)

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Introduce the external_files table

The external_files table is to be used by - for example -
security.d.o: we should export the files table to debian-security
under the disguised name of external_files.

We also introduce the use_extfiles setting, and a new check:
check.ExternalHashesCheck, which will compare the uploaded files
hashes to the external_files table, if that holds an entry for them.

It will only do that though, if the use_extfiles setting is on.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

checks: Set the source in HashesCheck correctly

Instead of setting the source within a for loop, set it outside, so it
does what it is supposed to do, instead of accidentally working
because self has a source field set too.

Signed-off-by: Gergely Nagy <algernon@madhouse-project.org>

Merge remote-tracking branch 'ansgar/fix-acl' into merge

* ansgar/fix-acl:
  dak/admin.py: make 'keyring list-(binary|source)' work with new ACLs

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dak/admin.py: make 'keyring list-(binary|source)' work with new ACLs

Revert "we dont like -p, use shutil.copy instead of .copy2"

This reverts commit 27392942032f853b74e097a7016d958ed93eac9c.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

dont create hardlinks by default

Signed-off-by: Joerg Jaspert <joerg@debian.org>

we dont like -p, use shutil.copy instead of .copy2

Signed-off-by: Joerg Jaspert <joerg@debian.org>

and do it for the tempdir function too

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/fix-unpriv' into merge

* ansgar/fix-unpriv:
  daklib/utils.py: lookup gid for group.
  daklib/checks.py: typo: unpribgroup → unprivgroup

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/utils.py: lookup gid for group.

daklib/checks.py: typo: unpribgroup → unprivgroup

dont know python? come, join the ftpteam and write code. works for me.

Signed-off-by: Joerg Jaspert <joerg@debian.org>

sod off, None. also, group= is helpful there

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge branch 'dak-unpriv' into merge

* dak-unpriv:
  update function docu
  make use of dak-unpriv

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'ansgar/pu/backports-merge' into merge

* ansgar/pu/backports-merge:
  daklib/checks.py: add note to send warning for DMUA later
  daklib/checks.py: restore comment about hijack check
  daklib/checks.py: include all not allowed binary architectures in error.
  Add suite ACLs and per-suite NEW.
  daklib/upload.py (Changes): add source_name property
  daklib/archive.py: set final_suites earlier.
  daklib/checks.py: use final_suites for DM check
  daklib/archive.py: look for target suites earlier
  add per-suite close_bugs option
  Add per-suite database permissions.
  setup/dak-minimal.conf.template: add missing Dir::Base

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/checks.py: add note to send warning for DMUA later

daklib/checks.py: restore comment about hijack check

daklib/checks.py: include all not allowed binary architectures in error.

Add suite ACLs and per-suite NEW.

update function docu

Signed-off-by: Joerg Jaspert <joerg@debian.org>

make use of dak-unpriv

allow our tempfile/tempdir generating function to chmod/chgrp the created
files/directories
use that to have the processed uploads and the lintian tagfile readable by
the dak-unpriv user/group
run lintian sudo-ed to dak-unpriv

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/upload.py (Changes): add source_name property

daklib/archive.py: set final_suites earlier.

daklib/checks.py: use final_suites for DM check

This way suite mappings will also be evaluated for the DM checks.

Bug: http://bugs.debian.org/685807

daklib/archive.py: look for target suites earlier

add per-suite close_bugs option

Add per-suite database permissions.

Merge remote-tracking branch 'drkranz/graph' into merge

* drkranz/graph:
  Fix (old)stable-new graph generation

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix (old)stable-new graph generation

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/quotes' into merge

* drkranz/quotes:
  dak rul3z

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/lintian' into merge

* drkranz/lintian:
  Add obsolete_lintian_tags.pl tool to recognize obsolete tags
  Remove obsolete lintian tags

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Add obsolete_lintian_tags.pl tool to recognize obsolete tags

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Remove obsolete lintian tags

Remove some obsolete lintian tags:
  - debian-control-with-duplicate-fields
  - no-source-field
  - old-style-copyright-file

These were removed from lintian a couple of releases
ago, this broke lintian autorejects.

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

setup/dak-minimal.conf.template: add missing Dir::Base

dak rul3z

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/uid' into merge

* drkranz/uid:
  Improve performances of get_logins_from_ldap

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Improve performances of get_logins_from_ldap

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/uid' into merge

* drkranz/uid:
  queue-report: fix display of sponsor email
  Implement get_login_from_ldap function

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/quotes' into merge

* drkranz/quotes:
  IT Crowd

Signed-off-by: Joerg Jaspert <joerg@debian.org>

queue-report: fix display of sponsor email

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Implement get_login_from_ldap function

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

IT Crowd

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'ansgar/pu/multiarchive-1' into merge

* ansgar/pu/multiarchive-1:
  daklib/archive.py: fix automatic byhand processing
  move split_uploaders function to daklib.textutils
  daklib/archive.py: use first component for NEW packages if we don't have a better guess

Signed-off-by: Joerg Jaspert <joerg@debian.org>

daklib/archive.py: fix automatic byhand processing

move split_uploaders function to daklib.textutils

This allows the test suite to test split_uploaders again.

daklib/archive.py: use first component for NEW packages if we don't have a better guess

Merge remote-tracking branch 'drkranz/updatedb' into merge

* drkranz/updatedb:
  Fix permissions of policy_queue_upload_id_seq

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix permissions of policy_queue_upload_id_seq

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/deferred' into merge

* drkranz/deferred:
  Show fingerprint for deferred uploads (Closes: #684642)

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Merge remote-tracking branch 'drkranz/updatedb' into merge

* drkranz/updatedb:
  Fix permissions of policy_queue_byhand_file_id_seq

Signed-off-by: Joerg Jaspert <joerg@debian.org>

Fix permissions of policy_queue_byhand_file_id_seq

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Show fingerprint for deferred uploads (Closes: #684642)

Signed-off-by: Luca Falavigna <dktrkranz@debian.org>

Merge remote-tracking branch 'drkranz/fixes' into merge

* drkranz/fixes:
  Fix sorting of NEW packages to match new parameter names
  Fix note display in Prod and Manual reject mode
  Fix typos in rm template, thanks Noel David Torres Taño

Signed-off-by: Joerg Jaspert <joerg@debian.org>