dak/process_upload.py

   1 #!/usr/bin/env python
   2
   3 """
   4 Checks Debian packages from Incoming
   5 @contact: Debian FTP Master <ftpmaster@debian.org>
   6 @copyright: 2000, 2001, 2002, 2003, 2004, 2005, 2006  James Troup <james@nocrew.org>
   7 @copyright: 2009  Joerg Jaspert <joerg@debian.org>
   8 @copyright: 2009  Mark Hymers <mhy@debian.org>
   9 @copyright: 2009  Frank Lichtenheld <djpig@debian.org>
  10 @license: GNU General Public License version 2 or later
  11 """
  12
  13 # This program is free software; you can redistribute it and/or modify
  14 # it under the terms of the GNU General Public License as published by
  15 # the Free Software Foundation; either version 2 of the License, or
  16 # (at your option) any later version.
  17
  18 # This program is distributed in the hope that it will be useful,
  19 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  20 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  21 # GNU General Public License for more details.
  22
  23 # You should have received a copy of the GNU General Public License
  24 # along with this program; if not, write to the Free Software
  25 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  26
  27 # based on process-unchecked and process-accepted
  28
  29 ## pu|pa: locking (daily.lock)
  30 ## pu|pa: parse arguments -> list of changes files
  31 ## pa: initialize urgency log
  32 ## pu|pa: sort changes list
  33
  34 ## foreach changes:
  35 ###  pa: load dak file
  36 ##   pu: copy CHG to tempdir
  37 ##   pu: check CHG signature
  38 ##   pu: parse changes file
  39 ##   pu: checks:
  40 ##     pu: check distribution (mappings, rejects)
  41 ##     pu: copy FILES to tempdir
  42 ##     pu: check whether CHG already exists in CopyChanges
  43 ##     pu: check whether FILES already exist in one of the policy queues
  44 ##     for deb in FILES:
  45 ##       pu: extract control information
  46 ##       pu: various checks on control information
  47 ##       pu|pa: search for source (in CHG, projectb, policy queues)
  48 ##       pu|pa: check whether "Version" fulfills target suite requirements/suite propagation
  49 ##       pu|pa: check whether deb already exists in the pool
  50 ##     for src in FILES:
  51 ##       pu: various checks on filenames and CHG consistency
  52 ##       pu: if isdsc: check signature
  53 ##     for file in FILES:
  54 ##       pu: various checks
  55 ##       pu: NEW?
  56 ##       //pu: check whether file already exists in the pool
  57 ##       pu: store what "Component" the package is currently in
  58 ##     pu: check whether we found everything we were looking for in CHG
  59 ##     pu: check the DSC:
  60 ##       pu: check whether we need and have ONE DSC
  61 ##       pu: parse the DSC
  62 ##       pu: various checks //maybe drop some of the in favor of lintian
  63 ##       pu|pa: check whether "Version" fulfills target suite requirements/suite propagation
  64 ##       pu: check whether DSC_FILES is consistent with "Format"
  65 ##       for src in DSC_FILES:
  66 ##         pu|pa: check whether file already exists in the pool (with special handling for .orig.tar.gz)
  67 ##     pu: create new tempdir
  68 ##     pu: create symlink mirror of source
  69 ##     pu: unpack source
  70 ##     pu: extract changelog information for BTS
  71 ##     //pu: create missing .orig symlink
  72 ##     pu: check with lintian
  73 ##     for file in FILES:
  74 ##       pu: check checksums and sizes
  75 ##     for file in DSC_FILES:
  76 ##       pu: check checksums and sizes
  77 ##     pu: CHG: check urgency
  78 ##     for deb in FILES:
  79 ##       pu: extract contents list and check for dubious timestamps
  80 ##     pu: check that the uploader is actually allowed to upload the package
  81 ###  pa: install:
  82 ###    if stable_install:
  83 ###      pa: remove from p-u
  84 ###      pa: add to stable
  85 ###      pa: move CHG to morgue
  86 ###      pa: append data to ChangeLog
  87 ###      pa: send mail
  88 ###      pa: remove .dak file
  89 ###    else:
  90 ###      pa: add dsc to db:
  91 ###        for file in DSC_FILES:
  92 ###          pa: add file to file
  93 ###          pa: add file to dsc_files
  94 ###        pa: create source entry
  95 ###        pa: update source associations
  96 ###        pa: update src_uploaders
  97 ###      for deb in FILES:
  98 ###        pa: add deb to db:
  99 ###          pa: add file to file
 100 ###          pa: find source entry
 101 ###          pa: create binaries entry
 102 ###          pa: update binary associations
 103 ###      pa: .orig component move
 104 ###      pa: move files to pool
 105 ###      pa: save CHG
 106 ###      pa: move CHG to done/
 107 ###      pa: change entry in queue_build
 108 ##   pu: use dispatch table to choose target queue:
 109 ##     if NEW:
 110 ##       pu: write .dak file
 111 ##       pu: move to NEW
 112 ##       pu: send mail
 113 ##     elsif AUTOBYHAND:
 114 ##       pu: run autobyhand script
 115 ##       pu: if stuff left, do byhand or accept
 116 ##     elsif targetqueue in (oldstable, stable, embargo, unembargo):
 117 ##       pu: write .dak file
 118 ##       pu: check overrides
 119 ##       pu: move to queue
 120 ##       pu: send mail
 121 ##     else:
 122 ##       pu: write .dak file
 123 ##       pu: move to ACCEPTED
 124 ##       pu: send mails
 125 ##       pu: create files for BTS
 126 ##       pu: create entry in queue_build
 127 ##       pu: check overrides
 128 import errno
 129 import fcntl
 130 import os
 131 import sys
 132 #from datetime import datetime
 133 import apt_pkg
 134
 135 from daklib import daklog
 136 #from daklib.queue import *
 137 from daklib import utils
 138 from daklib.dbconn import *
 139 #from daklib.dak_exceptions import *
 140 #from daklib.regexes import re_default_answer, re_issource, re_fdnic
 141 from daklib.urgencylog import UrgencyLog
 142 from daklib.summarystats import SummaryStats
 143 from daklib.config import Config
 144
 145 ###############################################################################
 146
 147 Options = None
 148 Logger = None
 149
 150 ###############################################################################
 151
 152 def usage (exit_code=0):
 153     print """Usage: dak process-upload [OPTION]... [CHANGES]...
 154   -a, --automatic           automatic run
 155   -h, --help                show this help and exit.
 156   -n, --no-action           don't do anything
 157   -p, --no-lock             don't check lockfile !! for cron.daily only !!
 158   -s, --no-mail             don't send any mail
 159   -V, --version             display the version number and exit"""
 160     sys.exit(exit_code)
 161
 162 ###############################################################################
 163
 164 def main():
 165     global Options, Logger
 166
 167     cnf = Config()
 168     summarystats = SummaryStats()
 169     log_urgency = False
 170
 171     DBConn()
 172
 173     Arguments = [('a',"automatic","Dinstall::Options::Automatic"),
 174                  ('h',"help","Dinstall::Options::Help"),
 175                  ('n',"no-action","Dinstall::Options::No-Action"),
 176                  ('p',"no-lock", "Dinstall::Options::No-Lock"),
 177                  ('s',"no-mail", "Dinstall::Options::No-Mail"),
 178                  ('d',"directory", "Dinstall::Options::Directory", "HasArg")]
 179
 180     for i in ["automatic", "help", "no-action", "no-lock", "no-mail",
 181               "version", "directory"]:
 182         if not cnf.has_key("Dinstall::Options::%s" % (i)):
 183             cnf["Dinstall::Options::%s" % (i)] = ""
 184
 185     changes_files = apt_pkg.ParseCommandLine(cnf.Cnf, Arguments, sys.argv)
 186     Options = cnf.SubTree("Dinstall::Options")
 187
 188     if Options["Help"]:
 189         usage()
 190
 191     # -n/--dry-run invalidates some other options which would involve things happening
 192     if Options["No-Action"]:
 193         Options["Automatic"] = ""
 194
 195     # Check that we aren't going to clash with the daily cron job
 196     if not Options["No-Action"] and os.path.exists("%s/daily.lock" % (cnf["Dir::Lock"])) and not Options["No-Lock"]:
 197         utils.fubar("Archive maintenance in progress.  Try again later.")
 198
 199     # Obtain lock if not in no-action mode and initialize the log
 200     if not Options["No-Action"]:
 201         lock_fd = os.open(cnf["Dinstall::LockFile"], os.O_RDWR | os.O_CREAT)
 202         try:
 203             fcntl.lockf(lock_fd, fcntl.LOCK_EX | fcntl.LOCK_NB)
 204         except IOError, e:
 205             if errno.errorcode[e.errno] == 'EACCES' or errno.errorcode[e.errno] == 'EAGAIN':
 206                 utils.fubar("Couldn't obtain lock; assuming another 'dak process-upload' is already running.")
 207             else:
 208                 raise
 209         if cnf.get("Dir::UrgencyLog"):
 210             # Initialise UrgencyLog()
 211             log_urgency = True
 212             UrgencyLog()
 213
 214     Logger = daklog.Logger(cnf, "process-upload", Options["No-Action"])
 215
 216     # If we have a directory flag, use it to find our files
 217     if cnf["Dinstall::Options::Directory"] != "":
 218         # Note that we clobber the list of files we were given in this case
 219         # so warn if the user has done both
 220         if len(changes_files) > 0:
 221             utils.warn("Directory provided so ignoring files given on command line")
 222
 223         changes_files = utils.get_changes_files(cnf["Dinstall::Options::Directory"])
 224         Logger.log(["Using changes files from directory", cnf["Dinstall::Options::Directory"], len(changes_files)])
 225     elif not len(changes_files) > 0:
 226         utils.fubar("No changes files given and no directory specified")
 227     else:
 228         Logger.log(["Using changes files from command-line", len(changes_files)])
 229
 230     # Sort the .changes files so that we process sourceful ones first
 231     changes_files.sort(utils.changes_compare)
 232
 233     # Process the changes files
 234     for changes_file in changes_files:
 235         print "\n" + changes_file
 236         session = DBConn().session()
 237         session.close()
 238
 239     if summarystats.accept_count:
 240         sets = "set"
 241         if summarystats.accept_count > 1:
 242             sets = "sets"
 243         sys.stderr.write("Installed %d package %s, %s.\n" % (summarystats.accept_count, sets,
 244                                                              utils.size_type(int(summarystats.accept_bytes))))
 245         Logger.log(["total", summarystats.accept_count, summarystats.accept_bytes])
 246
 247     if not Options["No-Action"]:
 248         if log_urgency:
 249             UrgencyLog().close()
 250     Logger.close()
 251
 252 ###############################################################################
 253
 254 if __name__ == '__main__':
 255     main()