dak/process_upload.py

   1 #!/usr/bin/env python
   2
   3 """
   4 Checks Debian packages from Incoming
   5 @contact: Debian FTP Master <ftpmaster@debian.org>
   6 @copyright: 2000, 2001, 2002, 2003, 2004, 2005, 2006  James Troup <james@nocrew.org>
   7 @copyright: 2009  Joerg Jaspert <joerg@debian.org>
   8 @copyright: 2009  Mark Hymers <mhy@debian.org>
   9 @copyright: 2009  Frank Lichtenheld <djpig@debian.org>
  10 @license: GNU General Public License version 2 or later
  11 """
  12
  13 # This program is free software; you can redistribute it and/or modify
  14 # it under the terms of the GNU General Public License as published by
  15 # the Free Software Foundation; either version 2 of the License, or
  16 # (at your option) any later version.
  17
  18 # This program is distributed in the hope that it will be useful,
  19 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  20 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  21 # GNU General Public License for more details.
  22
  23 # You should have received a copy of the GNU General Public License
  24 # along with this program; if not, write to the Free Software
  25 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  26
  27 # based on process-unchecked and process-accepted
  28
  29 ## pu|pa: locking (daily.lock)
  30 ## pu|pa: parse arguments -> list of changes files
  31 ## pa: initialize urgency log
  32 ## pu|pa: sort changes list
  33
  34 ## foreach changes:
  35 ###  pa: load dak file
  36 ##   pu: copy CHG to tempdir
  37 ##   pu: check CHG signature
  38 ##   pu: parse changes file
  39 ##   pu: checks:
  40 ##     pu: check distribution (mappings, rejects)
  41 ##     pu: copy FILES to tempdir
  42 ##     pu: check whether CHG already exists in CopyChanges
  43 ##     pu: check whether FILES already exist in one of the policy queues
  44 ##     for deb in FILES:
  45 ##       pu: extract control information
  46 ##       pu: various checks on control information
  47 ##       pu|pa: search for source (in CHG, projectb, policy queues)
  48 ##       pu|pa: check whether "Version" fulfills target suite requirements/suite propagation
  49 ##       pu|pa: check whether deb already exists in the pool
  50 ##     for src in FILES:
  51 ##       pu: various checks on filenames and CHG consistency
  52 ##       pu: if isdsc: check signature
  53 ##     for file in FILES:
  54 ##       pu: various checks
  55 ##       pu: NEW?
  56 ##       //pu: check whether file already exists in the pool
  57 ##       pu: store what "Component" the package is currently in
  58 ##     pu: check whether we found everything we were looking for in CHG
  59 ##     pu: check the DSC:
  60 ##       pu: check whether we need and have ONE DSC
  61 ##       pu: parse the DSC
  62 ##       pu: various checks //maybe drop some of the in favor of lintian
  63 ##       pu|pa: check whether "Version" fulfills target suite requirements/suite propagation
  64 ##       pu: check whether DSC_FILES is consistent with "Format"
  65 ##       for src in DSC_FILES:
  66 ##         pu|pa: check whether file already exists in the pool (with special handling for .orig.tar.gz)
  67 ##     pu: create new tempdir
  68 ##     pu: create symlink mirror of source
  69 ##     pu: unpack source
  70 ##     pu: extract changelog information for BTS
  71 ##     //pu: create missing .orig symlink
  72 ##     pu: check with lintian
  73 ##     for file in FILES:
  74 ##       pu: check checksums and sizes
  75 ##     for file in DSC_FILES:
  76 ##       pu: check checksums and sizes
  77 ##     pu: CHG: check urgency
  78 ##     for deb in FILES:
  79 ##       pu: extract contents list and check for dubious timestamps
  80 ##     pu: check that the uploader is actually allowed to upload the package
  81 ###  pa: install:
  82 ###    if stable_install:
  83 ###      pa: remove from p-u
  84 ###      pa: add to stable
  85 ###      pa: move CHG to morgue
  86 ###      pa: append data to ChangeLog
  87 ###      pa: send mail
  88 ###      pa: remove .dak file
  89 ###    else:
  90 ###      pa: add dsc to db:
  91 ###        for file in DSC_FILES:
  92 ###          pa: add file to file
  93 ###          pa: add file to dsc_files
  94 ###        pa: create source entry
  95 ###        pa: update source associations
  96 ###        pa: update src_uploaders
  97 ###      for deb in FILES:
  98 ###        pa: add deb to db:
  99 ###          pa: add file to file
 100 ###          pa: find source entry
 101 ###          pa: create binaries entry
 102 ###          pa: update binary associations
 103 ###      pa: .orig component move
 104 ###      pa: move files to pool
 105 ###      pa: save CHG
 106 ###      pa: move CHG to done/
 107 ###      pa: change entry in queue_build
 108 ##   pu: use dispatch table to choose target queue:
 109 ##     if NEW:
 110 ##       pu: write .dak file
 111 ##       pu: move to NEW
 112 ##       pu: send mail
 113 ##     elsif AUTOBYHAND:
 114 ##       pu: run autobyhand script
 115 ##       pu: if stuff left, do byhand or accept
 116 ##     elsif targetqueue in (oldstable, stable, embargo, unembargo):
 117 ##       pu: write .dak file
 118 ##       pu: check overrides
 119 ##       pu: move to queue
 120 ##       pu: send mail
 121 ##     else:
 122 ##       pu: write .dak file
 123 ##       pu: move to ACCEPTED
 124 ##       pu: send mails
 125 ##       pu: create files for BTS
 126 ##       pu: create entry in queue_build
 127 ##       pu: check overrides
 128
 129 # Integrity checks
 130 ## GPG
 131 ## Parsing changes (check for duplicates)
 132 ## Parse dsc
 133 ## file list checks
 134
 135 # New check layout (TODO: Implement)
 136 ## Permission checks
 137 ### suite mappings
 138 ### ACLs
 139 ### version checks (suite)
 140 ### override checks
 141
 142 ## Source checks
 143 ### copy orig
 144 ### unpack
 145 ### BTS changelog
 146 ### src contents
 147 ### lintian
 148 ### urgency log
 149
 150 ## Binary checks
 151 ### timestamps
 152 ### control checks
 153 ### src relation check
 154 ### contents
 155
 156 ## Database insertion (? copy from stuff)
 157 ### BYHAND / NEW / Policy queues
 158 ### Pool
 159
 160 ## Queue builds
 161
 162 from errno import EACCES, EAGAIN
 163 import fcntl
 164 import os
 165 import sys
 166 import traceback
 167 import apt_pkg
 168 from sqlalchemy.orm.exc import NoResultFound
 169
 170 from daklib import daklog
 171 from daklib.queue import *
 172 from daklib.queue_install import *
 173 from daklib import utils
 174 from daklib.dbconn import *
 175 from daklib.urgencylog import UrgencyLog
 176 from daklib.summarystats import SummaryStats
 177 from daklib.holding import Holding
 178 from daklib.config import Config
 179 from daklib.regexes import re_match_expired
 180
 181 ###############################################################################
 182
 183 Options = None
 184 Logger = None
 185
 186 ###############################################################################
 187
 188 def usage (exit_code=0):
 189     print """Usage: dak process-upload [OPTION]... [CHANGES]...
 190   -a, --automatic           automatic run
 191   -d, --directory <DIR>     process uploads in <DIR>
 192   -h, --help                show this help and exit.
 193   -n, --no-action           don't do anything
 194   -p, --no-lock             don't check lockfile !! for cron.daily only !!
 195   -s, --no-mail             don't send any mail
 196   -V, --version             display the version number and exit"""
 197     sys.exit(exit_code)
 198
 199 ###############################################################################
 200
 201 def byebye():
 202     if not Options["No-Action"]:
 203         # Clean out the queue files
 204         session = DBConn().session()
 205         session.execute("DELETE FROM changes_pending_files WHERE id NOT IN (SELECT file_id FROM changes_pending_files_map )")
 206         session.commit()
 207
 208
 209
 210 def action(u, session):
 211     global Logger
 212
 213     cnf = Config()
 214     holding = Holding()
 215
 216     # changes["distribution"] may not exist in corner cases
 217     # (e.g. unreadable changes files)
 218     if not u.pkg.changes.has_key("distribution") or not isinstance(u.pkg.changes["distribution"], dict):
 219         u.pkg.changes["distribution"] = {}
 220
 221     (summary, short_summary) = u.build_summaries()
 222
 223     (prompt, answer) = ("", "XXX")
 224     if Options["No-Action"] or Options["Automatic"]:
 225         answer = 'S'
 226
 227     queuekey = ''
 228
 229     pi = u.package_info()
 230
 231     try:
 232         chg = session.query(DBChange).filter_by(changesname=os.path.basename(u.pkg.changes_file)).one()
 233     except NoResultFound as e:
 234         chg = None
 235
 236     if len(u.rejects) > 0:
 237         if u.upload_too_new():
 238             print "SKIP (too new)\n" + pi,
 239             prompt = "[S]kip, Quit ?"
 240         else:
 241             print "REJECT\n" + pi
 242             prompt = "[R]eject, Skip, Quit ?"
 243             if Options["Automatic"]:
 244                 answer = 'R'
 245     else:
 246         # Are we headed for NEW / BYHAND / AUTOBYHAND?
 247         # Note that policy queues are no longer handled here
 248         qu = determine_target(u)
 249         if qu:
 250             print "%s for %s\n%s%s" % ( qu.upper(), ", ".join(u.pkg.changes["distribution"].keys()), pi, summary)
 251             queuekey = qu[0].upper()
 252             if queuekey in "RQSA":
 253                 queuekey = "D"
 254                 prompt = "[D]ivert, Skip, Quit ?"
 255             else:
 256                 prompt = "[%s]%s, Skip, Quit ?" % (queuekey, qu[1:].lower())
 257             if Options["Automatic"]:
 258                 answer = queuekey
 259         else:
 260             # Does suite have a policy_queue configured
 261             divert = False
 262             for s in u.pkg.changes["distribution"].keys():
 263                 suite = get_suite(s, session)
 264                 if suite.policy_queue:
 265                     if not chg or chg.approved_for_id != suite.policy_queue.policy_queue_id:
 266                         # This routine will check whether the upload is a binary
 267                         # upload when the source is already in the target suite.  If
 268                         # so, we skip the policy queue, otherwise we go there.
 269                         divert = package_to_suite(u, suite.suite_name, session=session)
 270                         if divert:
 271                             print "%s for %s\n%s%s" % ( suite.policy_queue.queue_name.upper(),
 272                                                         ", ".join(u.pkg.changes["distribution"].keys()),
 273                                                         pi, summary)
 274                             queuekey = "P"
 275                             prompt = "[P]olicy, Skip, Quit ?"
 276                             policyqueue = suite.policy_queue
 277                             if Options["Automatic"]:
 278                                 answer = 'P'
 279                             break
 280
 281             if not divert:
 282                 print "ACCEPT\n" + pi + summary,
 283                 prompt = "[A]ccept, Skip, Quit ?"
 284                 if Options["Automatic"]:
 285                     answer = 'A'
 286
 287     while prompt.find(answer) == -1:
 288         answer = utils.our_raw_input(prompt)
 289         m = re_default_answer.match(prompt)
 290         if answer == "":
 291             answer = m.group(1)
 292         answer = answer[:1].upper()
 293
 294     if answer == 'R':
 295         os.chdir(u.pkg.directory)
 296         u.do_reject(0, pi)
 297     elif answer == 'A':
 298         if not chg:
 299             chg = u.pkg.add_known_changes(holding.holding_dir, session=session, logger=Logger)
 300         session.commit()
 301         u.accept(summary, short_summary, session)
 302         u.check_override()
 303         chg.clean_from_queue()
 304         session.commit()
 305         u.remove()
 306     elif answer == 'P':
 307         if not chg:
 308             chg = u.pkg.add_known_changes(holding.holding_dir, session=session, logger=Logger)
 309         package_to_queue(u, summary, short_summary, policyqueue, chg, session)
 310         session.commit()
 311         u.remove()
 312     elif answer == queuekey:
 313         if not chg:
 314             chg = u.pkg.add_known_changes(holding.holding_dir, session=session, logger=Logger)
 315         QueueInfo[qu]["process"](u, summary, short_summary, chg, session)
 316         session.commit()
 317         u.remove()
 318     elif answer == 'Q':
 319         byebye()
 320         sys.exit(0)
 321
 322     session.commit()
 323
 324 ###############################################################################
 325
 326 def cleanup():
 327     h = Holding()
 328     if not Options["No-Action"]:
 329         h.clean()
 330
 331 def process_it(changes_file, session):
 332     global Logger
 333
 334     Logger.log(["Processing changes file", changes_file])
 335
 336     cnf = Config()
 337
 338     holding = Holding()
 339
 340     # TODO: Actually implement using pending* tables so that we don't lose track
 341     #       of what is where
 342
 343     u = Upload()
 344     u.pkg.changes_file = changes_file
 345     u.pkg.directory = os.getcwd()
 346     u.logger = Logger
 347     origchanges = os.path.abspath(u.pkg.changes_file)
 348
 349     # Some defaults in case we can't fully process the .changes file
 350     u.pkg.changes["maintainer2047"] = cnf["Dinstall::MyEmailAddress"]
 351     u.pkg.changes["changedby2047"] = cnf["Dinstall::MyEmailAddress"]
 352
 353     # debian-{devel-,}-changes@lists.debian.org toggles writes access based on this header
 354     bcc = "X-DAK: dak process-upload"
 355     if cnf.has_key("Dinstall::Bcc"):
 356         u.Subst["__BCC__"] = bcc + "\nBcc: %s" % (cnf["Dinstall::Bcc"])
 357     else:
 358         u.Subst["__BCC__"] = bcc
 359
 360     # Remember where we are so we can come back after cd-ing into the
 361     # holding directory.  TODO: Fix this stupid hack
 362     u.prevdir = os.getcwd()
 363
 364     try:
 365         # If this is the Real Thing(tm), copy things into a private
 366         # holding directory first to avoid replacable file races.
 367         if not Options["No-Action"]:
 368             holding.chdir_to_holding()
 369
 370             # Absolutize the filename to avoid the requirement of being in the
 371             # same directory as the .changes file.
 372             holding.copy_to_holding(origchanges)
 373
 374             # Relativize the filename so we use the copy in holding
 375             # rather than the original...
 376             changespath = os.path.basename(u.pkg.changes_file)
 377         else:
 378             changespath = origchanges
 379
 380         (u.pkg.changes["fingerprint"], rejects) = utils.check_signature(changespath)
 381
 382         if u.pkg.changes["fingerprint"]:
 383             valid_changes_p = u.load_changes(changespath)
 384         else:
 385             for reason in rejects:
 386                 if re_match_expired.match(reason):
 387                     # Hrm, key expired. Lets see if we can still parse the .changes before
 388                     # we reject. Then we would be able to mail the maintainer, instead of
 389                     # just silently dropping the upload.
 390                     u.load_changes(changespath)
 391             valid_changes_p = False
 392             u.rejects.extend(rejects)
 393
 394         if valid_changes_p:
 395             u.check_distributions()
 396             u.check_files(not Options["No-Action"])
 397             valid_dsc_p = u.check_dsc(not Options["No-Action"])
 398             if valid_dsc_p and not Options["No-Action"]:
 399                 u.check_source()
 400             u.check_hashes()
 401             if valid_dsc_p and not Options["No-Action"] and not len(u.rejects):
 402                 u.check_lintian()
 403             u.check_urgency()
 404             u.check_timestamps()
 405             u.check_signed_by_key()
 406
 407         action(u, session)
 408
 409     except (SystemExit, KeyboardInterrupt):
 410         cleanup()
 411         raise
 412
 413     except:
 414         print "ERROR"
 415         traceback.print_exc(file=sys.stderr)
 416
 417     cleanup()
 418     # Restore previous WD
 419     os.chdir(u.prevdir)
 420
 421 ###############################################################################
 422
 423 def main():
 424     global Options, Logger
 425
 426     cnf = Config()
 427     summarystats = SummaryStats()
 428
 429     DBConn()
 430
 431     Arguments = [('a',"automatic","Dinstall::Options::Automatic"),
 432                  ('h',"help","Dinstall::Options::Help"),
 433                  ('n',"no-action","Dinstall::Options::No-Action"),
 434                  ('p',"no-lock", "Dinstall::Options::No-Lock"),
 435                  ('s',"no-mail", "Dinstall::Options::No-Mail"),
 436                  ('d',"directory", "Dinstall::Options::Directory", "HasArg")]
 437
 438     for i in ["automatic", "help", "no-action", "no-lock", "no-mail",
 439               "version", "directory"]:
 440         if not cnf.has_key("Dinstall::Options::%s" % (i)):
 441             cnf["Dinstall::Options::%s" % (i)] = ""
 442
 443     changes_files = apt_pkg.parse_commandline(cnf.Cnf, Arguments, sys.argv)
 444     Options = cnf.subtree("Dinstall::Options")
 445
 446     if Options["Help"]:
 447         usage()
 448
 449     # -n/--dry-run invalidates some other options which would involve things happening
 450     if Options["No-Action"]:
 451         Options["Automatic"] = ""
 452
 453     # Check that we aren't going to clash with the daily cron job
 454     if not Options["No-Action"] and os.path.exists("%s/daily.lock" % (cnf["Dir::Lock"])) and not Options["No-Lock"]:
 455         utils.fubar("Archive maintenance in progress.  Try again later.")
 456
 457     # Obtain lock if not in no-action mode and initialize the log
 458     if not Options["No-Action"]:
 459         lock_fd = os.open(os.path.join(cnf["Dir::Lock"], 'dinstall.lock'), os.O_RDWR | os.O_CREAT)
 460         try:
 461             fcntl.lockf(lock_fd, fcntl.LOCK_EX | fcntl.LOCK_NB)
 462         except IOError as e:
 463             if errno.errorcode[e.errno] == 'EACCES' or errno.errorcode[e.errno] == 'EAGAIN':
 464                 utils.fubar("Couldn't obtain lock; assuming another 'dak process-upload' is already running.")
 465             else:
 466                 raise
 467
 468         # Initialise UrgencyLog() - it will deal with the case where we don't
 469         # want to log urgencies
 470         urgencylog = UrgencyLog()
 471
 472     Logger = daklog.Logger("process-upload", Options["No-Action"])
 473
 474     # If we have a directory flag, use it to find our files
 475     if cnf["Dinstall::Options::Directory"] != "":
 476         # Note that we clobber the list of files we were given in this case
 477         # so warn if the user has done both
 478         if len(changes_files) > 0:
 479             utils.warn("Directory provided so ignoring files given on command line")
 480
 481         changes_files = utils.get_changes_files(cnf["Dinstall::Options::Directory"])
 482         Logger.log(["Using changes files from directory", cnf["Dinstall::Options::Directory"], len(changes_files)])
 483     elif not len(changes_files) > 0:
 484         utils.fubar("No changes files given and no directory specified")
 485     else:
 486         Logger.log(["Using changes files from command-line", len(changes_files)])
 487
 488     # Sort the .changes files so that we process sourceful ones first
 489     changes_files.sort(utils.changes_compare)
 490
 491     # Process the changes files
 492     for changes_file in changes_files:
 493         print "\n" + changes_file
 494         session = DBConn().session()
 495         process_it(changes_file, session)
 496         session.close()
 497
 498     if summarystats.accept_count:
 499         sets = "set"
 500         if summarystats.accept_count > 1:
 501             sets = "sets"
 502         print "Installed %d package %s, %s." % (summarystats.accept_count, sets,
 503                                                 utils.size_type(int(summarystats.accept_bytes)))
 504         Logger.log(["total", summarystats.accept_count, summarystats.accept_bytes])
 505
 506     if summarystats.reject_count:
 507         sets = "set"
 508         if summarystats.reject_count > 1:
 509             sets = "sets"
 510         print "Rejected %d package %s." % (summarystats.reject_count, sets)
 511         Logger.log(["rejected", summarystats.reject_count])
 512
 513     byebye()
 514
 515     if not Options["No-Action"]:
 516         urgencylog.close()
 517
 518     Logger.close()
 519
 520 ###############################################################################
 521
 522 if __name__ == '__main__':
 523     main()