dak/process_unchecked.py

   1 #!/usr/bin/env python
   2
   3 """
   4 Checks Debian packages from Incoming
   5 @contact: Debian FTP Master <ftpmaster@debian.org>
   6 @copyright: 2000, 2001, 2002, 2003, 2004, 2005, 2006  James Troup <james@nocrew.org>
   7 @copyright: 2009  Joerg Jaspert <joerg@debian.org>
   8 @copyright: 2009  Mark Hymers <mhy@debian.org>
   9 @license: GNU General Public License version 2 or later
  10 """
  11
  12 # This program is free software; you can redistribute it and/or modify
  13 # it under the terms of the GNU General Public License as published by
  14 # the Free Software Foundation; either version 2 of the License, or
  15 # (at your option) any later version.
  16
  17 # This program is distributed in the hope that it will be useful,
  18 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  19 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  20 # GNU General Public License for more details.
  21
  22 # You should have received a copy of the GNU General Public License
  23 # along with this program; if not, write to the Free Software
  24 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  25
  26 # Originally based on dinstall by Guy Maor <maor@debian.org>
  27
  28 ################################################################################
  29
  30 # Computer games don't affect kids. I mean if Pacman affected our generation as
  31 # kids, we'd all run around in a darkened room munching pills and listening to
  32 # repetitive music.
  33 #         -- Unknown
  34
  35 ################################################################################
  36
  37 import commands
  38 import errno
  39 import fcntl
  40 import os
  41 import re
  42 import shutil
  43 import stat
  44 import sys
  45 import time
  46 import traceback
  47 import tarfile
  48 import apt_inst
  49 import apt_pkg
  50 from debian_bundle import deb822
  51
  52 from daklib.dbconn import *
  53 from daklib.binary import Binary
  54 from daklib import daklog
  55 from daklib.queue import *
  56 from daklib import utils
  57 from daklib.textutils import fix_maintainer
  58 from daklib.dak_exceptions import *
  59 from daklib.regexes import re_default_answer
  60 from daklib.summarystats import SummaryStats
  61 from daklib.holding import Holding
  62 from daklib.config import Config
  63
  64 from types import *
  65
  66 ################################################################################
  67
  68
  69 ################################################################################
  70
  71 # Globals
  72 Options = None
  73 Logger = None
  74
  75 ###############################################################################
  76
  77 def init():
  78     global Options
  79
  80     apt_pkg.init()
  81     cnf = Config()
  82
  83     Arguments = [('a',"automatic","Dinstall::Options::Automatic"),
  84                  ('h',"help","Dinstall::Options::Help"),
  85                  ('n',"no-action","Dinstall::Options::No-Action"),
  86                  ('p',"no-lock", "Dinstall::Options::No-Lock"),
  87                  ('s',"no-mail", "Dinstall::Options::No-Mail"),
  88                  ('d',"directory", "Dinstall::Options::Directory", "HasArg")]
  89
  90     for i in ["automatic", "help", "no-action", "no-lock", "no-mail",
  91               "override-distribution", "version", "directory"]:
  92         cnf["Dinstall::Options::%s" % (i)] = ""
  93
  94     changes_files = apt_pkg.ParseCommandLine(cnf.Cnf, Arguments, sys.argv)
  95     Options = cnf.SubTree("Dinstall::Options")
  96
  97     if Options["Help"]:
  98         usage()
  99
 100     # If we have a directory flag, use it to find our files
 101     if cnf["Dinstall::Options::Directory"] != "":
 102         # Note that we clobber the list of files we were given in this case
 103         # so warn if the user has done both
 104         if len(changes_files) > 0:
 105             utils.warn("Directory provided so ignoring files given on command line")
 106
 107         changes_files = utils.get_changes_files(cnf["Dinstall::Options::Directory"])
 108
 109     return changes_files
 110
 111 ################################################################################
 112
 113 def usage (exit_code=0):
 114     print """Usage: dinstall [OPTION]... [CHANGES]...
 115   -a, --automatic           automatic run
 116   -h, --help                show this help and exit.
 117   -n, --no-action           don't do anything
 118   -p, --no-lock             don't check lockfile !! for cron.daily only !!
 119   -s, --no-mail             don't send any mail
 120   -V, --version             display the version number and exit"""
 121     sys.exit(exit_code)
 122
 123 ################################################################################
 124
 125 def action ():
 126     # changes["distribution"] may not exist in corner cases
 127     # (e.g. unreadable changes files)
 128     if not u.pkg.changes.has_key("distribution") or not isinstance(u.pkg.changes["distribution"], DictType):
 129         u.pkg.changes["distribution"] = {}
 130
 131     (summary, short_summary) = u.build_summaries()
 132
 133     # q-unapproved hax0ring
 134     queue_info = {
 135          "New": { "is": is_new, "process": acknowledge_new },
 136          "Autobyhand" : { "is" : is_autobyhand, "process": do_autobyhand },
 137          "Byhand" : { "is": is_byhand, "process": do_byhand },
 138          "OldStableUpdate" : { "is": is_oldstableupdate,
 139                                "process": do_oldstableupdate },
 140          "StableUpdate" : { "is": is_stableupdate, "process": do_stableupdate },
 141          "Unembargo" : { "is": is_unembargo, "process": queue_unembargo },
 142          "Embargo" : { "is": is_embargo, "process": queue_embargo },
 143     }
 144
 145     queues = [ "New", "Autobyhand", "Byhand" ]
 146     if cnf.FindB("Dinstall::SecurityQueueHandling"):
 147         queues += [ "Unembargo", "Embargo" ]
 148     else:
 149         queues += [ "OldStableUpdate", "StableUpdate" ]
 150
 151     (prompt, answer) = ("", "XXX")
 152     if Options["No-Action"] or Options["Automatic"]:
 153         answer = 'S'
 154
 155     queuekey = ''
 156
 157     pi = u.package_info()
 158
 159     if len(u.rejects) > 0:
 160         if u.upload_too_new():
 161             print "SKIP (too new)\n" + pi,
 162             prompt = "[S]kip, Quit ?"
 163         else:
 164             print "REJECT\n" + pi
 165             prompt = "[R]eject, Skip, Quit ?"
 166             if Options["Automatic"]:
 167                 answer = 'R'
 168     else:
 169         qu = None
 170         for q in queues:
 171             if queue_info[q]["is"](u):
 172                 qu = q
 173                 break
 174         if qu:
 175             print "%s for %s\n%s%s" % ( qu.upper(), ", ".join(u.pkg.changes["distribution"].keys()), pi, summary)
 176             queuekey = qu[0].upper()
 177             if queuekey in "RQSA":
 178                 queuekey = "D"
 179                 prompt = "[D]ivert, Skip, Quit ?"
 180             else:
 181                 prompt = "[%s]%s, Skip, Quit ?" % (queuekey, qu[1:].lower())
 182             if Options["Automatic"]:
 183                 answer = queuekey
 184         else:
 185             print "ACCEPT\n" + pi + summary,
 186             prompt = "[A]ccept, Skip, Quit ?"
 187             if Options["Automatic"]:
 188                 answer = 'A'
 189
 190     while prompt.find(answer) == -1:
 191         answer = utils.our_raw_input(prompt)
 192         m = re_default_answer.match(prompt)
 193         if answer == "":
 194             answer = m.group(1)
 195         answer = answer[:1].upper()
 196
 197     if answer == 'R':
 198         os.chdir(u.pkg.directory)
 199         u.do_reject(0, pi)
 200     elif answer == 'A':
 201         u.accept(summary, short_summary)
 202         u.check_override()
 203         u.remove()
 204     elif answer == queuekey:
 205         queue_info[qu]["process"](u, summary, short_summary)
 206         u.remove()
 207     elif answer == 'Q':
 208         sys.exit(0)
 209
 210 ################################################################################
 211
 212 def package_to_suite(u, suite):
 213     if not u.pkg.changes["distribution"].has_key(suite):
 214         return False
 215
 216     ret = True
 217
 218     if not u.pkg.changes["architecture"].has_key("source"):
 219         s = DBConn().session()
 220         q = s.query(SrcAssociation.sa_id)
 221         q = q.join(Suite).filter_by(suite_name=suite)
 222         q = q.join(DBSource).filter_by(source=u.pkg.changes['source'])
 223         q = q.filter_by(version=u.pkg.changes['version']).limit(1)
 224
 225         if q.count() < 1:
 226             ret = False
 227
 228         s.close()
 229
 230     return ret
 231
 232 def package_to_queue(u, summary, short_summary, queue, perms=0660, build=True, announce=None):
 233     cnf = Config()
 234     dir = cnf["Dir::Queue::%s" % queue]
 235
 236     print "Moving to %s holding area" % queue.upper()
 237     Logger.log(["Moving to %s" % queue, u.pkg.changes_file])
 238
 239     u.pkg.write_dot_dak(dir)
 240     u.move_to_dir(dir, perms=perms)
 241     if build:
 242         get_queue(queue.lower()).autobuild_upload(u.pkg, dir)
 243
 244     # Check for override disparities
 245     u.check_override()
 246
 247     # Send accept mail, announce to lists and close bugs
 248     if announce and not cnf["Dinstall::Options::No-Mail"]:
 249         template = os.path.join(cnf["Dir::Templates"], announce)
 250         u.update_subst()
 251         u.Subst["__SUITE__"] = ""
 252         mail_message = utils.TemplateSubst(u.Subst, template)
 253         utils.send_mail(mail_message)
 254         u.announce(short_summary, True)
 255
 256 ################################################################################
 257
 258 def is_unembargo(u):
 259     session = DBConn().session()
 260     cnf = Config()
 261
 262     q = session.execute("SELECT package FROM disembargo WHERE package = :source AND version = :version", u.pkg.changes)
 263     if q.rowcount > 0:
 264         session.close()
 265         return True
 266
 267     oldcwd = os.getcwd()
 268     os.chdir(cnf["Dir::Queue::Disembargo"])
 269     disdir = os.getcwd()
 270     os.chdir(oldcwd)
 271
 272     ret = False
 273
 274     if u.pkg.directory == disdir:
 275         if u.pkg.changes["architecture"].has_key("source"):
 276             if not Options["No-Action"]:
 277                 session.execute("INSERT INTO disembargo (package, version) VALUES (:package, :version)", u.pkg.changes)
 278                 session.commit()
 279
 280             ret = True
 281
 282     session.close()
 283
 284     return ret
 285
 286 def queue_unembargo(u, summary, short_summary):
 287     return package_to_queue(u, summary, short_summary, "Unembargoed",
 288                             perms=0660, build=True, announce='process-unchecked.accepted')
 289
 290 ################################################################################
 291
 292 def is_embargo(u):
 293     # if embargoed queues are enabled always embargo
 294     return True
 295
 296 def queue_embargo(u, summary, short_summary):
 297     return package_to_queue(u, summary, short_summary, "Unembargoed",
 298                             perms=0660, build=True, announce='process-unchecked.accepted')
 299
 300 ################################################################################
 301
 302 def is_stableupdate(u):
 303     return package_to_suite(u, 'proposed-updates')
 304
 305 def do_stableupdate(u, summary, short_summary):
 306     return package_to_queue(u, summary, short_summary, "ProposedUpdates",
 307                             perms=0664, build=False, announce=None)
 308
 309 ################################################################################
 310
 311 def is_oldstableupdate(u):
 312     return package_to_suite(u, 'oldstable-proposed-updates')
 313
 314 def do_oldstableupdate(u, summary, short_summary):
 315     return package_to_queue(u, summary, short_summary, "OldProposedUpdates",
 316                             perms=0664, build=False, announce=None)
 317
 318 ################################################################################
 319
 320 def is_autobyhand(u):
 321     cnf = Config()
 322
 323     all_auto = 1
 324     any_auto = 0
 325     for f in u.pkg.files.keys():
 326         if u.pkg.files[f].has_key("byhand"):
 327             any_auto = 1
 328
 329             # filename is of form "PKG_VER_ARCH.EXT" where PKG, VER and ARCH
 330             # don't contain underscores, and ARCH doesn't contain dots.
 331             # further VER matches the .changes Version:, and ARCH should be in
 332             # the .changes Architecture: list.
 333             if f.count("_") < 2:
 334                 all_auto = 0
 335                 continue
 336
 337             (pckg, ver, archext) = f.split("_", 2)
 338             if archext.count(".") < 1 or u.pkg.changes["version"] != ver:
 339                 all_auto = 0
 340                 continue
 341
 342             ABH = cnf.SubTree("AutomaticByHandPackages")
 343             if not ABH.has_key(pckg) or \
 344               ABH["%s::Source" % (pckg)] != u.pkg.changes["source"]:
 345                 print "not match %s %s" % (pckg, u.pkg.changes["source"])
 346                 all_auto = 0
 347                 continue
 348
 349             (arch, ext) = archext.split(".", 1)
 350             if arch not in u.pkg.changes["architecture"]:
 351                 all_auto = 0
 352                 continue
 353
 354             u.pkg.files[f]["byhand-arch"] = arch
 355             u.pkg.files[f]["byhand-script"] = ABH["%s::Script" % (pckg)]
 356
 357     return any_auto and all_auto
 358
 359 def do_autobyhand(u, summary, short_summary):
 360     print "Attempting AUTOBYHAND."
 361     byhandleft = True
 362     for f, entry in u.pkg.files.items():
 363         byhandfile = f
 364
 365         if not entry.has_key("byhand"):
 366             continue
 367
 368         if not entry.has_key("byhand-script"):
 369             byhandleft = True
 370             continue
 371
 372         os.system("ls -l %s" % byhandfile)
 373
 374         result = os.system("%s %s %s %s %s" % (
 375                 entry["byhand-script"],
 376                 byhandfile,
 377                 u.pkg.changes["version"],
 378                 entry["byhand-arch"],
 379                 os.path.abspath(u.pkg.changes_file)))
 380
 381         if result == 0:
 382             os.unlink(byhandfile)
 383             del entry
 384         else:
 385             print "Error processing %s, left as byhand." % (f)
 386             byhandleft = True
 387
 388     if byhandleft:
 389         do_byhand(u, summary, short_summary)
 390     else:
 391         u.accept(summary, short_summary)
 392         u.check_override()
 393         # XXX: We seem to be missing a u.remove() here
 394         #      This might explain why we get byhand leftovers in unchecked - mhy
 395
 396 ################################################################################
 397
 398 def is_byhand(u):
 399     for f in u.pkg.files.keys():
 400         if u.pkg.files[f].has_key("byhand"):
 401             return True
 402     return False
 403
 404 def do_byhand(u, summary, short_summary):
 405     return package_to_queue(u, summary, short_summary, "Byhand",
 406                             perms=0660, build=False, announce=None)
 407
 408 ################################################################################
 409
 410 def is_new(u):
 411     for f in u.pkg.files.keys():
 412         if u.pkg.files[f].has_key("new"):
 413             return True
 414     return False
 415
 416 def acknowledge_new(u, summary, short_summary):
 417     cnf = Config()
 418
 419     print "Moving to NEW holding area."
 420     Logger.log(["Moving to new", u.pkg.changes_file])
 421
 422     u.pkg.write_dot_dak(cnf["Dir::Queue::New"])
 423     u.move_to_dir(cnf["Dir::Queue::New"], perms=0640, changesperms=0644)
 424
 425     if not Options["No-Mail"]:
 426         print "Sending new ack."
 427         template = os.path.join(cnf["Dir::Templates"], 'process-unchecked.new')
 428         u.Subst["__SUMMARY__"] = summary
 429         new_ack_message = utils.TemplateSubst(u.Subst, template)
 430         utils.send_mail(new_ack_message)
 431
 432 ################################################################################
 433
 434 # reprocess is necessary for the case of foo_1.2-1 and foo_1.2-2 in
 435 # Incoming. -1 will reference the .orig.tar.gz, but -2 will not.
 436 # Upload.check_dsc_against_db() can find the .orig.tar.gz but it will
 437 # not have processed it during it's checks of -2.  If -1 has been
 438 # deleted or otherwise not checked by 'dak process-unchecked', the
 439 # .orig.tar.gz will not have been checked at all.  To get round this,
 440 # we force the .orig.tar.gz into the .changes structure and reprocess
 441 # the .changes file.
 442
 443 def process_it(changes_file):
 444     global Logger
 445
 446     cnf = Config()
 447
 448     holding = Holding()
 449
 450     u = Upload()
 451     u.pkg.changes_file = changes_file
 452     u.pkg.directory = os.getcwd()
 453     u.logger = Logger
 454     origchanges = os.path.join(u.pkg.directory, u.pkg.changes_file)
 455
 456     # Some defaults in case we can't fully process the .changes file
 457     u.pkg.changes["maintainer2047"] = cnf["Dinstall::MyEmailAddress"]
 458     u.pkg.changes["changedby2047"] = cnf["Dinstall::MyEmailAddress"]
 459
 460     # debian-{devel-,}-changes@lists.debian.org toggles writes access based on this header
 461     bcc = "X-DAK: dak process-unchecked\nX-Katie: $Revision: 1.65 $"
 462     if cnf.has_key("Dinstall::Bcc"):
 463         u.Subst["__BCC__"] = bcc + "\nBcc: %s" % (cnf["Dinstall::Bcc"])
 464     else:
 465         u.Subst["__BCC__"] = bcc
 466
 467     # Remember where we are so we can come back after cd-ing into the
 468     # holding directory.  TODO: Fix this stupid hack
 469     u.prevdir = os.getcwd()
 470
 471     # TODO: Figure out something better for this (or whether it's even
 472     #       necessary - it seems to have been for use when we were
 473     #       still doing the is_unchecked check; reprocess = 2)
 474     u.reprocess = 1
 475
 476     try:
 477         # If this is the Real Thing(tm), copy things into a private
 478         # holding directory first to avoid replacable file races.
 479         if not Options["No-Action"]:
 480             os.chdir(cnf["Dir::Queue::Holding"])
 481
 482             # Absolutize the filename to avoid the requirement of being in the
 483             # same directory as the .changes file.
 484             holding.copy_to_holding(origchanges)
 485
 486             # Relativize the filename so we use the copy in holding
 487             # rather than the original...
 488             changespath = os.path.basename(u.pkg.changes_file)
 489
 490         (u.pkg.changes["fingerprint"], rejects) = utils.check_signature(changespath)
 491
 492         if u.pkg.changes["fingerprint"]:
 493             valid_changes_p = u.load_changes(changespath)
 494         else:
 495             valid_changes_p = False
 496             u.rejects.extend(rejects)
 497
 498         if valid_changes_p:
 499             while u.reprocess:
 500                 u.check_distributions()
 501                 u.check_files(not Options["No-Action"])
 502                 valid_dsc_p = u.check_dsc(not Options["No-Action"])
 503                 if valid_dsc_p:
 504                     u.check_source()
 505                 u.check_hashes()
 506                 u.check_urgency()
 507                 u.check_timestamps()
 508                 u.check_signed_by_key()
 509
 510         action(u)
 511
 512     except SystemExit:
 513         raise
 514
 515     except:
 516         print "ERROR"
 517         traceback.print_exc(file=sys.stderr)
 518
 519     # Restore previous WD
 520     os.chdir(u.prevdir)
 521
 522 ###############################################################################
 523
 524 def main():
 525     global Options, Logger
 526
 527     cnf = Config()
 528     changes_files = init()
 529
 530     # -n/--dry-run invalidates some other options which would involve things happening
 531     if Options["No-Action"]:
 532         Options["Automatic"] = ""
 533
 534     # Initialize our Holding singleton
 535     holding = Holding()
 536
 537     # Ensure all the arguments we were given are .changes files
 538     for f in changes_files:
 539         if not f.endswith(".changes"):
 540             utils.warn("Ignoring '%s' because it's not a .changes file." % (f))
 541             changes_files.remove(f)
 542
 543     if changes_files == []:
 544         if cnf["Dinstall::Options::Directory"] == "":
 545             utils.fubar("Need at least one .changes file as an argument.")
 546         else:
 547             sys.exit(0)
 548
 549     # Check that we aren't going to clash with the daily cron job
 550     if not Options["No-Action"] and os.path.exists("%s/daily.lock" % (cnf["Dir::Lock"])) and not Options["No-Lock"]:
 551         utils.fubar("Archive maintenance in progress.  Try again later.")
 552
 553     # Obtain lock if not in no-action mode and initialize the log
 554     if not Options["No-Action"]:
 555         lock_fd = os.open(cnf["Dinstall::LockFile"], os.O_RDWR | os.O_CREAT)
 556         try:
 557             fcntl.lockf(lock_fd, fcntl.LOCK_EX | fcntl.LOCK_NB)
 558         except IOError, e:
 559             if errno.errorcode[e.errno] == 'EACCES' or errno.errorcode[e.errno] == 'EAGAIN':
 560                 utils.fubar("Couldn't obtain lock; assuming another 'dak process-unchecked' is already running.")
 561             else:
 562                 raise
 563         Logger = daklog.Logger(cnf, "process-unchecked")
 564
 565     # Sort the .changes files so that we process sourceful ones first
 566     changes_files.sort(utils.changes_compare)
 567
 568     # Process the changes files
 569     for changes_file in changes_files:
 570         print "\n" + changes_file
 571         try:
 572             process_it (changes_file)
 573         finally:
 574             if not Options["No-Action"]:
 575                 holding.clean()
 576
 577     accept_count = SummaryStats().accept_count
 578     accept_bytes = SummaryStats().accept_bytes
 579
 580     if accept_count:
 581         sets = "set"
 582         if accept_count > 1:
 583             sets = "sets"
 584         print "Accepted %d package %s, %s." % (accept_count, sets, utils.size_type(int(accept_bytes)))
 585         Logger.log(["total",accept_count,accept_bytes])
 586
 587     if not Options["No-Action"]:
 588         Logger.close()
 589
 590 ################################################################################
 591
 592 if __name__ == '__main__':
 593     main()