dak/control_suite.py

   1 #!/usr/bin/env python
   2
   3 """ Manipulate suite tags """
   4 # Copyright (C) 2000, 2001, 2002, 2003, 2004, 2005, 2006  James Troup <james@nocrew.org>
   5
   6 # This program is free software; you can redistribute it and/or modify
   7 # it under the terms of the GNU General Public License as published by
   8 # the Free Software Foundation; either version 2 of the License, or
   9 # (at your option) any later version.
  10
  11 # This program is distributed in the hope that it will be useful,
  12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 # GNU General Public License for more details.
  15
  16 # You should have received a copy of the GNU General Public License
  17 # along with this program; if not, write to the Free Software
  18 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19
  20 #######################################################################################
  21
  22 # 8to6Guy: "Wow, Bob, You look rough!"
  23 # BTAF: "Mbblpmn..."
  24 # BTAF <.oO>: "You moron! This is what you get for staying up all night drinking vodka and salad dressing!"
  25 # BTAF <.oO>: "This coffee I.V. drip is barely even keeping me awake! I need something with more kick! But what?"
  26 # BTAF: "OMIGOD! I OVERDOSED ON HEROIN"
  27 # CoWorker#n: "Give him air!!"
  28 # CoWorker#n+1: "We need a syringe full of adrenaline!"
  29 # CoWorker#n+2: "Stab him in the heart!"
  30 # BTAF: "*YES!*"
  31 # CoWorker#n+3: "Bob's been overdosing quite a bit lately..."
  32 # CoWorker#n+4: "Third time this week."
  33
  34 # -- http://www.angryflower.com/8to6.gif
  35
  36 #######################################################################################
  37
  38 # Adds or removes packages from a suite.  Takes the list of files
  39 # either from stdin or as a command line argument.  Special action
  40 # "set", will reset the suite (!) and add all packages from scratch.
  41
  42 #######################################################################################
  43
  44 import sys
  45 import apt_pkg
  46 import os
  47
  48 from daklib.config import Config
  49 from daklib.dbconn import *
  50 from daklib import daklog
  51 from daklib import utils
  52 from daklib.queue import get_suite_version_by_package, get_suite_version_by_source
  53
  54 #######################################################################################
  55
  56 Logger = None
  57
  58 ################################################################################
  59
  60 def usage (exit_code=0):
  61     print """Usage: dak control-suite [OPTIONS] [FILE]
  62 Display or alter the contents of a suite using FILE(s), or stdin.
  63
  64   -a, --add=SUITE            add to SUITE
  65   -h, --help                 show this help and exit
  66   -l, --list=SUITE           list the contents of SUITE
  67   -r, --remove=SUITE         remove from SUITE
  68   -s, --set=SUITE            set SUITE
  69   -b, --britney              generate changelog entry for britney runs"""
  70
  71     sys.exit(exit_code)
  72
  73 #######################################################################################
  74
  75 def get_id(package, version, architecture, session):
  76     if architecture == "source":
  77         q = session.execute("SELECT id FROM source WHERE source = :package AND version = :version",
  78                             {'package': package, 'version': version})
  79     else:
  80         q = session.execute("""SELECT b.id FROM binaries b, architecture a
  81                                 WHERE b.package = :package AND b.version = :version
  82                                   AND (a.arch_string = :arch OR a.arch_string = 'all')
  83                                   AND b.architecture = a.id""",
  84                                {'package': package, 'version': version, 'arch': architecture})
  85
  86     ql = q.fetchall()
  87     if len(ql) < 1:
  88         utils.warn("Couldn't find '%s_%s_%s'." % (package, version, architecture))
  89         return None
  90
  91     if len(ql) > 1:
  92         utils.warn("Found more than one match for '%s_%s_%s'." % (package, version, architecture))
  93         return None
  94
  95     return ql[0][0]
  96
  97 #######################################################################################
  98
  99 def britney_changelog(packages, suite, session):
 100
 101     old = {}
 102     current = {}
 103     Cnf = utils.get_conf()
 104
 105     try:
 106         q = session.execute("SELECT changelog FROM suite WHERE id = :suiteid", \
 107                             {'suiteid': suite.suite_id})
 108         brit_file = q.fetchone()[0]
 109     except:
 110         brit_file = None
 111
 112     if brit_file:
 113         brit_file = os.path.join(Cnf['Dir::Root'], brit_file)
 114     else:
 115         return
 116
 117     q = session.execute("""SELECT s.source, s.version, sa.id
 118                              FROM source s, src_associations sa
 119                             WHERE sa.suite = :suiteid
 120                               AND sa.source = s.id""", {'suiteid': suite.suite_id})
 121
 122     for p in q.fetchall():
 123         current[p[0]] = p[1]
 124     for p in packages.keys():
 125         p = p.split()
 126         if p[2] == "source":
 127             old[p[0]] = p[1]
 128
 129     new = {}
 130     for p in current.keys():
 131         if p in old.keys():
 132             if apt_pkg.VersionCompare(current[p], old[p]) > 0:
 133                 new[p] = [current[p], old[p]]
 134         else:
 135             new[p] = [current[p], 0]
 136
 137     query =  "SELECT source, changelog FROM changelogs WHERE"
 138     for p in new.keys():
 139         query += " source = '%s' AND version > '%s' AND version <= '%s'" \
 140                  % (p, new[p][1], new[p][0])
 141         query += " AND architecture LIKE '%source%' AND distribution in \
 142                   ('unstable', 'experimental', 'testing-proposed-updates') OR"
 143     query += " False ORDER BY source, version DESC"
 144     q = session.execute(query)
 145
 146     pu = None
 147     brit = utils.open_file(brit_file, 'w')
 148
 149     for u in q:
 150         if pu and pu != u[0]:
 151             brit.write("\n")
 152         brit.write("%s\n" % u[1])
 153         pu = u[0]
 154     if q.rowcount: brit.write("\n\n\n")
 155
 156     for p in list(set(old.keys()).difference(current.keys())):
 157         brit.write("REMOVED: %s %s\n" % (p, old[p]))
 158
 159     brit.flush()
 160     brit.close()
 161
 162 #######################################################################################
 163
 164 def version_checks(package, architecture, target_suite, new_version, session, force = False):
 165     if architecture == "source":
 166         suite_version_list = get_suite_version_by_source(package, session)
 167     else:
 168         suite_version_list = get_suite_version_by_package(package, architecture, session)
 169
 170     must_be_newer_than = [ vc.reference.suite_name for vc in get_version_checks(target_suite, "MustBeNewerThan") ]
 171     must_be_older_than = [ vc.reference.suite_name for vc in get_version_checks(target_suite, "MustBeOlderThan") ]
 172
 173     # Must be newer than an existing version in target_suite
 174     if target_suite not in must_be_newer_than:
 175         must_be_newer_than.append(target_suite)
 176
 177     violations = False
 178
 179     for suite, version in suite_version_list:
 180         cmp = apt_pkg.VersionCompare(new_version, version)
 181         if suite in must_be_newer_than and cmp < 1:
 182             utils.warn("%s (%s): version check violated: %s targeted at %s is *not* newer than %s in %s" % (package, architecture, new_version, target_suite, version, suite))
 183             violations = True
 184         if suite in must_be_older_than and cmp > 1:
 185             utils.warn("%s (%s): version check violated: %s targeted at %s is *not* older than %s in %s" % (package, architecture, new_version, target_suite, version, suite))
 186             violations = True
 187
 188     if violations:
 189         if force:
 190             utils.warn("Continuing anyway (forced)...")
 191         else:
 192             utils.fubar("Aborting. Version checks violated and not forced.")
 193
 194 #######################################################################################
 195
 196 def set_suite(file, suite, session, britney=False, force=False):
 197     suite_id = suite.suite_id
 198     lines = file.readlines()
 199
 200     # Our session is already in a transaction
 201
 202     # Build up a dictionary of what is currently in the suite
 203     current = {}
 204     q = session.execute("""SELECT b.package, b.version, a.arch_string, ba.id
 205                              FROM binaries b, bin_associations ba, architecture a
 206                             WHERE ba.suite = :suiteid
 207                               AND ba.bin = b.id AND b.architecture = a.id""", {'suiteid': suite_id})
 208     for i in q.fetchall():
 209         key = " ".join(i[:3])
 210         current[key] = i[3]
 211
 212     q = session.execute("""SELECT s.source, s.version, sa.id
 213                              FROM source s, src_associations sa
 214                             WHERE sa.suite = :suiteid
 215                               AND sa.source = s.id""", {'suiteid': suite_id})
 216     for i in q.fetchall():
 217         key = " ".join(i[:2]) + " source"
 218         current[key] = i[2]
 219
 220     # Build up a dictionary of what should be in the suite
 221     desired = {}
 222     for line in lines:
 223         split_line = line.strip().split()
 224         if len(split_line) != 3:
 225             utils.warn("'%s' does not break into 'package version architecture'." % (line[:-1]))
 226             continue
 227         key = " ".join(split_line)
 228         desired[key] = ""
 229
 230     # Check to see which packages need removed and remove them
 231     for key in current.keys():
 232         if not desired.has_key(key):
 233             (package, version, architecture) = key.split()
 234             pkid = current[key]
 235             if architecture == "source":
 236                 session.execute("""DELETE FROM src_associations WHERE id = :pkid""", {'pkid': pkid})
 237             else:
 238                 session.execute("""DELETE FROM bin_associations WHERE id = :pkid""", {'pkid': pkid})
 239             Logger.log(["removed", key, pkid])
 240
 241     # Check to see which packages need added and add them
 242     for key in desired.keys():
 243         if not current.has_key(key):
 244             (package, version, architecture) = key.split()
 245             version_checks(package, architecture, suite.suite_name, version, session, force)
 246             pkid = get_id (package, version, architecture, session)
 247             if not pkid:
 248                 continue
 249             if architecture == "source":
 250                 session.execute("""INSERT INTO src_associations (suite, source)
 251                                         VALUES (:suiteid, :pkid)""", {'suiteid': suite_id, 'pkid': pkid})
 252             else:
 253                 session.execute("""INSERT INTO bin_associations (suite, bin)
 254                                         VALUES (:suiteid, :pkid)""", {'suiteid': suite_id, 'pkid': pkid})
 255             Logger.log(["added", key, pkid])
 256
 257     session.commit()
 258
 259     if britney:
 260         britney_changelog(current, suite, session)
 261
 262 #######################################################################################
 263
 264 def process_file(file, suite, action, session, britney=False, force=False):
 265     if action == "set":
 266         set_suite(file, suite, session, britney, force)
 267         return
 268
 269     suite_id = suite.suite_id
 270
 271     lines = file.readlines()
 272
 273     # Our session is already in a transaction
 274     for line in lines:
 275         split_line = line.strip().split()
 276         if len(split_line) != 3:
 277             utils.warn("'%s' does not break into 'package version architecture'." % (line[:-1]))
 278             continue
 279
 280         (package, version, architecture) = split_line
 281
 282         pkid = get_id(package, version, architecture, session)
 283         if not pkid:
 284             continue
 285
 286         # Do version checks when adding packages
 287         if action == "add":
 288             version_checks(package, architecture, suite.suite_name, version, session, force)
 289
 290         if architecture == "source":
 291             # Find the existing association ID, if any
 292             q = session.execute("""SELECT id FROM src_associations
 293                                     WHERE suite = :suiteid and source = :pkid""",
 294                                     {'suiteid': suite_id, 'pkid': pkid})
 295             ql = q.fetchall()
 296             if len(ql) < 1:
 297                 association_id = None
 298             else:
 299                 association_id = ql[0][0]
 300
 301             # Take action
 302             if action == "add":
 303                 if association_id:
 304                     utils.warn("'%s_%s_%s' already exists in suite %s." % (package, version, architecture, suite))
 305                     continue
 306                 else:
 307                     session.execute("""INSERT INTO src_associations (suite, source)
 308                                             VALUES (:suiteid, :pkid)""",
 309                                        {'suiteid': suite_id, 'pkid': pkid})
 310             elif action == "remove":
 311                 if association_id == None:
 312                     utils.warn("'%s_%s_%s' doesn't exist in suite %s." % (package, version, architecture, suite))
 313                     continue
 314                 else:
 315                     session.execute("""DELETE FROM src_associations WHERE id = :pkid""", {'pkid': association_id})
 316         else:
 317             # Find the existing associations ID, if any
 318             q = session.execute("""SELECT id FROM bin_associations
 319                                     WHERE suite = :suiteid and bin = :pkid""",
 320                                     {'suiteid': suite_id, 'pkid': pkid})
 321             ql = q.fetchall()
 322             if len(ql) < 1:
 323                 association_id = None
 324             else:
 325                 association_id = ql[0][0]
 326
 327             # Take action
 328             if action == "add":
 329                 if association_id:
 330                     utils.warn("'%s_%s_%s' already exists in suite %s." % (package, version, architecture, suite))
 331                     continue
 332                 else:
 333                     session.execute("""INSERT INTO bin_associations (suite, bin)
 334                                             VALUES (:suiteid, :pkid)""",
 335                                        {'suiteid': suite_id, 'pkid': pkid})
 336             elif action == "remove":
 337                 if association_id == None:
 338                     utils.warn("'%s_%s_%s' doesn't exist in suite %s." % (package, version, architecture, suite))
 339                     continue
 340                 else:
 341                     session.execute("""DELETE FROM bin_associations WHERE id = :pkid""", {'pkid': association_id})
 342
 343     session.commit()
 344
 345 #######################################################################################
 346
 347 def get_list(suite, session):
 348     suite_id = suite.suite_id
 349     # List binaries
 350     q = session.execute("""SELECT b.package, b.version, a.arch_string
 351                              FROM binaries b, bin_associations ba, architecture a
 352                             WHERE ba.suite = :suiteid
 353                               AND ba.bin = b.id AND b.architecture = a.id""", {'suiteid': suite_id})
 354     for i in q.fetchall():
 355         print " ".join(i)
 356
 357     # List source
 358     q = session.execute("""SELECT s.source, s.version
 359                              FROM source s, src_associations sa
 360                             WHERE sa.suite = :suiteid
 361                               AND sa.source = s.id""", {'suiteid': suite_id})
 362     for i in q.fetchall():
 363         print " ".join(i) + " source"
 364
 365 #######################################################################################
 366
 367 def main ():
 368     global Logger
 369
 370     cnf = Config()
 371
 372     Arguments = [('a',"add","Control-Suite::Options::Add", "HasArg"),
 373                  ('b',"britney","Control-Suite::Options::Britney"),
 374                  ('f','force','Control-Suite::Options::Force'),
 375                  ('h',"help","Control-Suite::Options::Help"),
 376                  ('l',"list","Control-Suite::Options::List","HasArg"),
 377                  ('r',"remove", "Control-Suite::Options::Remove", "HasArg"),
 378                  ('s',"set", "Control-Suite::Options::Set", "HasArg")]
 379
 380     for i in ["add", "britney", "help", "list", "remove", "set", "version" ]:
 381         if not cnf.has_key("Control-Suite::Options::%s" % (i)):
 382             cnf["Control-Suite::Options::%s" % (i)] = ""
 383
 384     try:
 385         file_list = apt_pkg.ParseCommandLine(cnf.Cnf, Arguments, sys.argv);
 386     except SystemError, e:
 387         print "%s\n" % e
 388         usage(1)
 389     Options = cnf.SubTree("Control-Suite::Options")
 390
 391     if Options["Help"]:
 392         usage()
 393
 394     session = DBConn().session()
 395
 396     force = Options.has_key("Force") and Options["Force"]
 397
 398     action = None
 399
 400     for i in ("add", "list", "remove", "set"):
 401         if cnf["Control-Suite::Options::%s" % (i)] != "":
 402             suite_name = cnf["Control-Suite::Options::%s" % (i)]
 403             suite = get_suite(suite_name, session=session)
 404             if suite is None:
 405                 utils.fubar("Unknown suite '%s'." % (suite_name))
 406             else:
 407                 if action:
 408                     utils.fubar("Can only perform one action at a time.")
 409                 action = i
 410
 411     # Need an action...
 412     if action == None:
 413         utils.fubar("No action specified.")
 414
 415     # Safety/Sanity check
 416     # XXX: This should be stored in the database
 417     if action == "set" and suite_name not in ["testing", "squeeze-updates"]:
 418         utils.fubar("Will not reset suite %s" % (suite_name))
 419
 420     britney = False
 421     if action == "set" and cnf["Control-Suite::Options::Britney"]:
 422         britney = True
 423
 424     if action == "list":
 425         get_list(suite, session)
 426     else:
 427         Logger = daklog.Logger(cnf.Cnf, "control-suite")
 428         if file_list:
 429             for f in file_list:
 430                 process_file(utils.open_file(f), suite, action, session, britney, force)
 431         else:
 432             process_file(sys.stdin, suite, action, session, britney, force)
 433         Logger.close()
 434
 435 #######################################################################################
 436
 437 if __name__ == '__main__':
 438     main()