dak/control_suite.py

   1 #!/usr/bin/env python
   2
   3 """ Manipulate suite tags """
   4 # Copyright (C) 2000, 2001, 2002, 2003, 2004, 2005, 2006  James Troup <james@nocrew.org>
   5
   6 # This program is free software; you can redistribute it and/or modify
   7 # it under the terms of the GNU General Public License as published by
   8 # the Free Software Foundation; either version 2 of the License, or
   9 # (at your option) any later version.
  10
  11 # This program is distributed in the hope that it will be useful,
  12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 # GNU General Public License for more details.
  15
  16 # You should have received a copy of the GNU General Public License
  17 # along with this program; if not, write to the Free Software
  18 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19
  20 #######################################################################################
  21
  22 # 8to6Guy: "Wow, Bob, You look rough!"
  23 # BTAF: "Mbblpmn..."
  24 # BTAF <.oO>: "You moron! This is what you get for staying up all night drinking vodka and salad dressing!"
  25 # BTAF <.oO>: "This coffee I.V. drip is barely even keeping me awake! I need something with more kick! But what?"
  26 # BTAF: "OMIGOD! I OVERDOSED ON HEROIN"
  27 # CoWorker#n: "Give him air!!"
  28 # CoWorker#n+1: "We need a syringe full of adrenaline!"
  29 # CoWorker#n+2: "Stab him in the heart!"
  30 # BTAF: "*YES!*"
  31 # CoWorker#n+3: "Bob's been overdosing quite a bit lately..."
  32 # CoWorker#n+4: "Third time this week."
  33
  34 # -- http://www.angryflower.com/8to6.gif
  35
  36 #######################################################################################
  37
  38 # Adds or removes packages from a suite.  Takes the list of files
  39 # either from stdin or as a command line argument.  Special action
  40 # "set", will reset the suite (!) and add all packages from scratch.
  41
  42 #######################################################################################
  43
  44 import sys
  45 import apt_pkg
  46 import os
  47
  48 from daklib.config import Config
  49 from daklib.dbconn import *
  50 from daklib import daklog
  51 from daklib import utils
  52 from daklib.queue import get_suite_version_by_package, get_suite_version_by_source
  53
  54 #######################################################################################
  55
  56 Logger = None
  57
  58 ################################################################################
  59
  60 def usage (exit_code=0):
  61     print """Usage: dak control-suite [OPTIONS] [FILE]
  62 Display or alter the contents of a suite using FILE(s), or stdin.
  63
  64   -a, --add=SUITE            add to SUITE
  65   -h, --help                 show this help and exit
  66   -l, --list=SUITE           list the contents of SUITE
  67   -r, --remove=SUITE         remove from SUITE
  68   -s, --set=SUITE            set SUITE
  69   -b, --britney              generate changelog entry for britney runs"""
  70
  71     sys.exit(exit_code)
  72
  73 #######################################################################################
  74
  75 def get_id(package, version, architecture, session):
  76     if architecture == "source":
  77         q = session.execute("SELECT id FROM source WHERE source = :package AND version = :version",
  78                             {'package': package, 'version': version})
  79     else:
  80         q = session.execute("""SELECT b.id FROM binaries b, architecture a
  81                                 WHERE b.package = :package AND b.version = :version
  82                                   AND (a.arch_string = :arch OR a.arch_string = 'all')
  83                                   AND b.architecture = a.id""",
  84                                {'package': package, 'version': version, 'arch': architecture})
  85
  86     ql = q.fetchall()
  87     if len(ql) < 1:
  88         utils.warn("Couldn't find '%s_%s_%s'." % (package, version, architecture))
  89         return None
  90
  91     if len(ql) > 1:
  92         utils.warn("Found more than one match for '%s_%s_%s'." % (package, version, architecture))
  93         return None
  94
  95     return ql[0][0]
  96
  97 #######################################################################################
  98
  99 def britney_changelog(packages, suite, session):
 100
 101     old = {}
 102     current = {}
 103     Cnf = utils.get_conf()
 104
 105     try:
 106         q = session.execute("SELECT changelog FROM suite WHERE id = :suiteid", \
 107                             {'suiteid': suite.suite_id})
 108         brit_file = q.fetchone()[0]
 109     except:
 110         brit_file = None
 111
 112     if brit_file:
 113         brit_file = os.path.join(Cnf['Dir::Root'], brit_file)
 114     else:
 115         return
 116
 117     q = session.execute("""SELECT s.source, s.version, sa.id
 118                              FROM source s, src_associations sa
 119                             WHERE sa.suite = :suiteid
 120                               AND sa.source = s.id""", {'suiteid': suite.suite_id})
 121
 122     for p in q.fetchall():
 123         current[p[0]] = p[1]
 124     for p in packages.keys():
 125         p = p.split()
 126         if p[2] == "source":
 127             old[p[0]] = p[1]
 128
 129     new = {}
 130     for p in current.keys():
 131         if p in old.keys():
 132             if apt_pkg.VersionCompare(current[p], old[p]) > 0:
 133                 new[p] = [current[p], old[p]]
 134         else:
 135             new[p] = [current[p], 0]
 136
 137     query =  "SELECT source, changelog FROM changelogs WHERE"
 138     for p in new.keys():
 139         query += " source = '%s' AND version > '%s' AND version <= '%s'" \
 140                  % (p, new[p][1], new[p][0])
 141         query += " AND architecture LIKE '%source%' AND distribution in \
 142                   ('unstable', 'experimental', 'testing-proposed-updates') OR"
 143     query += " False ORDER BY source, version DESC"
 144     q = session.execute(query)
 145
 146     pu = None
 147     brit = utils.open_file(brit_file, 'w')
 148
 149     for u in q:
 150         if pu and pu != u[0]:
 151             brit.write("\n")
 152         brit.write("%s\n" % u[1])
 153         pu = u[0]
 154     if q.rowcount: brit.write("\n\n\n")
 155
 156     for p in list(set(old.keys()).difference(current.keys())):
 157         brit.write("REMOVED: %s %s\n" % (p, old[p]))
 158
 159     brit.flush()
 160     brit.close()
 161
 162 #######################################################################################
 163
 164 def version_checks(package, architecture, target_suite, new_version, session, force = False):
 165     if architecture == "source":
 166         suite_version_list = get_suite_version_by_source(package, session)
 167     else:
 168         suite_version_list = get_suite_version_by_package(package, architecture, session)
 169
 170     must_be_newer_than = [ vc.reference.suite_name for vc in get_version_checks(target_suite, "MustBeNewerThan") ]
 171     must_be_older_than = [ vc.reference.suite_name for vc in get_version_checks(target_suite, "MustBeOlderThan") ]
 172
 173     # Must be newer than an existing version in target_suite
 174     if target_suite not in must_be_newer_than:
 175         must_be_newer_than.append(target_suite)
 176
 177     violations = False
 178
 179     for suite, version in suite_version_list:
 180         cmp = apt_pkg.VersionCompare(new_version, version)
 181         if suite in must_be_newer_than and cmp < 1:
 182             utils.warn("%s (%s): version check violated: %s targeted at %s is *not* newer than %s in %s" % (package, architecture, new_version, target_suite, version, suite))
 183             violations = True
 184         if suite in must_be_older_than and cmp > 1:
 185             utils.warn("%s (%s): version check violated: %s targeted at %s is *not* older than %s in %s" % (package, architecture, new_version, target_suite, version, suite))
 186             violations = True
 187
 188     if violations:
 189         if force:
 190             utils.warn("Continuing anyway (forced)...")
 191         else:
 192             utils.fubar("Aborting. Version checks violated and not forced.")
 193
 194 #######################################################################################
 195
 196 def cmp_package_version(a, b):
 197     """
 198     comparison function for tuples of the form (package-name, version ...)
 199     """
 200     cmp_package = cmp(a[0], b[0])
 201     if cmp_package != 0:
 202         return cmp_package
 203     return apt_pkg.VersionCompare(a[1], b[1])
 204
 205 #######################################################################################
 206
 207 def set_suite(file, suite, session, britney=False, force=False):
 208     suite_id = suite.suite_id
 209     lines = file.readlines()
 210
 211     # Our session is already in a transaction
 212
 213     # Build up a dictionary of what is currently in the suite
 214     current = {}
 215     q = session.execute("""SELECT b.package, b.version, a.arch_string, ba.id
 216                              FROM binaries b, bin_associations ba, architecture a
 217                             WHERE ba.suite = :suiteid
 218                               AND ba.bin = b.id AND b.architecture = a.id""", {'suiteid': suite_id})
 219     for i in q.fetchall():
 220         key = " ".join(i[:3])
 221         current[key] = i[3]
 222
 223     q = session.execute("""SELECT s.source, s.version, sa.id
 224                              FROM source s, src_associations sa
 225                             WHERE sa.suite = :suiteid
 226                               AND sa.source = s.id""", {'suiteid': suite_id})
 227     for i in q.fetchall():
 228         key = " ".join(i[:2]) + " source"
 229         current[key] = i[2]
 230
 231     # Build up a dictionary of what should be in the suite
 232     desired = {}
 233     for line in lines:
 234         split_line = line.strip().split()
 235         if len(split_line) != 3:
 236             utils.warn("'%s' does not break into 'package version architecture'." % (line[:-1]))
 237             continue
 238         key = " ".join(split_line)
 239         desired[key] = ""
 240
 241     # Check to see which packages need added and add them
 242     for key in sorted(desired.keys(), cmp=cmp_package_version):
 243         if not current.has_key(key):
 244             (package, version, architecture) = key.split()
 245             version_checks(package, architecture, suite.suite_name, version, session, force)
 246             pkid = get_id (package, version, architecture, session)
 247             if not pkid:
 248                 continue
 249             if architecture == "source":
 250                 session.execute("""INSERT INTO src_associations (suite, source)
 251                                         VALUES (:suiteid, :pkid)""", {'suiteid': suite_id, 'pkid': pkid})
 252             else:
 253                 session.execute("""INSERT INTO bin_associations (suite, bin)
 254                                         VALUES (:suiteid, :pkid)""", {'suiteid': suite_id, 'pkid': pkid})
 255             Logger.log(["added", key, pkid])
 256
 257     # Check to see which packages need removed and remove them
 258     for key in current.keys():
 259         if not desired.has_key(key):
 260             (package, version, architecture) = key.split()
 261             pkid = current[key]
 262             if architecture == "source":
 263                 session.execute("""DELETE FROM src_associations WHERE id = :pkid""", {'pkid': pkid})
 264             else:
 265                 session.execute("""DELETE FROM bin_associations WHERE id = :pkid""", {'pkid': pkid})
 266             Logger.log(["removed", key, pkid])
 267
 268     session.commit()
 269
 270     if britney:
 271         britney_changelog(current, suite, session)
 272
 273 #######################################################################################
 274
 275 def process_file(file, suite, action, session, britney=False, force=False):
 276     if action == "set":
 277         set_suite(file, suite, session, britney, force)
 278         return
 279
 280     suite_id = suite.suite_id
 281
 282     request = []
 283
 284     # Our session is already in a transaction
 285     for line in file:
 286         split_line = line.strip().split()
 287         if len(split_line) != 3:
 288             utils.warn("'%s' does not break into 'package version architecture'." % (line[:-1]))
 289             continue
 290         request.append(split_line)
 291
 292     request.sort(cmp=cmp_package_version)
 293
 294     for package, version, architecture in request:
 295         pkid = get_id(package, version, architecture, session)
 296         if not pkid:
 297             continue
 298
 299         # Do version checks when adding packages
 300         if action == "add":
 301             version_checks(package, architecture, suite.suite_name, version, session, force)
 302
 303         if architecture == "source":
 304             # Find the existing association ID, if any
 305             q = session.execute("""SELECT id FROM src_associations
 306                                     WHERE suite = :suiteid and source = :pkid""",
 307                                     {'suiteid': suite_id, 'pkid': pkid})
 308             ql = q.fetchall()
 309             if len(ql) < 1:
 310                 association_id = None
 311             else:
 312                 association_id = ql[0][0]
 313
 314             # Take action
 315             if action == "add":
 316                 if association_id:
 317                     utils.warn("'%s_%s_%s' already exists in suite %s." % (package, version, architecture, suite))
 318                     continue
 319                 else:
 320                     session.execute("""INSERT INTO src_associations (suite, source)
 321                                             VALUES (:suiteid, :pkid)""",
 322                                        {'suiteid': suite_id, 'pkid': pkid})
 323             elif action == "remove":
 324                 if association_id == None:
 325                     utils.warn("'%s_%s_%s' doesn't exist in suite %s." % (package, version, architecture, suite))
 326                     continue
 327                 else:
 328                     session.execute("""DELETE FROM src_associations WHERE id = :pkid""", {'pkid': association_id})
 329         else:
 330             # Find the existing associations ID, if any
 331             q = session.execute("""SELECT id FROM bin_associations
 332                                     WHERE suite = :suiteid and bin = :pkid""",
 333                                     {'suiteid': suite_id, 'pkid': pkid})
 334             ql = q.fetchall()
 335             if len(ql) < 1:
 336                 association_id = None
 337             else:
 338                 association_id = ql[0][0]
 339
 340             # Take action
 341             if action == "add":
 342                 if association_id:
 343                     utils.warn("'%s_%s_%s' already exists in suite %s." % (package, version, architecture, suite))
 344                     continue
 345                 else:
 346                     session.execute("""INSERT INTO bin_associations (suite, bin)
 347                                             VALUES (:suiteid, :pkid)""",
 348                                        {'suiteid': suite_id, 'pkid': pkid})
 349             elif action == "remove":
 350                 if association_id == None:
 351                     utils.warn("'%s_%s_%s' doesn't exist in suite %s." % (package, version, architecture, suite))
 352                     continue
 353                 else:
 354                     session.execute("""DELETE FROM bin_associations WHERE id = :pkid""", {'pkid': association_id})
 355
 356     session.commit()
 357
 358 #######################################################################################
 359
 360 def get_list(suite, session):
 361     suite_id = suite.suite_id
 362     # List binaries
 363     q = session.execute("""SELECT b.package, b.version, a.arch_string
 364                              FROM binaries b, bin_associations ba, architecture a
 365                             WHERE ba.suite = :suiteid
 366                               AND ba.bin = b.id AND b.architecture = a.id""", {'suiteid': suite_id})
 367     for i in q.fetchall():
 368         print " ".join(i)
 369
 370     # List source
 371     q = session.execute("""SELECT s.source, s.version
 372                              FROM source s, src_associations sa
 373                             WHERE sa.suite = :suiteid
 374                               AND sa.source = s.id""", {'suiteid': suite_id})
 375     for i in q.fetchall():
 376         print " ".join(i) + " source"
 377
 378 #######################################################################################
 379
 380 def main ():
 381     global Logger
 382
 383     cnf = Config()
 384
 385     Arguments = [('a',"add","Control-Suite::Options::Add", "HasArg"),
 386                  ('b',"britney","Control-Suite::Options::Britney"),
 387                  ('f','force','Control-Suite::Options::Force'),
 388                  ('h',"help","Control-Suite::Options::Help"),
 389                  ('l',"list","Control-Suite::Options::List","HasArg"),
 390                  ('r',"remove", "Control-Suite::Options::Remove", "HasArg"),
 391                  ('s',"set", "Control-Suite::Options::Set", "HasArg")]
 392
 393     for i in ["add", "britney", "help", "list", "remove", "set", "version" ]:
 394         if not cnf.has_key("Control-Suite::Options::%s" % (i)):
 395             cnf["Control-Suite::Options::%s" % (i)] = ""
 396
 397     try:
 398         file_list = apt_pkg.ParseCommandLine(cnf.Cnf, Arguments, sys.argv);
 399     except SystemError as e:
 400         print "%s\n" % e
 401         usage(1)
 402     Options = cnf.SubTree("Control-Suite::Options")
 403
 404     if Options["Help"]:
 405         usage()
 406
 407     session = DBConn().session()
 408
 409     force = Options.has_key("Force") and Options["Force"]
 410
 411     action = None
 412
 413     for i in ("add", "list", "remove", "set"):
 414         if cnf["Control-Suite::Options::%s" % (i)] != "":
 415             suite_name = cnf["Control-Suite::Options::%s" % (i)]
 416             suite = get_suite(suite_name, session=session)
 417             if suite is None:
 418                 utils.fubar("Unknown suite '%s'." % (suite_name))
 419             else:
 420                 if action:
 421                     utils.fubar("Can only perform one action at a time.")
 422                 action = i
 423
 424     # Need an action...
 425     if action == None:
 426         utils.fubar("No action specified.")
 427
 428     # Safety/Sanity check
 429     # XXX: This should be stored in the database
 430     if action == "set" and suite_name not in ["testing", "squeeze-updates"]:
 431         utils.fubar("Will not reset suite %s" % (suite_name))
 432
 433     britney = False
 434     if action == "set" and cnf["Control-Suite::Options::Britney"]:
 435         britney = True
 436
 437     if action == "list":
 438         get_list(suite, session)
 439     else:
 440         Logger = daklog.Logger("control-suite")
 441         if file_list:
 442             for f in file_list:
 443                 process_file(utils.open_file(f), suite, action, session, britney, force)
 444         else:
 445             process_file(sys.stdin, suite, action, session, britney, force)
 446         Logger.close()
 447
 448 #######################################################################################
 449
 450 if __name__ == '__main__':
 451     main()