dak/control_suite.py

   1 #!/usr/bin/env python
   2
   3 """ Manipulate suite tags """
   4 # Copyright (C) 2000, 2001, 2002, 2003, 2004, 2005, 2006  James Troup <james@nocrew.org>
   5
   6 # This program is free software; you can redistribute it and/or modify
   7 # it under the terms of the GNU General Public License as published by
   8 # the Free Software Foundation; either version 2 of the License, or
   9 # (at your option) any later version.
  10
  11 # This program is distributed in the hope that it will be useful,
  12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 # GNU General Public License for more details.
  15
  16 # You should have received a copy of the GNU General Public License
  17 # along with this program; if not, write to the Free Software
  18 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19
  20 #######################################################################################
  21
  22 # 8to6Guy: "Wow, Bob, You look rough!"
  23 # BTAF: "Mbblpmn..."
  24 # BTAF <.oO>: "You moron! This is what you get for staying up all night drinking vodka and salad dressing!"
  25 # BTAF <.oO>: "This coffee I.V. drip is barely even keeping me awake! I need something with more kick! But what?"
  26 # BTAF: "OMIGOD! I OVERDOSED ON HEROIN"
  27 # CoWorker#n: "Give him air!!"
  28 # CoWorker#n+1: "We need a syringe full of adrenaline!"
  29 # CoWorker#n+2: "Stab him in the heart!"
  30 # BTAF: "*YES!*"
  31 # CoWorker#n+3: "Bob's been overdosing quite a bit lately..."
  32 # CoWorker#n+4: "Third time this week."
  33
  34 # -- http://www.angryflower.com/8to6.gif
  35
  36 #######################################################################################
  37
  38 # Adds or removes packages from a suite.  Takes the list of files
  39 # either from stdin or as a command line argument.  Special action
  40 # "set", will reset the suite (!) and add all packages from scratch.
  41
  42 #######################################################################################
  43
  44 import sys
  45 import apt_pkg
  46 import os
  47
  48 from daklib.config import Config
  49 from daklib.dbconn import *
  50 from daklib import daklog
  51 from daklib import utils
  52
  53 #######################################################################################
  54
  55 Logger = None
  56
  57 ################################################################################
  58
  59 def usage (exit_code=0):
  60     print """Usage: dak control-suite [OPTIONS] [FILE]
  61 Display or alter the contents of a suite using FILE(s), or stdin.
  62
  63   -a, --add=SUITE            add to SUITE
  64   -h, --help                 show this help and exit
  65   -l, --list=SUITE           list the contents of SUITE
  66   -r, --remove=SUITE         remove from SUITE
  67   -s, --set=SUITE            set SUITE
  68   -b, --britney              generate changelog entry for britney runs"""
  69
  70     sys.exit(exit_code)
  71
  72 #######################################################################################
  73
  74 def get_id(package, version, architecture, session):
  75     if architecture == "source":
  76         q = session.execute("SELECT id FROM source WHERE source = :package AND version = :version",
  77                             {'package': package, 'version': version})
  78     else:
  79         q = session.execute("""SELECT b.id FROM binaries b, architecture a
  80                                 WHERE b.package = :package AND b.version = :version
  81                                   AND (a.arch_string = :arch OR a.arch_string = 'all')
  82                                   AND b.architecture = a.id""",
  83                                {'package': package, 'version': version, 'arch': architecture})
  84
  85     ql = q.fetchall()
  86     if len(ql) < 1:
  87         utils.warn("Couldn't find '%s_%s_%s'." % (package, version, architecture))
  88         return None
  89
  90     if len(ql) > 1:
  91         utils.warn("Found more than one match for '%s_%s_%s'." % (package, version, architecture))
  92         return None
  93
  94     return ql[0][0]
  95
  96 #######################################################################################
  97
  98 def britney_changelog(packages, suite, session):
  99
 100     old = {}
 101     current = {}
 102     Cnf = utils.get_conf()
 103
 104     try:
 105         q = session.execute("SELECT changelog FROM suite WHERE id = :suiteid", \
 106                             {'suiteid': suite.suite_id})
 107         brit_file = q.fetchone()[0]
 108     except:
 109         brit_file = None
 110
 111     if brit_file:
 112         brit_file = os.path.join(Cnf['Dir::Root'], brit_file)
 113     else:
 114         return
 115
 116     q = session.execute("""SELECT s.source, s.version, sa.id
 117                              FROM source s, src_associations sa
 118                             WHERE sa.suite = :suiteid
 119                               AND sa.source = s.id""", {'suiteid': suite.suite_id})
 120
 121     for p in q.fetchall():
 122         current[p[0]] = p[1]
 123     for p in packages.keys():
 124         p = p.split()
 125         if p[2] == "source":
 126             old[p[0]] = p[1]
 127
 128     new = {}
 129     for p in current.keys():
 130         if p in old.keys():
 131             if apt_pkg.VersionCompare(current[p], old[p]) > 0:
 132                 new[p] = [current[p], old[p]]
 133         else:
 134             new[p] = [current[p], 0]
 135
 136     query =  "SELECT source, changelog FROM changelogs WHERE"
 137     for p in new.keys():
 138         query += " source = '%s' AND version > '%s' AND version <= '%s'" \
 139                  % (p, new[p][1], new[p][0])
 140         query += " AND architecture LIKE '%source%' AND distribution in \
 141                   ('unstable', 'experimental', 'testing-proposed-updates') OR"
 142     query += " False ORDER BY source, version DESC"
 143     q = session.execute(query)
 144
 145     pu = None
 146     brit = utils.open_file(brit_file, 'w')
 147
 148     for u in q:
 149         if pu and pu != u[0]:
 150             brit.write("\n")
 151         brit.write("%s\n" % u[1])
 152         pu = u[0]
 153     if q.rowcount: brit.write("\n\n\n")
 154
 155     for p in list(set(old.keys()).difference(current.keys())):
 156         brit.write("REMOVED: %s %s\n" % (p, old[p]))
 157
 158     brit.flush()
 159     brit.close()
 160
 161 #######################################################################################
 162
 163 def set_suite(file, suite, session, britney=False):
 164     suite_id = suite.suite_id
 165     lines = file.readlines()
 166
 167     # Our session is already in a transaction
 168
 169     # Build up a dictionary of what is currently in the suite
 170     current = {}
 171     q = session.execute("""SELECT b.package, b.version, a.arch_string, ba.id
 172                              FROM binaries b, bin_associations ba, architecture a
 173                             WHERE ba.suite = :suiteid
 174                               AND ba.bin = b.id AND b.architecture = a.id""", {'suiteid': suite_id})
 175     for i in q.fetchall():
 176         key = " ".join(i[:3])
 177         current[key] = i[3]
 178
 179     q = session.execute("""SELECT s.source, s.version, sa.id
 180                              FROM source s, src_associations sa
 181                             WHERE sa.suite = :suiteid
 182                               AND sa.source = s.id""", {'suiteid': suite_id})
 183     for i in q.fetchall():
 184         key = " ".join(i[:2]) + " source"
 185         current[key] = i[2]
 186
 187     # Build up a dictionary of what should be in the suite
 188     desired = {}
 189     for line in lines:
 190         split_line = line.strip().split()
 191         if len(split_line) != 3:
 192             utils.warn("'%s' does not break into 'package version architecture'." % (line[:-1]))
 193             continue
 194         key = " ".join(split_line)
 195         desired[key] = ""
 196
 197     # Check to see which packages need removed and remove them
 198     for key in current.keys():
 199         if not desired.has_key(key):
 200             (package, version, architecture) = key.split()
 201             pkid = current[key]
 202             if architecture == "source":
 203                 session.execute("""DELETE FROM src_associations WHERE id = :pkid""", {'pkid': pkid})
 204             else:
 205                 session.execute("""DELETE FROM bin_associations WHERE id = :pkid""", {'pkid': pkid})
 206             Logger.log(["removed", key, pkid])
 207
 208     # Check to see which packages need added and add them
 209     for key in desired.keys():
 210         if not current.has_key(key):
 211             (package, version, architecture) = key.split()
 212             pkid = get_id (package, version, architecture, session)
 213             if not pkid:
 214                 continue
 215             if architecture == "source":
 216                 session.execute("""INSERT INTO src_associations (suite, source)
 217                                         VALUES (:suiteid, :pkid)""", {'suiteid': suite_id, 'pkid': pkid})
 218             else:
 219                 session.execute("""INSERT INTO bin_associations (suite, bin)
 220                                         VALUES (:suiteid, :pkid)""", {'suiteid': suite_id, 'pkid': pkid})
 221             Logger.log(["added", key, pkid])
 222
 223     session.commit()
 224
 225     if britney:
 226         britney_changelog(current, suite, session)
 227
 228 #######################################################################################
 229
 230 def process_file(file, suite, action, session, britney=False):
 231     if action == "set":
 232         set_suite(file, suite, session, britney)
 233         return
 234
 235     suite_id = suite.suite_id
 236
 237     lines = file.readlines()
 238
 239     # Our session is already in a transaction
 240     for line in lines:
 241         split_line = line.strip().split()
 242         if len(split_line) != 3:
 243             utils.warn("'%s' does not break into 'package version architecture'." % (line[:-1]))
 244             continue
 245
 246         (package, version, architecture) = split_line
 247
 248         pkid = get_id(package, version, architecture, session)
 249         if not pkid:
 250             continue
 251
 252         if architecture == "source":
 253             # Find the existing association ID, if any
 254             q = session.execute("""SELECT id FROM src_associations
 255                                     WHERE suite = :suiteid and source = :pkid""",
 256                                     {'suiteid': suite_id, 'pkid': pkid})
 257             ql = q.fetchall()
 258             if len(ql) < 1:
 259                 association_id = None
 260             else:
 261                 association_id = ql[0][0]
 262
 263             # Take action
 264             if action == "add":
 265                 if association_id:
 266                     utils.warn("'%s_%s_%s' already exists in suite %s." % (package, version, architecture, suite))
 267                     continue
 268                 else:
 269                     session.execute("""INSERT INTO src_associations (suite, source)
 270                                             VALUES (:suiteid, :pkid)""",
 271                                        {'suiteid': suite_id, 'pkid': pkid})
 272             elif action == "remove":
 273                 if association_id == None:
 274                     utils.warn("'%s_%s_%s' doesn't exist in suite %s." % (package, version, architecture, suite))
 275                     continue
 276                 else:
 277                     session.execute("""DELETE FROM src_associations WHERE id = :pkid""", {'pkid': association_id})
 278         else:
 279             # Find the existing associations ID, if any
 280             q = session.execute("""SELECT id FROM bin_associations
 281                                     WHERE suite = :suiteid and bin = :pkid""",
 282                                     {'suiteid': suite_id, 'pkid': pkid})
 283             ql = q.fetchall()
 284             if len(ql) < 1:
 285                 association_id = None
 286             else:
 287                 association_id = ql[0][0]
 288
 289             # Take action
 290             if action == "add":
 291                 if association_id:
 292                     utils.warn("'%s_%s_%s' already exists in suite %s." % (package, version, architecture, suite))
 293                     continue
 294                 else:
 295                     session.execute("""INSERT INTO bin_associations (suite, bin)
 296                                             VALUES (:suiteid, :pkid)""",
 297                                        {'suiteid': suite_id, 'pkid': pkid})
 298             elif action == "remove":
 299                 if association_id == None:
 300                     utils.warn("'%s_%s_%s' doesn't exist in suite %s." % (package, version, architecture, suite))
 301                     continue
 302                 else:
 303                     session.execute("""DELETE FROM bin_associations WHERE id = :pkid""", {'pkid': association_id})
 304
 305     session.commit()
 306
 307 #######################################################################################
 308
 309 def get_list(suite, session):
 310     suite_id = suite.suite_id
 311     # List binaries
 312     q = session.execute("""SELECT b.package, b.version, a.arch_string
 313                              FROM binaries b, bin_associations ba, architecture a
 314                             WHERE ba.suite = :suiteid
 315                               AND ba.bin = b.id AND b.architecture = a.id""", {'suiteid': suite_id})
 316     for i in q.fetchall():
 317         print " ".join(i)
 318
 319     # List source
 320     q = session.execute("""SELECT s.source, s.version
 321                              FROM source s, src_associations sa
 322                             WHERE sa.suite = :suiteid
 323                               AND sa.source = s.id""", {'suiteid': suite_id})
 324     for i in q.fetchall():
 325         print " ".join(i) + " source"
 326
 327 #######################################################################################
 328
 329 def main ():
 330     global Logger
 331
 332     cnf = Config()
 333
 334     Arguments = [('a',"add","Control-Suite::Options::Add", "HasArg"),
 335                  ('b',"britney","Control-Suite::Options::Britney"),
 336                  ('h',"help","Control-Suite::Options::Help"),
 337                  ('l',"list","Control-Suite::Options::List","HasArg"),
 338                  ('r',"remove", "Control-Suite::Options::Remove", "HasArg"),
 339                  ('s',"set", "Control-Suite::Options::Set", "HasArg")]
 340
 341     for i in ["add", "britney", "help", "list", "remove", "set", "version" ]:
 342         if not cnf.has_key("Control-Suite::Options::%s" % (i)):
 343             cnf["Control-Suite::Options::%s" % (i)] = ""
 344
 345     try:
 346         file_list = apt_pkg.ParseCommandLine(cnf.Cnf, Arguments, sys.argv);
 347     except SystemError, e:
 348         print "%s\n" % e
 349         usage(1)
 350     Options = cnf.SubTree("Control-Suite::Options")
 351
 352     if Options["Help"]:
 353         usage()
 354
 355     session = DBConn().session()
 356
 357     action = None
 358
 359     for i in ("add", "list", "remove", "set"):
 360         if cnf["Control-Suite::Options::%s" % (i)] != "":
 361             suite_name = cnf["Control-Suite::Options::%s" % (i)]
 362             suite = get_suite(suite_name, session=session)
 363             if suite is None:
 364                 utils.fubar("Unknown suite '%s'." % (suite_name))
 365             else:
 366                 if action:
 367                     utils.fubar("Can only perform one action at a time.")
 368                 action = i
 369
 370     # Need an action...
 371     if action == None:
 372         utils.fubar("No action specified.")
 373
 374     # Safety/Sanity check
 375     # XXX: This should be stored in the database
 376     if action == "set" and suite_name not in ["testing"]:
 377         utils.fubar("Will not reset suite %s" % (suite_name))
 378
 379     britney = False
 380     if action == "set" and cnf["Control-Suite::Options::Britney"]:
 381         britney = True
 382
 383     if action == "list":
 384         get_list(suite, session)
 385     else:
 386         Logger = daklog.Logger(cnf.Cnf, "control-suite")
 387         if file_list:
 388             for f in file_list:
 389                 process_file(utils.open_file(f), suite, action, session, britney)
 390         else:
 391             process_file(sys.stdin, suite, action, session, britney)
 392         Logger.close()
 393
 394 #######################################################################################
 395
 396 if __name__ == '__main__':
 397     main()