dak/control_overrides.py

   1 #!/usr/bin/env python
   2
   3 """ Bulk manipulation of the overrides """
   4 # Copyright (C) 2000, 2001, 2002, 2003, 2006  James Troup <james@nocrew.org>
   5
   6 # This program is free software; you can redistribute it and/or modify
   7 # it under the terms of the GNU General Public License as published by
   8 # the Free Software Foundation; either version 2 of the License, or
   9 # (at your option) any later version.
  10
  11 # This program is distributed in the hope that it will be useful,
  12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 # GNU General Public License for more details.
  15
  16 # You should have received a copy of the GNU General Public License
  17 # along with this program; if not, write to the Free Software
  18 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19
  20 ################################################################################
  21
  22 # On 30 Nov 1998, James Troup wrote:
  23 #
  24 # > James Troup<2> <troup2@debian.org>
  25 # >
  26 # >    James is a clone of James; he's going to take over the world.
  27 # >    After he gets some sleep.
  28 #
  29 # Could you clone other things too? Sheep? Llamas? Giant mutant turnips?
  30 #
  31 # Your clone will need some help to take over the world, maybe clone up an
  32 # army of penguins and threaten to unleash them on the world, forcing
  33 # governments to sway to the new James' will!
  34 #
  35 # Yes, I can envision a day when James' duplicate decides to take a horrific
  36 # vengance on the James that spawned him and unleashes his fury in the form
  37 # of thousands upon thousands of chickens that look just like Captin Blue
  38 # Eye! Oh the horror.
  39 #
  40 # Now you'll have to were name tags to people can tell you apart, unless of
  41 # course the new clone is truely evil in which case he should be easy to
  42 # identify!
  43 #
  44 # Jason
  45 # Chicken. Black. Helicopters.
  46 # Be afraid.
  47
  48 # <Pine.LNX.3.96.981130011300.30365Z-100000@wakko>
  49
  50 ################################################################################
  51
  52 import pg, sys, time
  53 import apt_pkg
  54 from daklib import utils
  55 from daklib import database
  56 from daklib import logging
  57 from daklib.regexes import re_comments
  58
  59 ################################################################################
  60
  61 Cnf = None
  62 projectB = None
  63 Logger = None
  64
  65 ################################################################################
  66
  67 def usage (exit_code=0):
  68     print """Usage: dak control-overrides [OPTIONS]
  69   -h, --help               print this help and exit
  70
  71   -c, --component=CMPT     list/set overrides by component
  72                                   (contrib,*main,non-free)
  73   -s, --suite=SUITE        list/set overrides by suite
  74                                   (experimental,stable,testing,*unstable)
  75   -t, --type=TYPE          list/set overrides by type
  76                                   (*deb,dsc,udeb)
  77
  78   -a, --add                add overrides (changes and deletions are ignored)
  79   -S, --set                set overrides
  80   -C, --change             change overrides (additions and deletions are ignored)
  81   -l, --list               list overrides
  82
  83   -q, --quiet              be less verbose
  84   -n, --no-action          only list the action that would have been done
  85
  86  starred (*) values are default"""
  87     sys.exit(exit_code)
  88
  89 ################################################################################
  90
  91 def process_file (file, suite, component, type, action, noaction=0):
  92     suite_id = database.get_suite_id(suite)
  93     if suite_id == -1:
  94         utils.fubar("Suite '%s' not recognised." % (suite))
  95
  96     component_id = database.get_component_id(component)
  97     if component_id == -1:
  98         utils.fubar("Component '%s' not recognised." % (component))
  99
 100     type_id = database.get_override_type_id(type)
 101     if type_id == -1:
 102         utils.fubar("Type '%s' not recognised. (Valid types are deb, udeb and dsc.)" % (type))
 103
 104     # --set is done mostly internal for performance reasons; most
 105     # invocations of --set will be updates and making people wait 2-3
 106     # minutes while 6000 select+inserts are run needlessly isn't cool.
 107
 108     original = {}
 109     new = {}
 110     c_skipped = 0
 111     c_added = 0
 112     c_updated = 0
 113     c_removed = 0
 114     c_error = 0
 115
 116     q = projectB.query("SELECT o.package, o.priority, o.section, o.maintainer, p.priority, s.section FROM override o, priority p, section s WHERE o.suite = %s AND o.component = %s AND o.type = %s and o.priority = p.id and o.section = s.id"
 117                        % (suite_id, component_id, type_id))
 118     for i in q.getresult():
 119         original[i[0]] = i[1:]
 120
 121     start_time = time.time()
 122     if not noaction:
 123         projectB.query("BEGIN WORK")
 124     for line in file.readlines():
 125         line = re_comments.sub('', line).strip()
 126         if line == "":
 127             continue
 128
 129         maintainer_override = ""
 130         if type == "dsc":
 131             split_line = line.split(None, 2)
 132             if len(split_line) == 2:
 133                 (package, section) = split_line
 134             elif len(split_line) == 3:
 135                 (package, section, maintainer_override) = split_line
 136             else:
 137                 utils.warn("'%s' does not break into 'package section [maintainer-override]'." % (line))
 138                 c_error += 1
 139                 continue
 140             priority = "source"
 141         else: # binary or udeb
 142             split_line = line.split(None, 3)
 143             if len(split_line) == 3:
 144                 (package, priority, section) = split_line
 145             elif len(split_line) == 4:
 146                 (package, priority, section, maintainer_override) = split_line
 147             else:
 148                 utils.warn("'%s' does not break into 'package priority section [maintainer-override]'." % (line))
 149                 c_error += 1
 150                 continue
 151
 152         section_id = database.get_section_id(section)
 153         if section_id == -1:
 154             utils.warn("'%s' is not a valid section. ['%s' in suite %s, component %s]." % (section, package, suite, component))
 155             c_error += 1
 156             continue
 157         priority_id = database.get_priority_id(priority)
 158         if priority_id == -1:
 159             utils.warn("'%s' is not a valid priority. ['%s' in suite %s, component %s]." % (priority, package, suite, component))
 160             c_error += 1
 161             continue
 162
 163         if new.has_key(package):
 164             utils.warn("Can't insert duplicate entry for '%s'; ignoring all but the first. [suite %s, component %s]" % (package, suite, component))
 165             c_error += 1
 166             continue
 167         new[package] = ""
 168         if original.has_key(package):
 169             (old_priority_id, old_section_id, old_maintainer_override, old_priority, old_section) = original[package]
 170             if action == "add" or old_priority_id == priority_id and \
 171                old_section_id == section_id and \
 172                old_maintainer_override == maintainer_override:
 173                 # If it's unchanged or we're in 'add only' mode, ignore it
 174                 c_skipped += 1
 175                 continue
 176             else:
 177                 # If it's changed, delete the old one so we can
 178                 # reinsert it with the new information
 179                 c_updated += 1
 180                 if not noaction:
 181                     projectB.query("DELETE FROM override WHERE suite = %s AND component = %s AND package = '%s' AND type = %s"
 182                                    % (suite_id, component_id, package, type_id))
 183                 # Log changes
 184                 if old_priority_id != priority_id:
 185                     Logger.log(["changed priority",package,old_priority,priority])
 186                 if old_section_id != section_id:
 187                     Logger.log(["changed section",package,old_section,section])
 188                 if old_maintainer_override != maintainer_override:
 189                     Logger.log(["changed maintainer override",package,old_maintainer_override,maintainer_override])
 190                 update_p = 1
 191         elif action == "change":
 192             # Ignore additions in 'change only' mode
 193             c_skipped += 1
 194             continue
 195         else:
 196             c_added += 1
 197             update_p = 0
 198
 199         if not noaction:
 200             if maintainer_override:
 201                 projectB.query("INSERT INTO override (suite, component, type, package, priority, section, maintainer) VALUES (%s, %s, %s, '%s', %s, %s, '%s')"
 202                                % (suite_id, component_id, type_id, package, priority_id, section_id, maintainer_override))
 203             else:
 204                 projectB.query("INSERT INTO override (suite, component, type, package, priority, section,maintainer) VALUES (%s, %s, %s, '%s', %s, %s, '')"
 205                                % (suite_id, component_id, type_id, package, priority_id, section_id))
 206
 207         if not update_p:
 208             Logger.log(["new override",suite,component,type,package,priority,section,maintainer_override])
 209
 210     if action == "set":
 211         # Delete any packages which were removed
 212         for package in original.keys():
 213             if not new.has_key(package):
 214                 if not noaction:
 215                     projectB.query("DELETE FROM override WHERE suite = %s AND component = %s AND package = '%s' AND type = %s"
 216                                    % (suite_id, component_id, package, type_id))
 217                 c_removed += 1
 218                 Logger.log(["removed override",suite,component,type,package])
 219
 220     if not noaction:
 221         projectB.query("COMMIT WORK")
 222     if not Cnf["Control-Overrides::Options::Quiet"]:
 223         print "Done in %d seconds. [Updated = %d, Added = %d, Removed = %d, Skipped = %d, Errors = %d]" % (int(time.time()-start_time), c_updated, c_added, c_removed, c_skipped, c_error)
 224     Logger.log(["set complete",c_updated, c_added, c_removed, c_skipped, c_error])
 225
 226 ################################################################################
 227
 228 def list_overrides(suite, component, type):
 229     suite_id = database.get_suite_id(suite)
 230     if suite_id == -1:
 231         utils.fubar("Suite '%s' not recognised." % (suite))
 232
 233     component_id = database.get_component_id(component)
 234     if component_id == -1:
 235         utils.fubar("Component '%s' not recognised." % (component))
 236
 237     type_id = database.get_override_type_id(type)
 238     if type_id == -1:
 239         utils.fubar("Type '%s' not recognised. (Valid types are deb, udeb and dsc)" % (type))
 240
 241     if type == "dsc":
 242         q = projectB.query("SELECT o.package, s.section, o.maintainer FROM override o, section s WHERE o.suite = %s AND o.component = %s AND o.type = %s AND o.section = s.id ORDER BY s.section, o.package" % (suite_id, component_id, type_id))
 243         for i in q.getresult():
 244             print utils.result_join(i)
 245     else:
 246         q = projectB.query("SELECT o.package, p.priority, s.section, o.maintainer, p.level FROM override o, priority p, section s WHERE o.suite = %s AND o.component = %s AND o.type = %s AND o.priority = p.id AND o.section = s.id ORDER BY s.section, p.level, o.package" % (suite_id, component_id, type_id))
 247         for i in q.getresult():
 248             print utils.result_join(i[:-1])
 249
 250 ################################################################################
 251
 252 def main ():
 253     global Cnf, projectB, Logger
 254
 255     Cnf = utils.get_conf()
 256     Arguments = [('a', "add", "Control-Overrides::Options::Add"),
 257                  ('c', "component", "Control-Overrides::Options::Component", "HasArg"),
 258                  ('h', "help", "Control-Overrides::Options::Help"),
 259                  ('l', "list", "Control-Overrides::Options::List"),
 260                  ('q', "quiet", "Control-Overrides::Options::Quiet"),
 261                  ('s', "suite", "Control-Overrides::Options::Suite", "HasArg"),
 262                  ('S', "set", "Control-Overrides::Options::Set"),
 263                  ('C', "change", "Control-Overrides::Options::Change"),
 264                  ('n', "no-action", "Control-Overrides::Options::No-Action"),
 265                  ('t', "type", "Control-Overrides::Options::Type", "HasArg")]
 266
 267     # Default arguments
 268     for i in [ "add", "help", "list", "quiet", "set", "change", "no-action" ]:
 269         if not Cnf.has_key("Control-Overrides::Options::%s" % (i)):
 270             Cnf["Control-Overrides::Options::%s" % (i)] = ""
 271     if not Cnf.has_key("Control-Overrides::Options::Component"):
 272         Cnf["Control-Overrides::Options::Component"] = "main"
 273     if not Cnf.has_key("Control-Overrides::Options::Suite"):
 274         Cnf["Control-Overrides::Options::Suite"] = "unstable"
 275     if not Cnf.has_key("Control-Overrides::Options::Type"):
 276         Cnf["Control-Overrides::Options::Type"] = "deb"
 277
 278     file_list = apt_pkg.ParseCommandLine(Cnf,Arguments,sys.argv)
 279
 280     if Cnf["Control-Overrides::Options::Help"]:
 281         usage()
 282
 283     projectB = pg.connect(Cnf["DB::Name"], Cnf["DB::Host"], int(Cnf["DB::Port"]))
 284     database.init(Cnf, projectB)
 285
 286     action = None
 287     for i in [ "add", "list", "set", "change" ]:
 288         if Cnf["Control-Overrides::Options::%s" % (i)]:
 289             if action:
 290                 utils.fubar("Can not perform more than one action at once.")
 291             action = i
 292
 293     (suite, component, otype) = (Cnf["Control-Overrides::Options::Suite"],
 294                                  Cnf["Control-Overrides::Options::Component"],
 295                                  Cnf["Control-Overrides::Options::Type"])
 296
 297     if action == "list":
 298         list_overrides(suite, component, otype)
 299     else:
 300         if Cnf.has_key("Suite::%s::Untouchable" % suite) and Cnf["Suite::%s::Untouchable" % suite] != 0:
 301             utils.fubar("%s: suite is untouchable" % suite)
 302
 303         noaction = 0
 304         if Cnf["Control-Overrides::Options::No-Action"]:
 305             utils.warn("In No-Action Mode")
 306             noaction = 1
 307
 308         Logger = logging.Logger(Cnf, "control-overrides", noaction)
 309         if file_list:
 310             for f in file_list:
 311                 process_file(utils.open_file(f), suite, component, otype, action, noaction)
 312         else:
 313             process_file(sys.stdin, suite, component, otype, action, noaction)
 314         Logger.close()
 315
 316 #######################################################################################
 317
 318 if __name__ == '__main__':
 319     main()