]> git.decadent.org.uk Git - dak.git/blob - dak/control_overrides.py
dinstall
[dak.git] / dak / control_overrides.py
1 #!/usr/bin/env python
2
3 """ Bulk manipulation of the overrides """
4 # Copyright (C) 2000, 2001, 2002, 2003, 2006  James Troup <james@nocrew.org>
5
6 # This program is free software; you can redistribute it and/or modify
7 # it under the terms of the GNU General Public License as published by
8 # the Free Software Foundation; either version 2 of the License, or
9 # (at your option) any later version.
10
11 # This program is distributed in the hope that it will be useful,
12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 # GNU General Public License for more details.
15
16 # You should have received a copy of the GNU General Public License
17 # along with this program; if not, write to the Free Software
18 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19
20 ################################################################################
21
22 # On 30 Nov 1998, James Troup wrote:
23 #
24 # > James Troup<2> <troup2@debian.org>
25 # >
26 # >    James is a clone of James; he's going to take over the world.
27 # >    After he gets some sleep.
28 #
29 # Could you clone other things too? Sheep? Llamas? Giant mutant turnips?
30 #
31 # Your clone will need some help to take over the world, maybe clone up an
32 # army of penguins and threaten to unleash them on the world, forcing
33 # governments to sway to the new James' will!
34 #
35 # Yes, I can envision a day when James' duplicate decides to take a horrific
36 # vengance on the James that spawned him and unleashes his fury in the form
37 # of thousands upon thousands of chickens that look just like Captin Blue
38 # Eye! Oh the horror.
39 #
40 # Now you'll have to were name tags to people can tell you apart, unless of
41 # course the new clone is truely evil in which case he should be easy to
42 # identify!
43 #
44 # Jason
45 # Chicken. Black. Helicopters.
46 # Be afraid.
47
48 # <Pine.LNX.3.96.981130011300.30365Z-100000@wakko>
49
50 ################################################################################
51
52 import sys, time
53 import apt_pkg
54
55 from daklib.dbconn import *
56 from daklib.config import Config
57 from daklib import utils
58 from daklib import daklog
59 from daklib.regexes import re_comments
60
61 ################################################################################
62
63 Logger = None
64
65 ################################################################################
66
67 def usage (exit_code=0):
68     print """Usage: dak control-overrides [OPTIONS]
69   -h, --help               print this help and exit
70
71   -c, --component=CMPT     list/set overrides by component
72                                   (contrib,*main,non-free)
73   -s, --suite=SUITE        list/set overrides by suite
74                                   (experimental,stable,testing,*unstable)
75   -t, --type=TYPE          list/set overrides by type
76                                   (*deb,dsc,udeb)
77
78   -a, --add                add overrides (changes and deletions are ignored)
79   -S, --set                set overrides
80   -C, --change             change overrides (additions and deletions are ignored)
81   -l, --list               list overrides
82
83   -q, --quiet              be less verbose
84   -n, --no-action          only list the action that would have been done
85
86  starred (*) values are default"""
87     sys.exit(exit_code)
88
89 ################################################################################
90
91 def process_file(file, suite, component, otype, mode, action, session):
92     cnf = Config()
93
94     s = get_suite(suite, session=session)
95     if s is None:
96         utils.fubar("Suite '%s' not recognised." % (suite))
97     suite_id = s.suite_id
98
99     c = get_component(component, session=session)
100     if c is None:
101         utils.fubar("Component '%s' not recognised." % (component))
102     component_id = c.component_id
103
104     o = get_override_type(otype)
105     if o is None:
106         utils.fubar("Type '%s' not recognised. (Valid types are deb, udeb and dsc.)" % (otype))
107     type_id = o.overridetype_id
108
109     # --set is done mostly internal for performance reasons; most
110     # invocations of --set will be updates and making people wait 2-3
111     # minutes while 6000 select+inserts are run needlessly isn't cool.
112
113     original = {}
114     new = {}
115     c_skipped = 0
116     c_added = 0
117     c_updated = 0
118     c_removed = 0
119     c_error = 0
120
121     q = session.execute("""SELECT o.package, o.priority, o.section, o.maintainer, p.priority, s.section
122                            FROM override o, priority p, section s
123                            WHERE o.suite = :suiteid AND o.component = :componentid AND o.type = :typeid
124                              and o.priority = p.id and o.section = s.id""",
125                            {'suiteid': suite_id, 'componentid': component_id, 'typeid': type_id})
126     for i in q.fetchall():
127         original[i[0]] = i[1:]
128
129     start_time = time.time()
130
131     section_cache = get_sections(session)
132     priority_cache = get_priorities(session)
133
134     # Our session is already in a transaction
135
136     for line in file.readlines():
137         line = re_comments.sub('', line).strip()
138         if line == "":
139             continue
140
141         maintainer_override = None
142         if otype == "dsc":
143             split_line = line.split(None, 2)
144             if len(split_line) == 2:
145                 (package, section) = split_line
146             elif len(split_line) == 3:
147                 (package, section, maintainer_override) = split_line
148             else:
149                 utils.warn("'%s' does not break into 'package section [maintainer-override]'." % (line))
150                 c_error += 1
151                 continue
152             priority = "source"
153         else: # binary or udeb
154             split_line = line.split(None, 3)
155             if len(split_line) == 3:
156                 (package, priority, section) = split_line
157             elif len(split_line) == 4:
158                 (package, priority, section, maintainer_override) = split_line
159             else:
160                 utils.warn("'%s' does not break into 'package priority section [maintainer-override]'." % (line))
161                 c_error += 1
162                 continue
163
164         if not section_cache.has_key(section):
165             utils.warn("'%s' is not a valid section. ['%s' in suite %s, component %s]." % (section, package, suite, component))
166             c_error += 1
167             continue
168
169         section_id = section_cache[section]
170
171         if not priority_cache.has_key(priority):
172             utils.warn("'%s' is not a valid priority. ['%s' in suite %s, component %s]." % (priority, package, suite, component))
173             c_error += 1
174             continue
175
176         priority_id = priority_cache[priority]
177
178         if new.has_key(package):
179             utils.warn("Can't insert duplicate entry for '%s'; ignoring all but the first. [suite %s, component %s]" % (package, suite, component))
180             c_error += 1
181             continue
182         new[package] = ""
183
184         if original.has_key(package):
185             (old_priority_id, old_section_id, old_maintainer_override, old_priority, old_section) = original[package]
186             if mode == "add" or old_priority_id == priority_id and \
187                old_section_id == section_id and \
188                old_maintainer_override == maintainer_override:
189                 # If it's unchanged or we're in 'add only' mode, ignore it
190                 c_skipped += 1
191                 continue
192             else:
193                 # If it's changed, delete the old one so we can
194                 # reinsert it with the new information
195                 c_updated += 1
196                 if action:
197                     session.execute("""DELETE FROM override WHERE suite = :suite AND component = :component
198                                                               AND package = :package AND type = :typeid""",
199                                     {'suite': suite_id,  'component': component_id,
200                                      'package': package, 'typeid': type_id})
201
202                 # Log changes
203                 if old_priority_id != priority_id:
204                     Logger.log(["changed priority", package, old_priority, priority])
205                 if old_section_id != section_id:
206                     Logger.log(["changed section", package, old_section, section])
207                 if old_maintainer_override != maintainer_override:
208                     Logger.log(["changed maintainer override", package, old_maintainer_override, maintainer_override])
209                 update_p = 1
210         elif mode == "change":
211             # Ignore additions in 'change only' mode
212             c_skipped += 1
213             continue
214         else:
215             c_added += 1
216             update_p = 0
217
218         if action:
219             if not maintainer_override:
220                 m_o = None
221             else:
222                 m_o = maintainer_override
223             session.execute("""INSERT INTO override (suite, component, type, package,
224                                                      priority, section, maintainer)
225                                              VALUES (:suiteid, :componentid, :typeid,
226                                                      :package, :priorityid, :sectionid,
227                                                      :maintainer)""",
228                               {'suiteid': suite_id, 'componentid': component_id,
229                                'typeid':  type_id,  'package': package,
230                                'priorityid': priority_id, 'sectionid': section_id,
231                                'maintainer': m_o})
232
233         if not update_p:
234             Logger.log(["new override", suite, component, otype, package,priority,section,maintainer_override])
235
236     if mode == "set":
237         # Delete any packages which were removed
238         for package in original.keys():
239             if not new.has_key(package):
240                 if action:
241                     session.execute("""DELETE FROM override
242                                        WHERE suite = :suiteid AND component = :componentid
243                                          AND package = :package AND type = :typeid""",
244                                     {'suiteid': suite_id, 'componentid': component_id,
245                                      'package': package, 'typeid': type_id})
246                 c_removed += 1
247                 Logger.log(["removed override", suite, component, otype, package])
248
249     if action:
250         session.commit()
251
252     if not cnf["Control-Overrides::Options::Quiet"]:
253         print "Done in %d seconds. [Updated = %d, Added = %d, Removed = %d, Skipped = %d, Errors = %d]" % (int(time.time()-start_time), c_updated, c_added, c_removed, c_skipped, c_error)
254
255     Logger.log(["set complete", c_updated, c_added, c_removed, c_skipped, c_error])
256
257 ################################################################################
258
259 def list_overrides(suite, component, otype, session):
260     dat = {}
261     s = get_suite(suite, session)
262     if s is None:
263         utils.fubar("Suite '%s' not recognised." % (suite))
264
265     dat['suiteid'] = s.suite_id
266
267     c = get_component(component, session)
268     if c is None:
269         utils.fubar("Component '%s' not recognised." % (component))
270
271     dat['componentid'] = c.component_id
272
273     o = get_override_type(otype)
274     if o is None:
275         utils.fubar("Type '%s' not recognised. (Valid types are deb, udeb and dsc)" % (otype))
276
277     dat['typeid'] = o.overridetype_id
278
279     if otype == "dsc":
280         q = session.execute("""SELECT o.package, s.section, o.maintainer FROM override o, section s
281                                 WHERE o.suite = :suiteid AND o.component = :componentid
282                                   AND o.type = :typeid AND o.section = s.id
283                              ORDER BY s.section, o.package""", dat)
284         for i in q.fetchall():
285             print utils.result_join(i)
286     else:
287         q = session.execute("""SELECT o.package, p.priority, s.section, o.maintainer, p.level
288                                  FROM override o, priority p, section s
289                                 WHERE o.suite = :suiteid AND o.component = :componentid
290                                   AND o.type = :typeid AND o.priority = p.id AND o.section = s.id
291                              ORDER BY s.section, p.level, o.package""", dat)
292         for i in q.fetchall():
293             print utils.result_join(i[:-1])
294
295 ################################################################################
296
297 def main ():
298     global Logger
299
300     cnf = Config()
301     Arguments = [('a', "add", "Control-Overrides::Options::Add"),
302                  ('c', "component", "Control-Overrides::Options::Component", "HasArg"),
303                  ('h', "help", "Control-Overrides::Options::Help"),
304                  ('l', "list", "Control-Overrides::Options::List"),
305                  ('q', "quiet", "Control-Overrides::Options::Quiet"),
306                  ('s', "suite", "Control-Overrides::Options::Suite", "HasArg"),
307                  ('S', "set", "Control-Overrides::Options::Set"),
308                  ('C', "change", "Control-Overrides::Options::Change"),
309                  ('n', "no-action", "Control-Overrides::Options::No-Action"),
310                  ('t', "type", "Control-Overrides::Options::Type", "HasArg")]
311
312     # Default arguments
313     for i in [ "add", "help", "list", "quiet", "set", "change", "no-action" ]:
314         if not cnf.has_key("Control-Overrides::Options::%s" % (i)):
315             cnf["Control-Overrides::Options::%s" % (i)] = ""
316     if not cnf.has_key("Control-Overrides::Options::Component"):
317         cnf["Control-Overrides::Options::Component"] = "main"
318     if not cnf.has_key("Control-Overrides::Options::Suite"):
319         cnf["Control-Overrides::Options::Suite"] = "unstable"
320     if not cnf.has_key("Control-Overrides::Options::Type"):
321         cnf["Control-Overrides::Options::Type"] = "deb"
322
323     file_list = apt_pkg.ParseCommandLine(cnf.Cnf, Arguments, sys.argv)
324
325     if cnf["Control-Overrides::Options::Help"]:
326         usage()
327
328     session = DBConn().session()
329
330     mode = None
331     for i in [ "add", "list", "set", "change" ]:
332         if cnf["Control-Overrides::Options::%s" % (i)]:
333             if mode:
334                 utils.fubar("Can not perform more than one action at once.")
335             mode = i
336
337     # Need an action...
338     if mode is None:
339         utils.fubar("No action specified.")
340
341     (suite, component, otype) = (cnf["Control-Overrides::Options::Suite"],
342                                  cnf["Control-Overrides::Options::Component"],
343                                  cnf["Control-Overrides::Options::Type"])
344
345     if mode == "list":
346         list_overrides(suite, component, otype, session)
347     else:
348         if get_suite(suite).untouchable:
349             utils.fubar("%s: suite is untouchable" % suite)
350
351         action = True
352         if cnf["Control-Overrides::Options::No-Action"]:
353             utils.warn("In No-Action Mode")
354             action = False
355
356         Logger = daklog.Logger(cnf.Cnf, "control-overrides", mode)
357         if file_list:
358             for f in file_list:
359                 process_file(utils.open_file(f), suite, component, otype, mode, action, session)
360         else:
361             process_file(sys.stdin, suite, component, otype, mode, action, session)
362         Logger.close()
363
364 #######################################################################################
365
366 if __name__ == '__main__':
367     main()