]> git.decadent.org.uk Git - dak.git/blob - dak/control_overrides.py
Merge commit 'ftpmaster/master'
[dak.git] / dak / control_overrides.py
1 #!/usr/bin/env python
2
3 """ Bulk manipulation of the overrides """
4 # Copyright (C) 2000, 2001, 2002, 2003, 2006  James Troup <james@nocrew.org>
5
6 # This program is free software; you can redistribute it and/or modify
7 # it under the terms of the GNU General Public License as published by
8 # the Free Software Foundation; either version 2 of the License, or
9 # (at your option) any later version.
10
11 # This program is distributed in the hope that it will be useful,
12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 # GNU General Public License for more details.
15
16 # You should have received a copy of the GNU General Public License
17 # along with this program; if not, write to the Free Software
18 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19
20 ################################################################################
21
22 # On 30 Nov 1998, James Troup wrote:
23 #
24 # > James Troup<2> <troup2@debian.org>
25 # >
26 # >    James is a clone of James; he's going to take over the world.
27 # >    After he gets some sleep.
28 #
29 # Could you clone other things too? Sheep? Llamas? Giant mutant turnips?
30 #
31 # Your clone will need some help to take over the world, maybe clone up an
32 # army of penguins and threaten to unleash them on the world, forcing
33 # governments to sway to the new James' will!
34 #
35 # Yes, I can envision a day when James' duplicate decides to take a horrific
36 # vengance on the James that spawned him and unleashes his fury in the form
37 # of thousands upon thousands of chickens that look just like Captin Blue
38 # Eye! Oh the horror.
39 #
40 # Now you'll have to were name tags to people can tell you apart, unless of
41 # course the new clone is truely evil in which case he should be easy to
42 # identify!
43 #
44 # Jason
45 # Chicken. Black. Helicopters.
46 # Be afraid.
47
48 # <Pine.LNX.3.96.981130011300.30365Z-100000@wakko>
49
50 ################################################################################
51
52 import pg, sys, time
53 import apt_pkg
54 from daklib import utils
55 from daklib import database
56 from daklib import logging
57 from daklib.regexes import re_comments
58
59 ################################################################################
60
61 Cnf = None
62 projectB = None
63 Logger = None
64
65 ################################################################################
66
67 def usage (exit_code=0):
68     print """Usage: dak control-overrides [OPTIONS]
69   -h, --help               print this help and exit
70
71   -c, --component=CMPT     list/set overrides by component
72                                   (contrib,*main,non-free)
73   -s, --suite=SUITE        list/set overrides by suite
74                                   (experimental,stable,testing,*unstable)
75   -t, --type=TYPE          list/set overrides by type
76                                   (*deb,dsc,udeb)
77
78   -a, --add                add overrides (changes and deletions are ignored)
79   -S, --set                set overrides
80   -C, --change             change overrides (additions and deletions are ignored)
81   -l, --list               list overrides
82
83   -q, --quiet              be less verbose
84   -n, --no-action          only list the action that would have been done
85
86  starred (*) values are default"""
87     sys.exit(exit_code)
88
89 ################################################################################
90
91 def process_file (file, suite, component, type, action, noaction=0):
92     suite_id = database.get_suite_id(suite)
93     if suite_id == -1:
94         utils.fubar("Suite '%s' not recognised." % (suite))
95
96     component_id = database.get_component_id(component)
97     if component_id == -1:
98         utils.fubar("Component '%s' not recognised." % (component))
99
100     type_id = database.get_override_type_id(type)
101     if type_id == -1:
102         utils.fubar("Type '%s' not recognised. (Valid types are deb, udeb and dsc.)" % (type))
103
104     # --set is done mostly internal for performance reasons; most
105     # invocations of --set will be updates and making people wait 2-3
106     # minutes while 6000 select+inserts are run needlessly isn't cool.
107
108     original = {}
109     new = {}
110     c_skipped = 0
111     c_added = 0
112     c_updated = 0
113     c_removed = 0
114     c_error = 0
115
116     q = projectB.query("SELECT o.package, o.priority, o.section, o.maintainer, p.priority, s.section FROM override o, priority p, section s WHERE o.suite = %s AND o.component = %s AND o.type = %s and o.priority = p.id and o.section = s.id"
117                        % (suite_id, component_id, type_id))
118     for i in q.getresult():
119         original[i[0]] = i[1:]
120
121     start_time = time.time()
122     if not noaction:
123         projectB.query("BEGIN WORK")
124     for line in file.readlines():
125         line = re_comments.sub('', line).strip()
126         if line == "":
127             continue
128
129         maintainer_override = ""
130         if type == "dsc":
131             split_line = line.split(None, 2)
132             if len(split_line) == 2:
133                 (package, section) = split_line
134             elif len(split_line) == 3:
135                 (package, section, maintainer_override) = split_line
136             else:
137                 utils.warn("'%s' does not break into 'package section [maintainer-override]'." % (line))
138                 c_error += 1
139                 continue
140             priority = "source"
141         else: # binary or udeb
142             split_line = line.split(None, 3)
143             if len(split_line) == 3:
144                 (package, priority, section) = split_line
145             elif len(split_line) == 4:
146                 (package, priority, section, maintainer_override) = split_line
147             else:
148                 utils.warn("'%s' does not break into 'package priority section [maintainer-override]'." % (line))
149                 c_error += 1
150                 continue
151
152         section_id = database.get_section_id(section)
153         if section_id == -1:
154             utils.warn("'%s' is not a valid section. ['%s' in suite %s, component %s]." % (section, package, suite, component))
155             c_error += 1
156             continue
157         priority_id = database.get_priority_id(priority)
158         if priority_id == -1:
159             utils.warn("'%s' is not a valid priority. ['%s' in suite %s, component %s]." % (priority, package, suite, component))
160             c_error += 1
161             continue
162
163         if new.has_key(package):
164             utils.warn("Can't insert duplicate entry for '%s'; ignoring all but the first. [suite %s, component %s]" % (package, suite, component))
165             c_error += 1
166             continue
167         new[package] = ""
168         if original.has_key(package):
169             (old_priority_id, old_section_id, old_maintainer_override, old_priority, old_section) = original[package]
170             if action == "add" or old_priority_id == priority_id and \
171                old_section_id == section_id and \
172                old_maintainer_override == maintainer_override:
173                 # If it's unchanged or we're in 'add only' mode, ignore it
174                 c_skipped += 1
175                 continue
176             else:
177                 # If it's changed, delete the old one so we can
178                 # reinsert it with the new information
179                 c_updated += 1
180                 if not noaction:
181                     projectB.query("DELETE FROM override WHERE suite = %s AND component = %s AND package = '%s' AND type = %s"
182                                    % (suite_id, component_id, package, type_id))
183                 # Log changes
184                 if old_priority_id != priority_id:
185                     Logger.log(["changed priority",package,old_priority,priority])
186                 if old_section_id != section_id:
187                     Logger.log(["changed section",package,old_section,section])
188                 if old_maintainer_override != maintainer_override:
189                     Logger.log(["changed maintainer override",package,old_maintainer_override,maintainer_override])
190                 update_p = 1
191         elif action == "change":
192             # Ignore additions in 'change only' mode
193             c_skipped += 1
194             continue
195         else:
196             c_added += 1
197             update_p = 0
198
199         if not noaction:
200             if maintainer_override:
201                 projectB.query("INSERT INTO override (suite, component, type, package, priority, section, maintainer) VALUES (%s, %s, %s, '%s', %s, %s, '%s')"
202                                % (suite_id, component_id, type_id, package, priority_id, section_id, maintainer_override))
203             else:
204                 projectB.query("INSERT INTO override (suite, component, type, package, priority, section,maintainer) VALUES (%s, %s, %s, '%s', %s, %s, '')"
205                                % (suite_id, component_id, type_id, package, priority_id, section_id))
206
207         if not update_p:
208             Logger.log(["new override",suite,component,type,package,priority,section,maintainer_override])
209
210     if action == "set":
211         # Delete any packages which were removed
212         for package in original.keys():
213             if not new.has_key(package):
214                 if not noaction:
215                     projectB.query("DELETE FROM override WHERE suite = %s AND component = %s AND package = '%s' AND type = %s"
216                                    % (suite_id, component_id, package, type_id))
217                 c_removed += 1
218                 Logger.log(["removed override",suite,component,type,package])
219
220     if not noaction:
221         projectB.query("COMMIT WORK")
222     if not Cnf["Control-Overrides::Options::Quiet"]:
223         print "Done in %d seconds. [Updated = %d, Added = %d, Removed = %d, Skipped = %d, Errors = %d]" % (int(time.time()-start_time), c_updated, c_added, c_removed, c_skipped, c_error)
224     Logger.log(["set complete",c_updated, c_added, c_removed, c_skipped, c_error])
225
226 ################################################################################
227
228 def list_overrides(suite, component, type):
229     suite_id = database.get_suite_id(suite)
230     if suite_id == -1:
231         utils.fubar("Suite '%s' not recognised." % (suite))
232
233     component_id = database.get_component_id(component)
234     if component_id == -1:
235         utils.fubar("Component '%s' not recognised." % (component))
236
237     type_id = database.get_override_type_id(type)
238     if type_id == -1:
239         utils.fubar("Type '%s' not recognised. (Valid types are deb, udeb and dsc)" % (type))
240
241     if type == "dsc":
242         q = projectB.query("SELECT o.package, s.section, o.maintainer FROM override o, section s WHERE o.suite = %s AND o.component = %s AND o.type = %s AND o.section = s.id ORDER BY s.section, o.package" % (suite_id, component_id, type_id))
243         for i in q.getresult():
244             print utils.result_join(i)
245     else:
246         q = projectB.query("SELECT o.package, p.priority, s.section, o.maintainer, p.level FROM override o, priority p, section s WHERE o.suite = %s AND o.component = %s AND o.type = %s AND o.priority = p.id AND o.section = s.id ORDER BY s.section, p.level, o.package" % (suite_id, component_id, type_id))
247         for i in q.getresult():
248             print utils.result_join(i[:-1])
249
250 ################################################################################
251
252 def main ():
253     global Cnf, projectB, Logger
254
255     Cnf = utils.get_conf()
256     Arguments = [('a', "add", "Control-Overrides::Options::Add"),
257                  ('c', "component", "Control-Overrides::Options::Component", "HasArg"),
258                  ('h', "help", "Control-Overrides::Options::Help"),
259                  ('l', "list", "Control-Overrides::Options::List"),
260                  ('q', "quiet", "Control-Overrides::Options::Quiet"),
261                  ('s', "suite", "Control-Overrides::Options::Suite", "HasArg"),
262                  ('S', "set", "Control-Overrides::Options::Set"),
263                  ('C', "change", "Control-Overrides::Options::Change"),
264                  ('n', "no-action", "Control-Overrides::Options::No-Action"),
265                  ('t', "type", "Control-Overrides::Options::Type", "HasArg")]
266
267     # Default arguments
268     for i in [ "add", "help", "list", "quiet", "set", "change", "no-action" ]:
269         if not Cnf.has_key("Control-Overrides::Options::%s" % (i)):
270             Cnf["Control-Overrides::Options::%s" % (i)] = ""
271     if not Cnf.has_key("Control-Overrides::Options::Component"):
272         Cnf["Control-Overrides::Options::Component"] = "main"
273     if not Cnf.has_key("Control-Overrides::Options::Suite"):
274         Cnf["Control-Overrides::Options::Suite"] = "unstable"
275     if not Cnf.has_key("Control-Overrides::Options::Type"):
276         Cnf["Control-Overrides::Options::Type"] = "deb"
277
278     file_list = apt_pkg.ParseCommandLine(Cnf,Arguments,sys.argv)
279
280     if Cnf["Control-Overrides::Options::Help"]:
281         usage()
282
283     projectB = pg.connect(Cnf["DB::Name"], Cnf["DB::Host"], int(Cnf["DB::Port"]))
284     database.init(Cnf, projectB)
285
286     action = None
287     for i in [ "add", "list", "set", "change" ]:
288         if Cnf["Control-Overrides::Options::%s" % (i)]:
289             if action:
290                 utils.fubar("Can not perform more than one action at once.")
291             action = i
292
293     (suite, component, otype) = (Cnf["Control-Overrides::Options::Suite"],
294                                  Cnf["Control-Overrides::Options::Component"],
295                                  Cnf["Control-Overrides::Options::Type"])
296
297     if action == "list":
298         list_overrides(suite, component, otype)
299     else:
300         if Cnf.has_key("Suite::%s::Untouchable" % suite) and Cnf["Suite::%s::Untouchable" % suite] != 0:
301             utils.fubar("%s: suite is untouchable" % suite)
302
303         noaction = 0
304         if Cnf["Control-Overrides::Options::No-Action"]:
305             utils.warn("In No-Action Mode")
306             noaction = 1
307
308         Logger = logging.Logger(Cnf, "control-overrides", noaction)
309         if file_list:
310             for f in file_list:
311                 process_file(utils.open_file(f), suite, component, otype, action, noaction)
312         else:
313             process_file(sys.stdin, suite, component, otype, action, noaction)
314         Logger.close()
315
316 #######################################################################################
317
318 if __name__ == '__main__':
319     main()