]> git.decadent.org.uk Git - dak.git/blob - dak/control_suite.py
Merge remote branch 'mhy/master'
[dak.git] / dak / control_suite.py
1 #!/usr/bin/env python
2
3 """ Manipulate suite tags """
4 # Copyright (C) 2000, 2001, 2002, 2003, 2004, 2005, 2006  James Troup <james@nocrew.org>
5
6 # This program is free software; you can redistribute it and/or modify
7 # it under the terms of the GNU General Public License as published by
8 # the Free Software Foundation; either version 2 of the License, or
9 # (at your option) any later version.
10
11 # This program is distributed in the hope that it will be useful,
12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 # GNU General Public License for more details.
15
16 # You should have received a copy of the GNU General Public License
17 # along with this program; if not, write to the Free Software
18 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19
20 #######################################################################################
21
22 # 8to6Guy: "Wow, Bob, You look rough!"
23 # BTAF: "Mbblpmn..."
24 # BTAF <.oO>: "You moron! This is what you get for staying up all night drinking vodka and salad dressing!"
25 # BTAF <.oO>: "This coffee I.V. drip is barely even keeping me awake! I need something with more kick! But what?"
26 # BTAF: "OMIGOD! I OVERDOSED ON HEROIN"
27 # CoWorker#n: "Give him air!!"
28 # CoWorker#n+1: "We need a syringe full of adrenaline!"
29 # CoWorker#n+2: "Stab him in the heart!"
30 # BTAF: "*YES!*"
31 # CoWorker#n+3: "Bob's been overdosing quite a bit lately..."
32 # CoWorker#n+4: "Third time this week."
33
34 # -- http://www.angryflower.com/8to6.gif
35
36 #######################################################################################
37
38 # Adds or removes packages from a suite.  Takes the list of files
39 # either from stdin or as a command line argument.  Special action
40 # "set", will reset the suite (!) and add all packages from scratch.
41
42 #######################################################################################
43
44 import sys
45 import apt_pkg
46 import os
47
48 from daklib.config import Config
49 from daklib.dbconn import *
50 from daklib import daklog
51 from daklib import utils
52 from daklib.queue import get_suite_version_by_package, get_suite_version_by_source
53
54 #######################################################################################
55
56 Logger = None
57
58 ################################################################################
59
60 def usage (exit_code=0):
61     print """Usage: dak control-suite [OPTIONS] [FILE]
62 Display or alter the contents of a suite using FILE(s), or stdin.
63
64   -a, --add=SUITE            add to SUITE
65   -h, --help                 show this help and exit
66   -l, --list=SUITE           list the contents of SUITE
67   -r, --remove=SUITE         remove from SUITE
68   -s, --set=SUITE            set SUITE
69   -b, --britney              generate changelog entry for britney runs"""
70
71     sys.exit(exit_code)
72
73 #######################################################################################
74
75 def get_id(package, version, architecture, session):
76     if architecture == "source":
77         q = session.execute("SELECT id FROM source WHERE source = :package AND version = :version",
78                             {'package': package, 'version': version})
79     else:
80         q = session.execute("""SELECT b.id FROM binaries b, architecture a
81                                 WHERE b.package = :package AND b.version = :version
82                                   AND (a.arch_string = :arch OR a.arch_string = 'all')
83                                   AND b.architecture = a.id""",
84                                {'package': package, 'version': version, 'arch': architecture})
85
86     ql = q.fetchall()
87     if len(ql) < 1:
88         utils.warn("Couldn't find '%s_%s_%s'." % (package, version, architecture))
89         return None
90
91     if len(ql) > 1:
92         utils.warn("Found more than one match for '%s_%s_%s'." % (package, version, architecture))
93         return None
94
95     return ql[0][0]
96
97 #######################################################################################
98
99 def britney_changelog(packages, suite, session):
100
101     old = {}
102     current = {}
103     Cnf = utils.get_conf()
104
105     try:
106         q = session.execute("SELECT changelog FROM suite WHERE id = :suiteid", \
107                             {'suiteid': suite.suite_id})
108         brit_file = q.fetchone()[0]
109     except:
110         brit_file = None
111
112     if brit_file:
113         brit_file = os.path.join(Cnf['Dir::Root'], brit_file)
114     else:
115         return
116
117     q = session.execute("""SELECT s.source, s.version, sa.id
118                              FROM source s, src_associations sa
119                             WHERE sa.suite = :suiteid
120                               AND sa.source = s.id""", {'suiteid': suite.suite_id})
121
122     for p in q.fetchall():
123         current[p[0]] = p[1]
124     for p in packages.keys():
125         p = p.split()
126         if p[2] == "source":
127             old[p[0]] = p[1]
128
129     new = {}
130     for p in current.keys():
131         if p in old.keys():
132             if apt_pkg.VersionCompare(current[p], old[p]) > 0:
133                 new[p] = [current[p], old[p]]
134         else:
135             new[p] = [current[p], 0]
136
137     query =  "SELECT source, changelog FROM changelogs WHERE"
138     for p in new.keys():
139         query += " source = '%s' AND version > '%s' AND version <= '%s'" \
140                  % (p, new[p][1], new[p][0])
141         query += " AND architecture LIKE '%source%' AND distribution in \
142                   ('unstable', 'experimental', 'testing-proposed-updates') OR"
143     query += " False ORDER BY source, version DESC"
144     q = session.execute(query)
145
146     pu = None
147     brit = utils.open_file(brit_file, 'w')
148
149     for u in q:
150         if pu and pu != u[0]:
151             brit.write("\n")
152         brit.write("%s\n" % u[1])
153         pu = u[0]
154     if q.rowcount: brit.write("\n\n\n")
155
156     for p in list(set(old.keys()).difference(current.keys())):
157         brit.write("REMOVED: %s %s\n" % (p, old[p]))
158
159     brit.flush()
160     brit.close()
161
162 #######################################################################################
163
164 def version_checks(package, architecture, target_suite, new_version, session, force = False):
165     if architecture == "source":
166         suite_version_list = get_suite_version_by_source(package, session)
167     else:
168         suite_version_list = get_suite_version_by_package(package, architecture, session)
169
170     must_be_newer_than = [ vc.reference.suite_name for vc in get_version_checks(target_suite, "MustBeNewerThan") ]
171     must_be_older_than = [ vc.reference.suite_name for vc in get_version_checks(target_suite, "MustBeOlderThan") ]
172
173     # Must be newer than an existing version in target_suite
174     if target_suite not in must_be_newer_than:
175         must_be_newer_than.append(target_suite)
176
177     violations = False
178
179     for suite, version in suite_version_list:
180         cmp = apt_pkg.VersionCompare(new_version, version)
181         if suite in must_be_newer_than and cmp < 1:
182             utils.warn("%s (%s): version check violated: %s targeted at %s is *not* newer than %s in %s" % (package, architecture, new_version, target_suite, version, suite))
183             violations = True
184         if suite in must_be_older_than and cmp > 1:
185             utils.warn("%s (%s): version check violated: %s targeted at %s is *not* older than %s in %s" % (package, architecture, new_version, target_suite, version, suite))
186             violations = True
187
188     if violations:
189         if force:
190             utils.warn("Continuing anyway (forced)...")
191         else:
192             utils.fubar("Aborting. Version checks violated and not forced.")
193
194 #######################################################################################
195
196 def set_suite(file, suite, session, britney=False, force=False):
197     suite_id = suite.suite_id
198     lines = file.readlines()
199
200     # Our session is already in a transaction
201
202     # Build up a dictionary of what is currently in the suite
203     current = {}
204     q = session.execute("""SELECT b.package, b.version, a.arch_string, ba.id
205                              FROM binaries b, bin_associations ba, architecture a
206                             WHERE ba.suite = :suiteid
207                               AND ba.bin = b.id AND b.architecture = a.id""", {'suiteid': suite_id})
208     for i in q.fetchall():
209         key = " ".join(i[:3])
210         current[key] = i[3]
211
212     q = session.execute("""SELECT s.source, s.version, sa.id
213                              FROM source s, src_associations sa
214                             WHERE sa.suite = :suiteid
215                               AND sa.source = s.id""", {'suiteid': suite_id})
216     for i in q.fetchall():
217         key = " ".join(i[:2]) + " source"
218         current[key] = i[2]
219
220     # Build up a dictionary of what should be in the suite
221     desired = {}
222     for line in lines:
223         split_line = line.strip().split()
224         if len(split_line) != 3:
225             utils.warn("'%s' does not break into 'package version architecture'." % (line[:-1]))
226             continue
227         key = " ".join(split_line)
228         desired[key] = ""
229
230     # Check to see which packages need removed and remove them
231     for key in current.keys():
232         if not desired.has_key(key):
233             (package, version, architecture) = key.split()
234             pkid = current[key]
235             if architecture == "source":
236                 session.execute("""DELETE FROM src_associations WHERE id = :pkid""", {'pkid': pkid})
237             else:
238                 session.execute("""DELETE FROM bin_associations WHERE id = :pkid""", {'pkid': pkid})
239             Logger.log(["removed", key, pkid])
240
241     # Check to see which packages need added and add them
242     for key in desired.keys():
243         if not current.has_key(key):
244             (package, version, architecture) = key.split()
245             version_checks(package, architecture, suite.suite_name, version, session, force)
246             pkid = get_id (package, version, architecture, session)
247             if not pkid:
248                 continue
249             if architecture == "source":
250                 session.execute("""INSERT INTO src_associations (suite, source)
251                                         VALUES (:suiteid, :pkid)""", {'suiteid': suite_id, 'pkid': pkid})
252             else:
253                 session.execute("""INSERT INTO bin_associations (suite, bin)
254                                         VALUES (:suiteid, :pkid)""", {'suiteid': suite_id, 'pkid': pkid})
255             Logger.log(["added", key, pkid])
256
257     session.commit()
258
259     if britney:
260         britney_changelog(current, suite, session)
261
262 #######################################################################################
263
264 def process_file(file, suite, action, session, britney=False, force=False):
265     if action == "set":
266         set_suite(file, suite, session, britney, force)
267         return
268
269     suite_id = suite.suite_id
270
271     lines = file.readlines()
272
273     # Our session is already in a transaction
274     for line in lines:
275         split_line = line.strip().split()
276         if len(split_line) != 3:
277             utils.warn("'%s' does not break into 'package version architecture'." % (line[:-1]))
278             continue
279
280         (package, version, architecture) = split_line
281
282         pkid = get_id(package, version, architecture, session)
283         if not pkid:
284             continue
285
286         # Do version checks when adding packages
287         if action == "add":
288             version_checks(package, architecture, suite.suite_name, version, session, force)
289
290         if architecture == "source":
291             # Find the existing association ID, if any
292             q = session.execute("""SELECT id FROM src_associations
293                                     WHERE suite = :suiteid and source = :pkid""",
294                                     {'suiteid': suite_id, 'pkid': pkid})
295             ql = q.fetchall()
296             if len(ql) < 1:
297                 association_id = None
298             else:
299                 association_id = ql[0][0]
300
301             # Take action
302             if action == "add":
303                 if association_id:
304                     utils.warn("'%s_%s_%s' already exists in suite %s." % (package, version, architecture, suite))
305                     continue
306                 else:
307                     session.execute("""INSERT INTO src_associations (suite, source)
308                                             VALUES (:suiteid, :pkid)""",
309                                        {'suiteid': suite_id, 'pkid': pkid})
310             elif action == "remove":
311                 if association_id == None:
312                     utils.warn("'%s_%s_%s' doesn't exist in suite %s." % (package, version, architecture, suite))
313                     continue
314                 else:
315                     session.execute("""DELETE FROM src_associations WHERE id = :pkid""", {'pkid': association_id})
316         else:
317             # Find the existing associations ID, if any
318             q = session.execute("""SELECT id FROM bin_associations
319                                     WHERE suite = :suiteid and bin = :pkid""",
320                                     {'suiteid': suite_id, 'pkid': pkid})
321             ql = q.fetchall()
322             if len(ql) < 1:
323                 association_id = None
324             else:
325                 association_id = ql[0][0]
326
327             # Take action
328             if action == "add":
329                 if association_id:
330                     utils.warn("'%s_%s_%s' already exists in suite %s." % (package, version, architecture, suite))
331                     continue
332                 else:
333                     session.execute("""INSERT INTO bin_associations (suite, bin)
334                                             VALUES (:suiteid, :pkid)""",
335                                        {'suiteid': suite_id, 'pkid': pkid})
336             elif action == "remove":
337                 if association_id == None:
338                     utils.warn("'%s_%s_%s' doesn't exist in suite %s." % (package, version, architecture, suite))
339                     continue
340                 else:
341                     session.execute("""DELETE FROM bin_associations WHERE id = :pkid""", {'pkid': association_id})
342
343     session.commit()
344
345 #######################################################################################
346
347 def get_list(suite, session):
348     suite_id = suite.suite_id
349     # List binaries
350     q = session.execute("""SELECT b.package, b.version, a.arch_string
351                              FROM binaries b, bin_associations ba, architecture a
352                             WHERE ba.suite = :suiteid
353                               AND ba.bin = b.id AND b.architecture = a.id""", {'suiteid': suite_id})
354     for i in q.fetchall():
355         print " ".join(i)
356
357     # List source
358     q = session.execute("""SELECT s.source, s.version
359                              FROM source s, src_associations sa
360                             WHERE sa.suite = :suiteid
361                               AND sa.source = s.id""", {'suiteid': suite_id})
362     for i in q.fetchall():
363         print " ".join(i) + " source"
364
365 #######################################################################################
366
367 def main ():
368     global Logger
369
370     cnf = Config()
371
372     Arguments = [('a',"add","Control-Suite::Options::Add", "HasArg"),
373                  ('b',"britney","Control-Suite::Options::Britney"),
374                  ('f','force','Control-Suite::Options::Force'),
375                  ('h',"help","Control-Suite::Options::Help"),
376                  ('l',"list","Control-Suite::Options::List","HasArg"),
377                  ('r',"remove", "Control-Suite::Options::Remove", "HasArg"),
378                  ('s',"set", "Control-Suite::Options::Set", "HasArg")]
379
380     for i in ["add", "britney", "help", "list", "remove", "set", "version" ]:
381         if not cnf.has_key("Control-Suite::Options::%s" % (i)):
382             cnf["Control-Suite::Options::%s" % (i)] = ""
383
384     try:
385         file_list = apt_pkg.ParseCommandLine(cnf.Cnf, Arguments, sys.argv);
386     except SystemError, e:
387         print "%s\n" % e
388         usage(1)
389     Options = cnf.SubTree("Control-Suite::Options")
390
391     if Options["Help"]:
392         usage()
393
394     session = DBConn().session()
395
396     force = Options.has_key("Force") and Options["Force"]
397
398     action = None
399
400     for i in ("add", "list", "remove", "set"):
401         if cnf["Control-Suite::Options::%s" % (i)] != "":
402             suite_name = cnf["Control-Suite::Options::%s" % (i)]
403             suite = get_suite(suite_name, session=session)
404             if suite is None:
405                 utils.fubar("Unknown suite '%s'." % (suite_name))
406             else:
407                 if action:
408                     utils.fubar("Can only perform one action at a time.")
409                 action = i
410
411     # Need an action...
412     if action == None:
413         utils.fubar("No action specified.")
414
415     # Safety/Sanity check
416     # XXX: This should be stored in the database
417     if action == "set" and suite_name not in ["testing", "squeeze-updates"]:
418         utils.fubar("Will not reset suite %s" % (suite_name))
419
420     britney = False
421     if action == "set" and cnf["Control-Suite::Options::Britney"]:
422         britney = True
423
424     if action == "list":
425         get_list(suite, session)
426     else:
427         Logger = daklog.Logger("control-suite")
428         if file_list:
429             for f in file_list:
430                 process_file(utils.open_file(f), suite, action, session, britney, force)
431         else:
432             process_file(sys.stdin, suite, action, session, britney, force)
433         Logger.close()
434
435 #######################################################################################
436
437 if __name__ == '__main__':
438     main()