]> git.decadent.org.uk Git - dak.git/blob - melanie
Add new scripts; remove old ones.
[dak.git] / melanie
1 #!/usr/bin/env python
2
3 # General purpose archive tool for ftpmaster
4 # Copyright (C) 2000  James Troup <james@nocrew.org>
5 # $Id: melanie,v 1.1 2001-01-10 05:58:26 troup Exp $
6
7 # This program is free software; you can redistribute it and/or modify
8 # it under the terms of the GNU General Public License as published by
9 # the Free Software Foundation; either version 2 of the License, or
10 # (at your option) any later version.
11
12 # This program is distributed in the hope that it will be useful,
13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15 # GNU General Public License for more details.
16
17 # You should have received a copy of the GNU General Public License
18 # along with this program; if not, write to the Free Software
19 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
20
21 # X-Listening-To: Astronomy, Metallica - Garage Inc.
22
23 ################################################################################
24
25 import commands, os, pg, pwd, re, string, sys, tempfile
26 import utils, db_access
27 import apt_pkg, apt_inst;
28
29 ################################################################################
30
31 re_strip_source_version = re.compile (r'\s+.*$');
32
33 ################################################################################
34
35 Cnf = None;
36 projectB = None;
37
38 ################################################################################
39
40 def game_over():
41     print "Continue (y/N)? ",
42     answer = string.lower(utils.our_raw_input());
43     if answer != "y":
44         print "Aborted."
45         sys.exit(1);
46
47 ################################################################################
48
49 def main ():
50     global Cnf, projectB;
51
52     apt_pkg.init();
53     
54     Cnf = apt_pkg.newConfiguration();
55     apt_pkg.ReadConfigFileISC(Cnf,utils.which_conf_file());
56
57     Arguments = [('D',"debug","Melanie::Options::Debug", "IntVal"),
58                  ('h',"help","Melanie::Options::Help"),
59                  ('V',"version","Melanie::Options::Version"),
60                  ('a',"architecture","Melanie::Options::Architecture", "HasArg"),
61                  ('b',"binary", "Melanie::Options::Binary-Only"),
62                  ('c',"component", "Melanie::Options::Component", "HasArg"),
63                  ('d',"done","Melanie::Options::Done", "HasArg"), # Bugs fixed
64                  ('m',"reason", "Melanie::Options::Reason", "HasArg"), # Hysterical raisins; -m is old-dinstall option for rejection reason
65                  ('n',"no-action","Melanie::Options::No-Action"),
66                  ('o',"orphan", "Melanie::Options::Orphan"),
67                  ('p',"partial", "Melanie::Options::Partial"),
68                  ('s',"suite","Melanie::Options::Suite", "HasArg"),
69                  ('S',"source-only", "Melanie::Options::Source-Only"),
70                  ];
71
72     arguments = apt_pkg.ParseCommandLine(Cnf,Arguments,sys.argv);
73     projectB = pg.connect('projectb', 'localhost');
74     db_access.init(Cnf, projectB);
75
76     # Sanity check options
77     if arguments == []:
78         sys.stderr.write("E: need at least one package name as an argument.\n");
79         sys.exit(1);
80     if Cnf["Melanie::Options::Architecture"] and Cnf["Melanie::Options::Source-Only"]:
81         sys.stderr.write("E: can't use -a/--architecutre and -S/--source-only options simultaneously.\n");
82         sys.exit(1);
83     if Cnf["Melanie::Options::Binary-Only"] and Cnf["Melanie::Options::Source-Only"]:
84         sys.stderr.write("E: can't use -b/--binary-only and -S/--source-only options simultaneously.\n");
85         sys.exit(1);
86     if Cnf["Melanie::Options::Architecture"] and not Cnf["Melanie::Options::Partial"]:
87         sys.stderr.write("W: -a/--architecture implies -p/--partial.\n");
88         Cnf["Melanie::Options::Partial"] = "true";
89
90     packages = {};
91     if Cnf["Melanie::Options::Binary-Only"]:
92         field = "b.package";
93     else:
94         field = "s.source";
95     con_packages = "AND (";
96     for package in arguments:
97         con_packages = con_packages + "%s = '%s' OR " % (field, package)
98         packages[package] = "";
99     con_packages = con_packages[:-3] + ")"
100
101     suites_list = "";
102     suite_ids_list = [];
103     con_suites = "AND (";
104     for suite in string.split(Cnf["Melanie::Options::Suite"]):
105         
106         if suite == "stable":
107             print "**WARNING** About to remove from the stable suite!"
108             print "This should only be done just prior to a (point) release and not at"
109             print "any other time."
110             game_over();
111         elif suite == "testing":
112             print "**WARNING About to remove from the testing suite!"
113             print "There's no need to do this normally as removals from unstable will"
114             print "propogate to testing automagically."
115             game_over();
116             
117         suite_id = db_access.get_suite_id(suite);
118         if suite_id == -1:
119             sys.stderr.write("W: suite '%s' not recognised.\n" % (suite));
120         else:
121             con_suites = con_suites + "su.id = %s OR " % (suite_id)
122
123         suites_list = suites_list + suite + ", "
124         suite_ids_list.append(suite_id);
125     con_suites = con_suites[:-3] + ")"
126     suites_list = suites_list[:-2];
127
128     if Cnf["Melanie::Options::Component"]:
129         con_components = "AND (";
130         over_con_components = "AND (";
131         for component in string.split(Cnf["Melanie::Options::Component"]):
132             component_id = db_access.get_component_id(component);
133             if component_id == -1:
134                 sys.stderr.write("W: component '%s' not recognised.\n" % (component));
135             else:
136                 con_components = con_components + "c.id = %s OR " % (component_id);
137                 over_con_components = over_con_components + "component = %s OR " % (component_id);
138         con_components = con_components[:-3] + ")"
139         over_con_components = over_con_components[:-3] + ")";
140     else:
141         con_components = "";    
142         over_con_components = "";
143
144     if Cnf["Melanie::Options::Architecture"]:
145         con_architectures = "AND (";
146         for architecture in string.split(Cnf["Melanie::Options::Architecture"]):
147             architecture_id = db_access.get_architecture_id(architecture);
148             if architecture_id == -1:
149                 sys.stderr.write("W: architecture '%s' not recognised.\n" % (architecture));
150             else:
151                 con_architectures = con_architectures + "a.id = %s OR " % (architecture_id)
152         con_architectures = con_architectures[:-3] + ")"
153     else:
154         con_architectures = "";
155
156
157     print "Working...",
158     sys.stdout.flush();
159     to_remove = [];
160     # We have 3 modes of package selection: binary-only, source-only
161     # and source+binary.  The first two are trivial and obvious; the
162     # latter is a nasty mess, but very nice from a UI perspective so
163     # we try to support it.
164
165     if Cnf["Melanie::Options::Binary-Only"]:
166         # Binary-only
167         q = projectB.query("SELECT b.package, b.version, a.arch_string, b.id FROM binaries b, bin_associations ba, architecture a, suite su, files f, location l, component c WHERE ba.bin = b.id AND ba.suite = su.id AND b.architecture = a.id AND b.file = f.id AND f.location = l.id AND l.component = c.id %s %s %s %s" % (con_packages, con_suites, con_components, con_architectures));
168         for i in q.getresult():
169             to_remove.append(i);
170     else:
171         # Source-only
172         source_packages = {};
173         q = projectB.query("SELECT l.path, f.filename, s.source, s.version, 'source', s.id FROM source s, src_associations sa, suite su, files f, location l, component c WHERE sa.source = s.id AND sa.suite = su.id AND s.file = f.id AND f.location = l.id AND l.component = c.id %s %s %s" % (con_packages, con_suites, con_components));
174         for i in q.getresult():
175             source_packages[i[2]] = i[:2];
176             to_remove.append(i[2:]);
177         if not Cnf["Melanie::Options::Source-Only"]:
178             # Source + Binary
179             binary_packages = {};
180             # First get a list of binary package names we suspect are linked to the source
181             q = projectB.query("SELECT DISTINCT package FROM binaries WHERE EXISTS (SELECT s.source, s.version, l.path, f.filename FROM source s, src_associations sa, suite su, files f, location l, component c WHERE binaries.source = s.id AND sa.source = s.id AND sa.suite = su.id AND s.file = f.id AND f.location = l.id AND l.component = c.id %s %s %s)" % (con_packages, con_suites, con_components));
182             for i in q.getresult():
183                 binary_packages[i[0]] = "";
184             # Then parse each .dsc that we found earlier to see what binary packages it thinks it produces
185             for i in source_packages.keys():
186                 filename = string.join(source_packages[i], '/');
187                 try:
188                     dsc = utils.parse_changes(filename);
189                 except utils.cant_open_exc:
190                     sys.stderr.write("W: couldn't open '%s'.\n" % (filename));
191                     continue;
192                 for package in string.split(dsc.get("binary"), ','):
193                     package = string.strip(package);
194                     binary_packages[package] = "";
195             # Then for each binary package: find any version in
196             # unstable, check the Source: field in the deb matches our
197             # source package and if so add it to the list of packages
198             # to be removed.
199             for package in binary_packages.keys():
200                 q = projectB.query("SELECT l.path, f.filename, b.package, b.version, a.arch_string, b.id FROM binaries b, bin_associations ba, architecture a, suite su, files f, location l, component c WHERE ba.bin = b.id AND ba.suite = su.id AND b.architecture = a.id AND b.file = f.id AND f.location = l.id AND l.component = c.id %s %s %s AND b.package = '%s'" % (con_suites, con_components, con_architectures, package));
201                 for i in q.getresult():
202                     filename = string.join(i[:2], '/');
203                     control = apt_pkg.ParseSection(apt_inst.debExtractControl(utils.open_file(filename,"r")))
204                     source = control.Find("Source", control.Find("Package"));
205                     source = re_strip_source_version.sub('', source);
206                     if source_packages.has_key(source):
207                         to_remove.append(i[2:]);
208                     #else:
209                         #sys.stderr.write("W: skipping '%s' as it's source ('%s') isn't one of the source packages.\n" % (filename, source));
210     print "done."
211
212     # If we don't have a reason; spawn an editor so the user can add one
213     # Write the rejection email out as the <foo>.reason file
214     if not Cnf["Melanie::Options::Reason"]:
215         temp_filename = tempfile.mktemp();
216         fd = os.open(temp_filename, os.O_RDWR|os.O_CREAT|os.O_EXCL, 0700);
217         os.close(fd);
218         result = os.system("vi %s" % (temp_filename))
219         if result != 0:
220             sys.stderr.write ("vi invocation failed for `%s'!" % (temp_filename))
221             sys.exit(result)
222         file = utils.open_file(temp_filename, 'r');
223         for line in file.readlines():
224             Cnf["Melanie::Options::Reason"] = Cnf["Melanie::Options::Reason"] + line;
225         os.unlink(temp_filename);
226
227     # Generate the summary of what's to be removed
228     d = {};
229     for i in to_remove:
230         package = i[0];
231         version = i[1];
232         architecture = i[2];
233         if not d.has_key(package):
234             d[package] = {};
235         if not d[package].has_key(version):
236             d[package][version] = [];
237         d[package][version].append(architecture);
238
239     summary = "";
240     packages = d.keys();
241     packages.sort();
242     for package in packages:
243         versions = d[package].keys();
244         versions.sort();
245         for version in versions:
246             summary = summary + "%10s | %10s | " % (package, version);
247             for architecture in d[package][version]:
248                 summary = "%s%s, " % (summary, architecture);
249             summary = summary[:-2] + '\n';
250
251     print "Will remove the following packages from %s:" % (suites_list);
252     print
253     print summary
254     if Cnf["Melanie::Options::Done"]:
255         print "Will also close bugs: "+Cnf["Melanie::Options::Done"];
256     print
257     print "------------------- Reason -------------------"
258     print Cnf["Melanie::Options::Reason"];
259     print "----------------------------------------------"
260     print
261
262     # If -n/--no-action, drop out here
263     if Cnf["Melanie::Options::No-Action"]:
264         sys.exit(0);
265         
266     game_over();
267
268     whoami = string.replace(string.split(pwd.getpwuid(os.getuid())[4],',')[0], '.', '');
269     date = commands.getoutput('date -R');
270
271     # Log first; if it all falls apart I want a record that we at least tried.
272     logfile = utils.open_file(Cnf["Melanie::LogFile"], 'a');
273     logfile.write("=========================================================================\n");
274     logfile.write("[Date: %s] [ftpmaster: %s]\n" % (date, whoami));
275     logfile.write("Removed the following packages from %s:\n\n%s" % (suites_list, summary));
276     if Cnf["Melanie::Options::Done"]:
277         logfile.write("Closed bugs: %s\n" % (Cnf["Melanie::Options::Done"]));
278     logfile.write("\n------------------- Reason -------------------\n%s\n" % (Cnf["Melanie::Options::Reason"]));
279     logfile.write("----------------------------------------------\n");
280     logfile.flush();
281         
282     dsc_type_id = db_access.get_override_type_id('dsc');
283     deb_type_id = db_access.get_override_type_id('deb');
284     
285     # Do the actual deletion
286     print "Deleting...",
287     sys.stdout.flush();
288     projectB.query("BEGIN WORK");
289     for i in to_remove:
290         package = i[0];
291         architecture = i[2];
292         package_id = i[3];
293         for suite_id in suite_ids_list:
294             if architecture == "source":
295                 projectB.query("DELETE FROM src_associations WHERE source = %s AND suite = %s" % (package_id, suite_id));
296                 #print "DELETE FROM src_associations WHERE source = %s AND suite = %s" % (package_id, suite_id);
297             else:
298                 projectB.query("DELETE FROM bin_associations WHERE bin = %s AND suite = %s" % (package_id, suite_id));
299                 #print "DELETE FROM bin_associations WHERE bin = %s AND suite = %s" % (package_id, suite_id);
300             # Delete from the override file
301             if not Cnf["Melanie::Options::Partial"]:
302                 if architecture == "source":
303                     type_id = dsc_type_id;
304                 else:
305                     type_id = deb_type_id;
306                 projectB.query("DELETE FROM override WHERE package = '%s' AND type = %s AND suite = %s %s" % (package, type_id, suite_id, over_con_components));
307     projectB.query("COMMIT WORK");
308     print "done."
309
310     # Send the bug closing messages
311     if Cnf["Melanie::Options::Done"]:
312         for bug in string.split(Cnf["Melanie::Options::Done"]):
313             mail_message = """Return-Path: %s
314 From: %s
315 To: %s-close@bugs.debian.org
316 Bcc: troup@auric.debian.org
317 Subject: Bug#%s: fixed
318
319 We believe that the bug you reported is now fixed; the following
320 package(s) have been removed from %s:
321
322 %s
323 Note that the package(s) have simply been removed from the tag
324 database and may (or may not) still be in the pool; this is not a bug.
325 The package(s) will be physically removed automatically when no suite
326 references them (and in the case of source, when no binary references
327 it).  Please also remember that the changes have been done on the
328 master archive (ftp-master.debian.org) and will not propagate to any
329 mirrors (ftp.debian.org included) until the next cron.daily run at the
330 earliest.
331
332 Thank you for reporting the bug, which will now be closed.  If you
333 have further comments please address them to %s@bugs.debian.org.
334
335 This message was generated automatically; if you believe that there is
336 a problem with it please contact the archive administrators by mailing
337 ftpmaster@debian.org.
338
339 Debian distribution maintenance software
340 pp.
341 %s (the ftpmaster behind the curtain)
342 """ % (Cnf["Melanie::MyEmailAddress"], Cnf["Melanie::MyEmailAddress"], bug, bug, suites_list, summary, bug, whoami);
343             utils.send_mail (mail_message, "")
344             
345     logfile.write("=========================================================================\n");
346     logfile.close();
347
348 #######################################################################################
349
350 if __name__ == '__main__':
351     main()
352