rhona

   1 #!/usr/bin/env python
   2
   3 # rhona, cleans up unassociated binary and source packages
   4 # Copyright (C) 2000  James Troup <james@nocrew.org>
   5 # $Id: rhona,v 1.5 2000-12-19 21:06:20 troup Exp $
   6
   7 # This program is free software; you can redistribute it and/or modify
   8 # it under the terms of the GNU General Public License as published by
   9 # the Free Software Foundation; either version 2 of the License, or
  10 # (at your option) any later version.
  11
  12 # This program is distributed in the hope that it will be useful,
  13 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15 # GNU General Public License for more details.
  16
  17 # You should have received a copy of the GNU General Public License
  18 # along with this program; if not, write to the Free Software
  19 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  20
  21 ###################################################################################################
  22
  23 # 07:05|<elmo> well.. *shrug*.. no, probably not.. but to fix it,
  24 #      |       we're going to have to implement reference counting
  25 #      |       through dependencies.. do we really want to go down
  26 #      |       that road?
  27 #
  28 # 07:05|<Culus> elmo: Augh! <brain jumps out of skull>
  29
  30 ###################################################################################################
  31
  32 import os, pg, stat, string, sys, time
  33 import apt_pkg
  34 import utils
  35
  36 ###################################################################################################
  37
  38 projectB = None
  39 Cnf = None
  40 delete_date = None;
  41 overrides = {};
  42
  43 ###################################################################################################
  44
  45 def usage (exit_code):
  46     print """Usage: rhona [OPTION]... [CHANGES]...
  47   -D, --debug=VALUE         debug
  48   -n, --no-action           don't do anything
  49   -v, --verbose             be verbose
  50   -V, --version             display version number and exit"""
  51     sys.exit(exit_code)
  52
  53 ###################################################################################################
  54
  55 # See if a given package is in the override file.  Caches and only loads override files on demand.
  56
  57 def in_override_p (package):
  58     global overrides;
  59
  60     if overrides == {}:
  61         filename = Cnf["Dir::OverrideDir"] + Cnf["Rhona::OverrideFilename"];
  62         file = utils.open_file(filename, 'r');
  63         for line in file.readlines():
  64             line = string.strip(utils.re_comments.sub('', line))
  65             if line != "":
  66                 overrides[line] = 1
  67         file.close()
  68
  69     return overrides.get(package, None);
  70
  71 ###################################################################################################
  72
  73 def check_binaries():
  74     global delete_date;
  75
  76     print "Checking for orphaned binary packages..."
  77
  78     # A nicer way to do this would be `SELECT bin FROM
  79     # bin_associations EXCEPT SELECT id from binaries WHERE
  80     # last_update IS NULL', but it seems postgresql can't handle that
  81     # query as it hadn't return after I left it running for 20 minutes
  82     # on auric.
  83
  84     linked_binaries = {};
  85     q = projectB.query("SELECT bin FROM bin_associations");
  86     ql = q.getresult();
  87     for i in ql:
  88         linked_binaries[i[0]] = "";
  89
  90     all_binaries = {};
  91     q = projectB.query("SELECT b.id, b.file FROM binaries b, files f WHERE f.last_used IS NULL AND f.id = b.file")
  92     ql = q.getresult();
  93     for i in ql:
  94         all_binaries[i[0]] = i[1];
  95
  96     projectB.query("BEGIN WORK");
  97     for id in all_binaries.keys():
  98         if not linked_binaries.has_key(id):
  99             projectB.query("UPDATE files SET last_used = '%s' WHERE id = %s" % (delete_date, all_binaries[id]))
 100     projectB.query("COMMIT WORK");
 101
 102     # Check for any binaries which are marked for eventual deletion but are now used again.
 103
 104     all_marked_binaries = {};
 105     q = projectB.query("SELECT b.id, b.file FROM binaries b, files f WHERE f.last_used IS NOT NULL AND f.id = b.file")
 106     ql = q.getresult();
 107     for i in ql:
 108         all_marked_binaries[i[0]] = i[1];
 109
 110     projectB.query("BEGIN WORK");
 111     for id in all_marked_binaries.keys():
 112         if linked_binaries.has_key(id):
 113             # Can't imagine why this would happen, so warn about it for now.
 114             print "W: %s has released %s from the target list." % (id, all_marked_binaries[id]);
 115             projectB.query("UPDATE files SET last_used = NULL WHERE id = %s" % (all_marked_binaries[id]));
 116     projectB.query("COMMIT WORK");
 117
 118 def check_sources():
 119     global delete_date;
 120
 121     print "Checking for orphaned source packages..."
 122
 123     # A nicer way to do this would be using `EXCEPT', but see the
 124     # comment in check_binaries().
 125
 126     linked_sources = {};
 127     q = projectB.query("SELECT source FROM binaries WHERE source is not null");
 128     ql = q.getresult();
 129     for i in ql:
 130         linked_sources[i[0]] = "";
 131
 132     all_sources = {};
 133     all_sources_package = {};
 134     q = projectB.query("SELECT s.id, s.file, s.source FROM source s, files f WHERE f.last_used IS NULL AND f.id = s.file");
 135     ql = q.getresult();
 136     for i in ql:
 137         all_sources[i[0]] = i[1];
 138         all_sources_package[i[0]] = i[2];
 139
 140     projectB.query("BEGIN WORK");
 141     for id in all_sources.keys():
 142         if not linked_sources.has_key(id):
 143             # Is this a known source-only package?
 144             if in_override_p(all_sources_package[id]):
 145                 continue;
 146             # Then check to see if the source is still in any suites
 147             untouchable = 0;
 148             q = projectB.query("SELECT su.suite_name FROM src_associations sa, suite su WHERE sa.source = %s and su.id = sa.suite" % (id));
 149             for i in q.getresult():
 150                 if Cnf.Find("Suite::%s::Untouchable" % (i[0])):
 151                     untouchable = 1;
 152                 else:
 153                     projectB.query("DELETE FROM src_associations WHERE source = %s" % (id));
 154
 155             # We can't delete binary-less source-only packages if
 156             # they're in an untouchable suite (i.e. stable)...
 157             if untouchable:
 158                 continue;
 159
 160             projectB.query("UPDATE files SET last_used = '%s' WHERE id = %s" % (delete_date, all_sources[id]))
 161             # Delete all other files references by .dsc too if they're not used by anyone else
 162             q = projectB.query("SELECT f.id FROM files f, dsc_files d WHERE d.source = %d AND d.file = f.id" % (id));
 163             for i in q.getresult():
 164                 q = projectB.query("SELECT id FROM dsc_files d WHERE file = %s" % (i[0]));
 165                 ql = q.getresult();
 166                 if len(ql) == 1:
 167                     projectB.query("UPDATE files SET last_used = '%s' WHERE id = %s" % (delete_date, i[0]));
 168
 169             # If the file is used by another source package
 170             # (e.g. because it's an .orig.tar.gz) We need to delete
 171             # this source package's reference to it from dsc_files.
 172             # So just clear out all references to the source file in
 173             # dsc_files now.
 174             projectB.query("DELETE FROM dsc_files WHERE source = %s" % (id));
 175
 176     projectB.query("COMMIT WORK");
 177
 178     # Check for any sources which are marked for eventual deletion but are now used again.
 179     all_marked_sources = {};
 180     q = projectB.query("SELECT s.id, s.file FROM source s, files f WHERE f.last_used IS NOT NULL AND f.id = s.file");
 181     ql = q.getresult();
 182     for i in ql:
 183         all_marked_sources[i[0]] = i[1];
 184     projectB.query("BEGIN WORK");
 185     for id in all_marked_sources.keys():
 186         if linked_sources.has_key(id):
 187             # Can't imagine why this would happen, so warn about it for now.
 188             print "W: %s has released %s from the target list." % (id, all_marked_sources[id]);
 189             projectB.query("UPDATE files SET last_used = NULL WHERE id = %s" % (all_marked_sources[id]));
 190             # Unmark all other files references by .dsc too
 191             q = projectB.query("SELECT file FROM dsc_files WHERE source = %d" % (id));
 192             ql = q.getresult();
 193             for i in ql:
 194                     projectB.query("UPDATE files SET last_used = NULL WHERE id = %s" % (i[0]));
 195     projectB.query("COMMIT WORK");
 196
 197     # Whee, check for any source files (i.e. non .dsc) which are
 198     # marked for eventual deletion but are now used by a source
 199     # package again.
 200     all_marked_dsc_files = {}
 201     q = projectB.query("SELECT s.id, s.file FROM source s, files f, dsc_files d WHERE f.last_used IS NOT NULL AND f.id = d.file AND d.source = s.id");
 202     ql = q.getresult();
 203     for i in ql:
 204         all_marked_dsc_files[i[0]] = i[1];
 205     projectB.query("BEGIN WORK");
 206     for id in all_marked_dsc_files.keys():
 207         if linked_sources.has_key(id):
 208             # Can't imagine why this would happen, so warn about it for now.
 209             print "W: %s has released %s from the target list." % (id, all_marked_sources[id]);
 210             projectB.query("UPDATE files SET last_used = NULL WHERE id = %s" % (all_marked_sources[id]));
 211             # Unmark all other files references by .dsc too
 212             q = projectB.query("SELECT file FROM dsc_files WHERE source = %d" % (id));
 213             ql = q.getresult();
 214             for i in ql:
 215                     projectB.query("UPDATE files SET last_used = NULL WHERE id = %s" % (i[0]));
 216     projectB.query("COMMIT WORK");
 217
 218 def check_files():
 219     global delete_date;
 220
 221     print "Checking for unused files..."
 222
 223     # Check for files not references in either binaries or dsc_files
 224     used = {};
 225     q = projectB.query("SELECT file FROM binaries");
 226     for i in q.getresult():
 227         used[i[0]] = "";
 228     q = projectB.query("SELECT file FROM dsc_files");
 229     for i in q.getresult():
 230         used[i[0]] = "";
 231
 232     all = {};
 233     q = projectB.query("SELECT f.id, l.path, f.filename FROM files f, location l WHERE f.location = l.id;");
 234     for i in q.getresult():
 235         all[i[0]] = i[1] + i[2];
 236
 237     projectB.query("BEGIN WORK");
 238     for id in all.keys():
 239         if not used.has_key(id):
 240             projectB.query("UPDATE files SET last_used = '%s' WHERE id = %s" % (delete_date, id));
 241     projectB.query("COMMIT WORK");
 242
 243 def clean_binaries():
 244     global delete_date;
 245
 246     # We do this here so that the binaries we remove will have their
 247     # source also removed (if possible).
 248
 249     print "Cleaning binaries from the DB..."
 250     projectB.query("DELETE FROM binaries WHERE file IN (SELECT id FROM files WHERE last_used < '%s')" % (delete_date));
 251
 252 def clean():
 253     global delete_date;
 254     count = 0;
 255     size = 0;
 256
 257     print "Cleaning out packages..."
 258
 259     # Ensure destination directory exists
 260     dest = Cnf["Dir::Morgue"] + '/' + Cnf["Rhona::MorgueSubDir"];
 261     if not os.path.exists(dest):
 262         os.mkdir(dest);
 263
 264     # Delete from source (dsc_file should already be done!)
 265     projectB.query("DELETE FROM source WHERE file IN (SELECT id FROM files WHERE last_used <= '%s')" % (delete_date));
 266     # Delete files from the pool
 267     q = projectB.query("SELECT l.path, f.filename FROM location l, files f WHERE f.last_used <= '%s' AND l.id = f.location" % (delete_date));
 268     for i in q.getresult():
 269         filename = i[0] + i[1];
 270         if not os.path.exists(filename):
 271             sys.stderr.write("E: can not find %s.\n" % (filename));
 272             continue;
 273         if os.path.isfile(filename):
 274             if os.path.islink(filename):
 275                 count = count + 1;
 276                 #print "Removing symlink %s..." % (filename);
 277                 os.unlink(filename);
 278             else:
 279                 size = size + os.stat(filename)[stat.ST_SIZE];
 280                 count = count + 1;
 281                 #print "Cleaning %s to %s..." % (filename, dest);
 282                 utils.move(filename, dest);
 283         else:
 284             sys.stderr.write("%s is neither symlink nor file?!\n" % (filename));
 285             sys.exit(1);
 286     # delete from files
 287     projectB.query("DELETE FROM files WHERE last_used <= '%s'" % (delete_date));
 288     if count > 0:
 289         sys.stderr.write("Cleaned %d files, %s.\n" % (count, utils.size_type(size)));
 290
 291 def clean_maintainers():
 292     print "Cleaning out unused Maintainer entries..."
 293
 294     used = {};
 295     q = projectB.query("SELECT maintainer FROM binaries WHERE maintainer IS NOT NULL");
 296     for i in q.getresult():
 297         used[i[0]] = "";
 298     q = projectB.query("SELECT maintainer FROM source WHERE maintainer IS NOT NULL");
 299     for i in q.getresult():
 300         used[i[0]] = "";
 301
 302     all = {};
 303     q = projectB.query("SELECT id, name FROM maintainer");
 304     for i in q.getresult():
 305         all[i[0]] = i[1];
 306
 307     count = 0;
 308     projectB.query("BEGIN WORK");
 309     for id in all.keys():
 310         if not used.has_key(id):
 311             projectB.query("DELETE FROM maintainer WHERE id = %s" % (id));
 312             count = count + 1;
 313     projectB.query("COMMIT WORK");
 314
 315     if count > 0:
 316         sys.stderr.write("Cleared out %d maintainer entries.\n" % (count));
 317
 318 def main():
 319     global Cnf, projectB, delete_date;
 320
 321     projectB = pg.connect('projectb', 'localhost');
 322
 323     apt_pkg.init();
 324
 325     Cnf = apt_pkg.newConfiguration();
 326     apt_pkg.ReadConfigFileISC(Cnf,utils.which_conf_file());
 327
 328     Arguments = [('D',"debug","Rhona::Options::Debug", "IntVal"),
 329                  ('h',"help","Rhona::Options::Help"),
 330                  ('n',"no-action","Rhona::Options::No-Action"),
 331                  ('v',"verbose","Rhona::Options::Verbose"),
 332                  ('V',"version","Rhona::Options::Version")];
 333
 334     apt_pkg.ParseCommandLine(Cnf,Arguments,sys.argv);
 335     if Cnf["Rhona::Options::Help"]:
 336         usage(0);
 337
 338     if Cnf["Rhona::Options::Version"]:
 339         print "rhona version 0.0000000000";
 340         usage(0);
 341
 342     delete_date = time.strftime("%Y-%m-%d %H:%M", time.localtime(time.time()));
 343
 344     check_binaries();
 345     clean_binaries();
 346     check_sources();
 347     check_files();
 348     clean();
 349     clean_maintainers();
 350
 351 if __name__ == '__main__':
 352     main()
 353