]> git.decadent.org.uk Git - dak.git/blobdiff - kelly
Changed accepted_autobuild to queue_build everywhere.Add a queue table.Add a "queue...
[dak.git] / kelly
diff --git a/kelly b/kelly
index d1005702b3f71ea72816ad28f1ef4f701063540d..a941842f1ec20a76c465bee4681401d3e42c94cf 100755 (executable)
--- a/kelly
+++ b/kelly
@@ -1,8 +1,8 @@
 #!/usr/bin/env python
 
-# Installs Debian packages
-# Copyright (C) 2000, 2001, 2002, 2003  James Troup <james@nocrew.org>
-# $Id: kelly,v 1.8 2003-03-14 19:06:02 troup Exp $
+# Installs Debian packages from queue/accepted into the pool
+# Copyright (C) 2000, 2001, 2002, 2003, 2004  James Troup <james@nocrew.org>
+# $Id: kelly,v 1.17 2005-11-25 06:59:45 ajt Exp $
 
 # This program is free software; you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by
@@ -18,8 +18,6 @@
 # along with this program; if not, write to the Free Software
 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
-# Originally based on dinstall by Guy Maor <maor@debian.org>
-
 ###############################################################################
 
 #    Cartman: "I'm trying to make the best of a bad situation, I don't
 
 ###############################################################################
 
-import fcntl, os, sys, time;
+import errno, fcntl, os, sys, time;
 import apt_pkg;
 import db_access, katie, logging, utils;
 
 ###############################################################################
 
 # Globals
-kelly_version = "$Revision: 1.8 $";
+kelly_version = "$Revision: 1.17 $";
 
 Cnf = None;
 Options = None;
@@ -109,24 +107,44 @@ def reject (str, prefix="Rejected: "):
 # frozen between accept and our run time.
 
 def check():
+    propogate={}
+    nopropogate={}
     for file in files.keys():
+        # The .orig.tar.gz can disappear out from under us is it's a
+        # duplicate of one in the archive.
+        if not files.has_key(file):
+            continue;
         # Check that the source still exists
         if files[file]["type"] == "deb":
             source_version = files[file]["source version"];
             source_package = files[file]["source package"];
             if not changes["architecture"].has_key("source") \
-               and not Katie.source_exists(source_package, source_version):
+               and not Katie.source_exists(source_package, source_version,  changes["distribution"].keys()):
                 reject("no source found for %s %s (%s)." % (source_package, source_version, file));
 
         # Version and file overwrite checks
         if not installing_to_stable:
             if files[file]["type"] == "deb":
-                reject(Katie.check_binary_against_db(file));
+                reject(Katie.check_binary_against_db(file), "");
             elif files[file]["type"] == "dsc":
-                reject(Katie.check_source_against_db(file));
+                reject(Katie.check_source_against_db(file), "");
                 (reject_msg, is_in_incoming) = Katie.check_dsc_against_db(file);
                 reject(reject_msg, "");
 
+        # propogate in the case it is in the override tables:
+        if changes.has_key("propdistribution"):
+            for suite in changes["propdistribution"].keys():
+               if Katie.in_override_p(files[file]["package"], files[file]["component"], suite, files[file].get("dbtype",""), file):
+                   propogate[suite] = 1
+               else:
+                   nopropogate[suite] = 1
+
+    for suite in propogate.keys():
+       if suite in nopropogate:
+           continue
+       changes["distribution"][suite] = 1
+
+    for file in files.keys():
         # Check the package is still in the override tables
         for suite in changes["distribution"].keys():
             if not Katie.in_override_p(files[file]["package"], files[file]["component"], suite, files[file].get("dbtype",""), file):
@@ -271,6 +289,7 @@ def install ():
             fingerprint_id = db_access.get_or_set_fingerprint_id(dsc["fingerprint"]);
             install_date = time.strftime("%Y-%m-%d");
             filename = files[file]["pool name"] + file;
+            dsc_component = files[file]["component"];
             dsc_location_id = files[file]["location id"];
             if not files[file].has_key("files id") or not files[file]["files id"]:
                 files[file]["files id"] = db_access.set_files_id (filename, files[file]["size"], files[file]["md5sum"], dsc_location_id)
@@ -307,7 +326,6 @@ def install ():
             architecture = files[file]["architecture"]
             architecture_id = db_access.get_architecture_id (architecture);
             type = files[file]["dbtype"];
-            dsc_component = files[file]["component"]
             source = files[file]["source package"]
             source_version = files[file]["source version"];
             filename = files[file]["pool name"] + file;
@@ -332,7 +350,7 @@ def install ():
     orig_tar_id = Katie.pkg.orig_tar_id;
     orig_tar_location = Katie.pkg.orig_tar_location;
     legacy_source_untouchable = Katie.pkg.legacy_source_untouchable;
-    if orig_tar_id != None and orig_tar_location == "legacy":
+    if orig_tar_id and orig_tar_location == "legacy":
         q = projectB.query("SELECT DISTINCT ON (f.id) l.path, f.filename, f.id as files_id, df.source, df.id as dsc_files_id, f.size, f.md5sum FROM files f, dsc_files df, location l WHERE df.source IN (SELECT source FROM dsc_files WHERE file = %s) AND f.id = df.file AND l.id = f.location AND (l.type = 'legacy' OR l.type = 'legacy-mixed')" % (orig_tar_id));
         qd = q.dictresult();
         for qid in qd:
@@ -352,7 +370,7 @@ def install ():
     # cross-component we need to copy the .orig.tar.gz into the new
     # component too for the same reasons as above.
     #
-    if changes["architecture"].has_key("source") and orig_tar_id != None and \
+    if changes["architecture"].has_key("source") and orig_tar_id and \
        orig_tar_location != "legacy" and orig_tar_location != dsc_location_id:
         q = projectB.query("SELECT l.path, f.filename, f.size, f.md5sum FROM files f, location l WHERE f.id = %s AND f.location = l.id" % (orig_tar_id));
         ql = q.getresult()[0];
@@ -390,11 +408,10 @@ def install ():
     projectB.query("COMMIT WORK");
 
     # Move the .changes into the 'done' directory
-    try:
-        utils.move (pkg.changes_file, os.path.join(Cnf["Dir::Queue::Done"], os.path.basename(pkg.changes_file)));
-    except:
-        utils.warn("couldn't move changes file '%s' to DONE directory. [Got %s]" % (os.path.basename(pkg.changes_file), sys.exc_type));
+    utils.move (pkg.changes_file,
+                os.path.join(Cnf["Dir::Queue::Done"], os.path.basename(pkg.changes_file)));
 
+    # Remove the .katie file
     os.unlink(Katie.pkg.changes_file[:-8]+".katie");
 
     if changes["architecture"].has_key("source") and Urgency_Logger:
@@ -404,18 +421,18 @@ def install ():
     # from accepted.
     projectB.query("BEGIN WORK");
     for suite in changes["distribution"].keys():
-        if suite not in Cnf.ValueList("Dinstall::AcceptedAutoBuildSuites"):
+        if suite not in Cnf.ValueList("Dinstall::QueueBuildSuites"):
             continue;
         now_date = time.strftime("%Y-%m-%d %H:%M");
         suite_id = db_access.get_suite_id(suite);
-        dest_dir = Cnf["Dir::AcceptedAutoBuild"];
-        if Cnf.FindB("Dinstall::SecurityAcceptedAutoBuild"):
+        dest_dir = Cnf["Dir::QueueBuild"];
+        if Cnf.FindB("Dinstall::SecurityQueueBuild"):
             dest_dir = os.path.join(dest_dir, suite);
         for file in files.keys():
             dest = os.path.join(dest_dir, file);
             # Remove it from the list of packages for later processing by apt-ftparchive
-            projectB.query("UPDATE accepted_autobuild SET in_accepted = 'f', last_used = '%s' WHERE filename = '%s' AND suite = %s" % (now_date, dest, suite_id));
-            if not Cnf.FindB("Dinstall::SecurityAcceptedAutoBuild"):
+            projectB.query("UPDATE queue_build SET in_queue = 'f', last_used = '%s' WHERE filename = '%s' AND suite = %s" % (now_date, dest, suite_id));
+            if not Cnf.FindB("Dinstall::SecurityQueueBuild"):
                 # Update the symlink to point to the new location in the pool
                 pool_location = utils.poolify (changes["source"], files[file]["component"]);
                 src = os.path.join(Cnf["Dir::Pool"], pool_location, os.path.basename(file));
@@ -429,7 +446,7 @@ def install ():
                 if dsc_file.endswith(".orig.tar.gz"):
                     orig_tar_gz = os.path.join(dest_dir, dsc_file);
             # Remove it from the list of packages for later processing by apt-ftparchive
-            projectB.query("UPDATE accepted_autobuild SET in_accepted = 'f', last_used = '%s' WHERE filename = '%s' AND suite = %s" % (now_date, orig_tar_gz, suite_id));
+            projectB.query("UPDATE queue_build SET in_queue = 'f', last_used = '%s' WHERE filename = '%s' AND suite = %s" % (now_date, orig_tar_gz, suite_id));
     projectB.query("COMMIT WORK");
 
     # Finally...
@@ -491,7 +508,7 @@ def stable_install (summary, short_summary):
     for file in files.keys():
         if files[file]["type"] == "deb":
             new_changelog.write("stable/%s/binary-%s/%s\n" % (files[file]["component"], files[file]["architecture"], file));
-        elif utils.re_issource.match(file) != None:
+        elif utils.re_issource.match(file):
             new_changelog.write("stable/%s/source/%s\n" % (files[file]["component"], file));
         else:
             new_changelog.write("%s\n" % (file));
@@ -581,7 +598,7 @@ def main():
                 utils.fubar("Couldn't obtain lock; assuming another kelly is already running.");
             else:
                 raise;
-        Logger = Katie.Logger = logging.Logger(Cnf, "katie");
+        Logger = Katie.Logger = logging.Logger(Cnf, "kelly");
         if not installing_to_stable and Cnf.get("Dir::UrgencyLog"):
             Urgency_Logger = Urgency_Log(Cnf);