]> git.decadent.org.uk Git - dak.git/blobdiff - dak/make_overrides.py
Merge remote-tracking branch 'nthykier/auto-decruft'
[dak.git] / dak / make_overrides.py
index bff25dd96d539bc4287e26f3607d3b5c0ce630dd..569ee7696d831f4312ddad7e9e012b57a5232587 100755 (executable)
@@ -29,17 +29,13 @@ Output override files for apt-ftparchive and indices/
 
 ################################################################################
 
-import pg
+import os
 import sys
 import apt_pkg
-from daklib import database
-from daklib import utils
-
-################################################################################
 
-Cnf = None       #: Configuration, apt_pkg.Configuration
-projectB = None  #: database connection, pgobject
-override = {}    #: override data to write out
+from daklib.dbconn import *
+from daklib.config import Config
+from daklib import utils
 
 ################################################################################
 
@@ -52,93 +48,100 @@ Outputs the override tables to text files.
 
 ################################################################################
 
-def do_list(output_file, suite, component, otype):
+def do_list(output_file, suite, component, otype, session):
     """
     Fetch override data for suite from the database and dump it.
 
     @type output_file: fileobject
     @param output_file: where to write the overrides to
 
-    @type suite: string
-    @param suite: The name of the suite
+    @type suite: Suite object
+    @param suite: A suite object describing the Suite
 
-    @type component: string
+    @type component: Component object
     @param component: The name of the component
 
-    @type otype: string
-    @param otype: type of override. deb/udeb/dsc
-
-    """
-    global override
-
-    suite_id = database.get_suite_id(suite)
-    if suite_id == -1:
-        utils.fubar("Suite '%s' not recognised." % (suite))
-
-    component_id = database.get_component_id(component)
-    if component_id == -1:
-        utils.fubar("Component '%s' not recognised." % (component))
+    @type otype: OverrideType object
+    @param otype: object of type of override. deb/udeb/dsc
 
-    otype_id = database.get_override_type_id(otype)
-    if otype_id == -1:
-        utils.fubar("Type '%s' not recognised. (Valid types are deb, udeb and dsc)" % (otype))
+    @type session: SQLA Session
+    @param session: the database session in use
 
-    override.setdefault(suite, {})
-    override[suite].setdefault(component, {})
-    override[suite][component].setdefault(otype, {})
+    """
+    # Here's a nice example of why the object API isn't always the
+    # right answer.  On my laptop, the object version of the code
+    # takes 1:45, the 'dumb' tuple-based one takes 0:16 - mhy
+
+    if otype.overridetype == "dsc":
+        #q = session.query(Override).filter_by(suite_id = suite.suite_id)
+        #q = q.filter_by(component_id = component.component_id)
+        #q = q.filter_by(overridetype_id = otype.overridetype_id)
+        #q = q.join(Section).order_by(Section.section, Override.package)
+        #for o in q.all():
+        #    dat = (o.package, o.section.section, o.maintainer)
+        #    output_file.write(utils.result_join(dat) + '\n')
+        q = session.execute("SELECT o.package, s.section, o.maintainer FROM override o, section s WHERE o.suite = %s AND o.component = %s AND o.type = %s AND o.section = s.id ORDER BY s.section, o.package" % (suite.suite_id, component.component_id, otype.overridetype_id))
+        for i in q.fetchall():
+            output_file.write(utils.result_join(i) + '\n')
 
-    if otype == "dsc":
-        q = projectB.query("SELECT o.package, s.section, o.maintainer FROM override o, section s WHERE o.suite = %s AND o.component = %s AND o.type = %s AND o.section = s.id ORDER BY s.section, o.package" % (suite_id, component_id, otype_id))
-        for i in q.getresult():
-            override[suite][component][otype][i[0]] = i
-            output_file.write(utils.result_join(i)+'\n')
     else:
-        q = projectB.query("SELECT o.package, p.priority, s.section, o.maintainer, p.level FROM override o, priority p, section s WHERE o.suite = %s AND o.component = %s AND o.type = %s AND o.priority = p.id AND o.section = s.id ORDER BY s.section, p.level, o.package" % (suite_id, component_id, otype_id))
-        for i in q.getresult():
-            i = i[:-1]; # Strip the priority level
-            override[suite][component][otype][i[0]] = i
-            output_file.write(utils.result_join(i)+'\n')
+        #q = session.query(Override).filter_by(suite_id = suite.suite_id)
+        #q = q.filter_by(component_id = component.component_id)
+        #q = q.filter_by(overridetype_id = otype.overridetype_id)
+        #q = q.join(Priority).join(Section).order_by(Section.section, Priority.level, Override.package)
+        #for o in q.all():
+        #    dat = (o.package, o.priority.priority, o.section.section, o.maintainer)
+        #    output_file.write(utils.result_join(dat) + '\n')
+        q = session.execute("SELECT o.package, p.priority, s.section, o.maintainer FROM override o, priority p, section s WHERE o.suite = %s AND o.component = %s AND o.type = %s AND o.priority = p.id AND o.section = s.id ORDER BY s.section, p.level, o.package" % (suite.suite_id, component.component_id, otype.overridetype_id))
+        for i in q.fetchall():
+            output_file.write(utils.result_join(i) + '\n')
 
 ################################################################################
 
 def main ():
-    global Cnf, projectB, override
-
-    Cnf = utils.get_conf()
+    cnf = Config()
     Arguments = [('h',"help","Make-Overrides::Options::Help")]
     for i in [ "help" ]:
-        if not Cnf.has_key("Make-Overrides::Options::%s" % (i)):
-            Cnf["Make-Overrides::Options::%s" % (i)] = ""
-    apt_pkg.ParseCommandLine(Cnf,Arguments,sys.argv)
-    Options = Cnf.SubTree("Make-Overrides::Options")
+        if not cnf.has_key("Make-Overrides::Options::%s" % (i)):
+            cnf["Make-Overrides::Options::%s" % (i)] = ""
+    apt_pkg.parse_commandline(cnf.Cnf, Arguments, sys.argv)
+    Options = cnf.subtree("Make-Overrides::Options")
     if Options["Help"]:
         usage()
 
-    projectB = pg.connect(Cnf["DB::Name"], Cnf["DB::Host"], int(Cnf["DB::Port"]))
-    database.init(Cnf, projectB)
+    d = DBConn()
+    session = d.session()
 
-    for suite in Cnf.SubTree("Check-Overrides::OverrideSuites").List():
-        if Cnf.has_key("Suite::%s::Untouchable" % suite) and Cnf["Suite::%s::Untouchable" % suite] != 0:
+    for suite in session.query(Suite).filter(Suite.overrideprocess==True):
+        if suite.untouchable:
+            print "Skipping %s as it is marked as untouchable" % suite.suite_name
             continue
-        suite = suite.lower()
-
-        sys.stderr.write("Processing %s...\n" % (suite))
-        override_suite = Cnf["Suite::%s::OverrideCodeName" % (suite)]
-        for component in Cnf.SubTree("Component").List():
-            if component == "mixed":
-                continue # Ick
-            for otype in Cnf.ValueList("OverrideType"):
-                if otype == "deb":
+
+        sys.stderr.write("Processing %s...\n" % (suite.suite_name))
+        override_suite = suite.overridecodename or suite.codename
+
+        for component in session.query(Component).all():
+            for otype in session.query(OverrideType).all():
+                otype_name = otype.overridetype
+                cname = component.component_name
+
+                # TODO: Stick suffix info in database (or get rid of it)
+                if otype_name == "deb":
                     suffix = ""
-                elif otype == "udeb":
-                    if component == "contrib":
+                elif otype_name == "udeb":
+                    if cname == "contrib":
                         continue # Ick2
                     suffix = ".debian-installer"
-                elif otype == "dsc":
+                elif otype_name == "dsc":
                     suffix = ".src"
-                filename = "%s/override.%s.%s%s" % (Cnf["Dir::Override"], override_suite, component, suffix)
+                else:
+                    utils.fubar("Don't understand OverrideType %s" % otype.overridetype)
+
+                cname = cname.replace('/', '_')
+                filename = os.path.join(cnf["Dir::Override"], "override.%s.%s%s" % (override_suite, cname, suffix))
+
                 output_file = utils.open_file(filename, 'w')
-                do_list(output_file, suite, component, otype)
+                do_list(output_file, suite, component, otype, session)
                 output_file.close()
 
 ################################################################################