]> git.decadent.org.uk Git - dak.git/commitdiff
Merge branch 'master' into content_generation
authorMike O'Connor <stew@vireo.org>
Tue, 17 Mar 2009 08:09:33 +0000 (04:09 -0400)
committerMike O'Connor <stew@vireo.org>
Tue, 17 Mar 2009 08:09:33 +0000 (04:09 -0400)
dak/contents.py
dak/dakdb/update10.py [new file with mode: 0644]
dak/update_db.py
daklib/dbconn.py

index ebeb2bc765b426e3c1ff3f271e4a5753ffca8d45..b2e9816f874a019af77a4fe1a7ec02252da6fae1 100755 (executable)
@@ -112,41 +112,33 @@ olddeb_q = """PREPARE olddeb_q(int) as
 
 # find me all of the contents for a given .deb
 contents_q = """PREPARE contents_q(int,int,int,int) as
-              SELECT (p.path||'/'||n.file) AS fn,
+                SELECT (p.path||'/'||n.file) AS fn,
                       comma_separated_list(s.section||'/'||b.package)
-              FROM content_associations c
-              JOIN content_file_paths p ON (c.filepath=p.id)
+              from content_associations c join content_file_paths p ON (c.filepath=p.id)
               JOIN content_file_names n ON (c.filename=n.id)
               JOIN binaries b ON (b.id=c.binary_pkg)
-              JOIN bin_associations ba ON (b.id=ba.bin)
               JOIN override o ON (o.package=b.package)
               JOIN section s ON (s.id=o.section)
-              WHERE (b.architecture = $1 OR b.architecture = $2)
-                  AND ba.suite = $3
-                  AND o.suite = $3
-                  AND b.type = 'deb'
-                  AND o.type = $4
+              WHERE o.suite = $1 AND o.type = $2
+              AND b.id in (SELECT ba.bin from bin_associations ba join binaries b on b.id=ba.bin where (b.architecture=$3 or b.architecture=$4)and ba.suite=$1 and b.type='deb')
               GROUP BY fn
-              ORDER BY fn"""
+              ORDER BY fn;"""
 
+# find me all of the contents for a given .udeb
 udeb_contents_q = """PREPARE udeb_contents_q(int,int,int,int,int) as
-              SELECT (p.path||'/'||n.file) as fn,
+              SELECT (p.path||'/'||n.file) AS fn,
                       comma_separated_list(s.section||'/'||b.package)
-              FROM content_associations c
-              JOIN content_file_paths p ON (c.filepath=p.id)
+              FROM content_file_paths p join content_associations c ON (c.filepath=p.id)
               JOIN content_file_names n ON (c.filename=n.id)
               JOIN binaries b ON (b.id=c.binary_pkg)
-              JOIN bin_associations ba ON (b.id=ba.bin)
               JOIN override o ON (o.package=b.package)
               JOIN section s ON (s.id=o.section)
-              WHERE (b.architecture = $1 OR b.architecture = $2)
-                  AND s.id = $3
-                  AND ba.suite = $4
-                  AND o.suite = $4
-                  AND b.type = 'udeb'
-                  AND o.type = $5
+              WHERE o.suite = $1 AND o.type = $2
+              AND s.id = $3
+              AND b.id in (SELECT ba.bin from bin_associations ba join binaries b on b.id=ba.bin where (b.architecture=$3 or b.architecture=$4)and ba.suite=$1 and b.type='udeb')
               GROUP BY fn
-              ORDER BY fn"""
+              ORDER BY fn;"""
+
 
 
 # clear out all of the temporarily stored content associations
@@ -228,9 +220,7 @@ class Contents(object):
                 if not contents:
                     return
 
-                num_tabs = max(1,
-                               int(math.ceil((self._goal_column - len(contents[0])-1) / 8)))
-                f.write(contents[0] + ( '\t' * num_tabs ) + contents[-1] + "\n")
+                f.write("%s\t%s\n" % contents )
 
         finally:
             f.close()
@@ -291,11 +281,11 @@ class Contents(object):
         """
         Generate Contents-$arch.gz files for every available arch in each given suite.
         """
-        cursor = DBConn().cursor();
+        cursor = DBConn().cursor()
 
-        DBConn().prepare( "arches_q", arches_q )
-        DBConn().prepare( "contents_q", contents_q )
-        DBConn().prepare( "udeb_contents_q", udeb_contents_q )
+        DBConn().prepare("arches_q", arches_q)
+        DBConn().prepare("contents_q", contents_q)
+        DBConn().prepare("udeb_contents_q", udeb_contents_q)
 
         debtype_id=DBConn().get_override_type_id("deb")
         udebtype_id=DBConn().get_override_type_id("udeb")
@@ -310,7 +300,7 @@ class Contents(object):
             arch_all_id = DBConn().get_architecture_id("all")
 
             for arch_id in arch_list:
-                cursor.execute("EXECUTE contents_q(%d,%d,%d,%d)" % (arch_id[0], arch_all_id, suite_id, debtype_id))
+                cursor.execute("EXECUTE contents_q(%d,%d,%d,%d)" % (suite_id, debtype_id, arch_all_id, arch_id[0] ))
                 self._write_content_file(cursor, "dists/%s/Contents-%s.gz" % (suite, arch_id[1]))
 
             # The MORE fun part. Ok, udebs need their own contents files, udeb, and udeb-nf (not-free)
@@ -321,7 +311,7 @@ class Contents(object):
                 for arch_id in arch_list:
                     section_id = DBConn().get_section_id(section) # all udebs should be here)
                     if section_id != -1:
-                        cursor.execute("EXECUTE udeb_contents_q(%d,%d,%d,%d,%d)" % (arch_id[0], arch_all_id, section_id, suite_id, udebtype_id))
+                        cursor.execute("EXECUTE udeb_contents_q(%d,%d,%d,%d,%d)" % (suite_id, udebtype_id, section_id, arch_id[0], arch_all_id))
 
                         self._write_content_file(cursor, fn_pattern % (suite, arch_id[1]))
 
@@ -362,6 +352,7 @@ class Contents(object):
 
 ################################################################################
 
+
 def main():
     cnf = Config()
 
diff --git a/dak/dakdb/update10.py b/dak/dakdb/update10.py
new file mode 100644 (file)
index 0000000..cf1caa1
--- /dev/null
@@ -0,0 +1,56 @@
+#!/usr/bin/env python
+# coding=utf8
+
+"""
+Debian Archive Kit Database Update Script
+Copyright © 2008 Michael Casadevall <mcasadevall@debian.org>
+Copyright © 2009 Mike O'Connor <stew@debian.org>
+
+Debian Archive Kit Database Update Script 8
+"""
+
+# This program is free software; you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation; either version 2 of the License, or
+# (at your option) any later version.
+
+# This program is distributed in the hope that it will be useful,
+# but WITHOUT ANY WARRANTY; without even the implied warranty of
+# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+# GNU General Public License for more details.
+
+# You should have received a copy of the GNU General Public License
+# along with this program; if not, write to the Free Software
+# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
+
+################################################################################
+
+
+################################################################################
+
+import psycopg2
+import time
+from daklib.dak_exceptions import DBUpdateError
+from daklib.utils import get_conf
+
+################################################################################
+
+def do_update(self):
+    print "add package_type enum"
+    Cnf = get_conf()
+
+    try:
+        c = self.db.cursor()
+
+        c.execute("CREATE TYPE package_type AS ENUM('deb','udeb','tdeb', 'dsc')")
+        c.execute("ALTER TABLE binaries RENAME COLUMN type to type_text" );
+        c.execute("ALTER TABLE binaries ADD COLUMN type package_type" );
+        c.execute("UPDATE binaries set type=type_text::package_type" );
+        c.execute("ALTER TABLE binaries DROP COLUMN type_text" );
+        c.execute("CREATE INDEX binary_type_ids on binaries(type)")
+
+        self.db.commit()
+
+    except psycopg2.ProgrammingError, msg:
+        self.db.rollback()
+        raise DBUpdateError, "Unable to apply binary type enum update, rollback issued. Error message : %s" % (str(msg))
index 55dda5da84ec6d67619a737988241b2e3ea4a51e..4d08721f54cfc20c74bc07a2efce816a27b18748 100755 (executable)
@@ -45,7 +45,7 @@ from daklib.dak_exceptions import DBUpdateError
 
 Cnf = None
 projectB = None
-required_database_schema = 9
+required_database_schema = 10
 
 ################################################################################
 
index 9801fdfdf25017121d9804e11d16a1d3d7d2adc1..38791290b244a8b6c65987277bfed71b5483668d 100755 (executable)
@@ -514,6 +514,8 @@ class DBConn(Singleton):
             for fullpath in fullpaths:
                 (path, file) = os.path.split(fullpath)
 
+                if path.startswith( "./" ):
+                    path = path[2:]
                 # Get the necessary IDs ...
                 file_id = self.get_or_set_contents_file_id(file)
                 path_id = self.get_or_set_contents_path_id(path)