]> git.decadent.org.uk Git - dak.git/commitdiff
Merge remote-tracking branch 'ansgar/p-s-from-db' into merge
authorJoerg Jaspert <joerg@debian.org>
Sat, 26 Mar 2011 21:07:29 +0000 (22:07 +0100)
committerJoerg Jaspert <joerg@debian.org>
Sat, 26 Mar 2011 21:07:29 +0000 (22:07 +0100)
* ansgar/p-s-from-db:
  daklib/changes.py: add logger parameter
  generate-packages-sources2: Add external overrides
  Add external-overrides.

Signed-off-by: Joerg Jaspert <joerg@debian.org>
dak/dak.py
dak/dakdb/update59.py [new file with mode: 0755]
dak/external_overrides.py [new file with mode: 0755]
dak/generate_packages_sources2.py
dak/process_upload.py
dak/update_db.py
daklib/changes.py
daklib/dbconn.py

index 304af5f11203d542d2d2f0c63175a7e59b3b2502..b8b9f62d651307ba47f79176fc1c052e54c78b52 100755 (executable)
@@ -153,6 +153,8 @@ def init():
          "Copies the installer from one suite to another"),
         ("override-disparity",
          "Generate a list of override disparities"),
+        ("external-overrides",
+         "Modify external overrides"),
         ]
     return functionality
 
diff --git a/dak/dakdb/update59.py b/dak/dakdb/update59.py
new file mode 100755 (executable)
index 0000000..6417a37
--- /dev/null
@@ -0,0 +1,56 @@
+#!/usr/bin/env python
+# coding=utf8
+
+"""
+Add external_overrides
+
+@contact: Debian FTP Master <ftpmaster@debian.org>
+@copyright: 2011 Ansgar Burchardt <ansgar@debian.org>
+@license: GNU General Public License version 2 or later
+"""
+
+# This program is free software; you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation; either version 2 of the License, or
+# (at your option) any later version.
+
+# This program is distributed in the hope that it will be useful,
+# but WITHOUT ANY WARRANTY; without even the implied warranty of
+# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+# GNU General Public License for more details.
+
+# You should have received a copy of the GNU General Public License
+# along with this program; if not, write to the Free Software
+# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
+
+################################################################################
+
+import psycopg2
+from daklib.dak_exceptions import DBUpdateError
+
+################################################################################
+def do_update(self):
+    """
+    Add external_overrides
+    """
+    print __doc__
+    try:
+        c = self.db.cursor()
+
+        c.execute("""
+        CREATE TABLE external_overrides (
+            package TEXT NOT NULL,
+            key TEXT NOT NULL,
+            value TEXT NOT NULL,
+            PRIMARY KEY (package, key)
+        )""");
+
+        c.execute("GRANT SELECT, UPDATE, INSERT, DELETE ON external_overrides TO ftpmaster");
+        c.execute("GRANT SELECT ON external_overrides TO public");
+
+        c.execute("UPDATE config SET value = '59' WHERE name = 'db_revision'")
+        self.db.commit()
+
+    except psycopg2.ProgrammingError, msg:
+        self.db.rollback()
+        raise DBUpdateError, 'Unable to apply sick update 59, rollback issued. Error message : %s' % (str(msg))
diff --git a/dak/external_overrides.py b/dak/external_overrides.py
new file mode 100755 (executable)
index 0000000..a38fd5d
--- /dev/null
@@ -0,0 +1,98 @@
+#!/usr/bin/python
+
+"""
+Modify external overrides.
+
+@contact: Debian FTP Master <ftpmaster@debian.org>
+@copyright: 2011  Ansgar Burchardt <ansgar@debian.org>
+@license: GNU General Public License version 2 or later
+"""
+
+# This program is free software; you can redistribute it and/or modify
+# it under the terms of the GNU General Public License as published by
+# the Free Software Foundation; either version 2 of the License, or
+# (at your option) any later version.
+
+# This program is distributed in the hope that it will be useful,
+# but WITHOUT ANY WARRANTY; without even the implied warranty of
+# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+# GNU General Public License for more details.
+
+# You should have received a copy of the GNU General Public License
+# along with this program; if not, write to the Free Software
+# Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
+
+from daklib.dbconn import *
+from daklib.config import Config
+from daklib import utils, daklog
+
+import apt_pkg
+import sys
+
+def usage():
+    print """Usage: dak external-overrides COMMAND
+Modify external overrides.
+
+  -h, --help show this help and exit.
+
+Commands can use a long or abbreviated form:
+
+    remove KEY                 remove external overrides for KEY
+    rm KEY
+
+    import KEY                 import external overrides for KEY
+    i KEY                      NOTE: This will replace existing overrides.
+
+    show-key KEY               show external overrides for KEY
+    s-k KEY
+
+    show-package PACKAGE       show external overrides for PACKAGE
+    s-p PACKAGE
+
+For the 'import' command, external overrides are read from standard input and
+should be given as lines of the form 'PACKAGE KEY VALUE'.
+"""
+    sys.exit()
+
+#############################################################################
+
+def external_overrides_import(key, file):
+    session = DBConn().session()
+
+    session.query(ExternalOverride).filter_by(key=key).delete()
+
+    for line in file:
+        (package, key, value) = line.strip().split(None, 2)
+        eo = ExternalOverride()
+        eo.package = package
+        eo.key = key
+        eo.value = value
+        session.add(eo)
+
+    session.commit()
+
+#############################################################################
+
+def main():
+    cnf = Config()
+
+    Arguments = [('h',"help","External-Overrides::Options::Help")]
+
+    (command, arg) = apt_pkg.ParseCommandLine(cnf.Cnf, Arguments, sys.argv)
+    try:
+        Options = cnf.SubTree("External-Overrides::Options")
+    except KeyError:
+        Options = {}
+
+    if Options.has_key("Help"):
+        usage()
+
+    logger = daklog.Logger(cnf, 'external-overrides')
+
+    if command in ('import', 'i'):
+        external_overrides_import(arg, sys.stdin)
+    else:
+        print "E: Unknown commands."
+
+if __name__ == '__main__':
+    main()
index ea3c0e53b21866ab40dcff27f75171121d6fb341..c23ede9bcd3a2a246e3a1a71d76b3a935a825642 100755 (executable)
@@ -160,6 +160,11 @@ SELECT
      bm.bin_id = tmp.binary_id
      AND key != 'Section' AND key != 'Priority'
   )
+  || COALESCE(E'\n' || (SELECT
+     STRING_AGG(key || '\: ' || value, E'\n' ORDER BY key)
+   FROM external_overrides eo
+   WHERE eo.package = tmp.package
+  ), '')
   || E'\nSection\: ' || sec.section
   || E'\nPriority\: ' || pri.priority
   || E'\nFilename\: pool/' || tmp.filename
index 13474071c34600cb82d3eae1d7a1e37df857ef21..22c333c9910a86cf8148492f28a18ea1c724a1e2 100755 (executable)
@@ -207,6 +207,8 @@ def byebye():
 
 
 def action(u, session):
+    global Logger
+
     cnf = Config()
     holding = Holding()
 
@@ -293,7 +295,7 @@ def action(u, session):
         u.do_reject(0, pi)
     elif answer == 'A':
         if not chg:
-            chg = u.pkg.add_known_changes(holding.holding_dir, session=session)
+            chg = u.pkg.add_known_changes(holding.holding_dir, session=session, logger=Logger)
         session.commit()
         u.accept(summary, short_summary, session)
         u.check_override()
@@ -302,13 +304,13 @@ def action(u, session):
         u.remove()
     elif answer == 'P':
         if not chg:
-            chg = u.pkg.add_known_changes(holding.holding_dir, session=session)
+            chg = u.pkg.add_known_changes(holding.holding_dir, session=session, logger=Logger)
         package_to_queue(u, summary, short_summary, policyqueue, chg, session)
         session.commit()
         u.remove()
     elif answer == queuekey:
         if not chg:
-            chg = u.pkg.add_known_changes(holding.holding_dir, session=session)
+            chg = u.pkg.add_known_changes(holding.holding_dir, session=session, logger=Logger)
         QueueInfo[qu]["process"](u, summary, short_summary, chg, session)
         session.commit()
         u.remove()
index 75d45dff5691d0c185efcc2653ca37b83f054368..447af0af4e23990b7c74e0c20f5588c671f7c54f 100755 (executable)
@@ -46,7 +46,7 @@ from daklib.daklog import Logger
 ################################################################################
 
 Cnf = None
-required_database_schema = 58
+required_database_schema = 59
 
 ################################################################################
 
index 48da0e580ae5c62ef4fa36b592a05601bd928f7d..1214b03bffb06e9843dcdcc2cdf64b893ba35448 100644 (file)
@@ -187,7 +187,7 @@ class Changes(object):
             if (not self.changes.has_key(key)) or (not self.changes[key]):
                 self.changes[key]='missing'
 
-    def __get_file_from_pool(self, filename, entry, session):
+    def __get_file_from_pool(self, filename, entry, session, logger):
         cnf = Config()
 
         if cnf.has_key("Dinstall::SuiteSuffix"):
@@ -205,20 +205,23 @@ class Changes(object):
                                          session=session)
 
         if found is None:
-            Logger.log(["E: Found multiple files for pool (%s) for %s" % (filename, component)])
+            if logger is not None:
+                logger.log(["E: Found multiple files for pool (%s) for %s" % (filename, component)])
             return None
         elif found is False and poolfile is not None:
-            Logger.log(["E: md5sum/size mismatch for %s in pool" % (filename)])
+            if logger is not None:
+                logger.log(["E: md5sum/size mismatch for %s in pool" % (filename)])
             return None
         else:
             if poolfile is None:
-                Logger.log(["E: Could not find %s in pool" % (filename)])
+                if logger is not None:
+                    logger.log(["E: Could not find %s in pool" % (filename)])
                 return None
             else:
                 return poolfile
 
     @session_wrapper
-    def add_known_changes(self, dirpath, in_queue=None, session=None):
+    def add_known_changes(self, dirpath, in_queue=None, session=None, logger=None):
         """add "missing" in fields which we will require for the known_changes table"""
         cnf = Config()
 
@@ -290,7 +293,7 @@ class Changes(object):
                 continue
 
             entry['source'] = self.changes['source']
-            poolfile = self.__get_file_from_pool(name, entry, session)
+            poolfile = self.__get_file_from_pool(name, entry, session, logger)
             if poolfile:
                 chg.poolfiles.append(poolfile)
 
index 8da26063607d7d501b224162fb1630118b48a5ff..c6612b72519235bd06df3fd6eeb663b93b8a8308 100755 (executable)
@@ -1352,6 +1352,17 @@ __all__.append('get_dscfiles')
 
 ################################################################################
 
+class ExternalOverride(ORMObject):
+    def __init__(self, *args, **kwargs):
+        pass
+
+    def __repr__(self):
+        return '<ExternalOverride %s = %s: %s>' % (self.package, self.key, self.value)
+
+__all__.append('ExternalOverride')
+
+################################################################################
+
 class PoolFile(ORMObject):
     def __init__(self, filename = None, location = None, filesize = -1, \
         md5sum = None):
@@ -3184,6 +3195,7 @@ class DBConn(object):
             'changes_pending_source_files',
             'changes_pool_files',
             'dsc_files',
+            'external_overrides',
             'extra_src_references',
             'files',
             'fingerprint',
@@ -3318,6 +3330,8 @@ class DBConn(object):
                                  poolfile_id = self.tbl_dsc_files.c.file,
                                  poolfile = relation(PoolFile)))
 
+        mapper(ExternalOverride, self.tbl_external_overrides)
+
         mapper(PoolFile, self.tbl_files,
                properties = dict(file_id = self.tbl_files.c.id,
                                  filesize = self.tbl_files.c.size,