]> git.decadent.org.uk Git - dak.git/blobdiff - daklib/dbconn.py
Merge branch 'master' into deb-src-3.0-sqla
[dak.git] / daklib / dbconn.py
index 43c0b6985e7ebf723423cce58f6a1c59d353bfe3..98ebcaa1ca43aaaa065cf8f5ce350776caf8a1eb 100755 (executable)
@@ -37,11 +37,14 @@ import os
 import psycopg2
 import traceback
 
+from inspect import getargspec
+
 from sqlalchemy import create_engine, Table, MetaData, select
 from sqlalchemy.orm import sessionmaker, mapper, relation
 
 # Don't remove this, we re-export the exceptions to scripts which import us
 from sqlalchemy.exc import *
+from sqlalchemy.orm.exc import NoResultFound
 
 # Only import Config until Queue stuff is changed to store its config
 # in the database
@@ -55,6 +58,30 @@ __all__ = ['IntegrityError', 'SQLAlchemyError']
 
 ################################################################################
 
+def session_wrapper(fn):
+    def wrapped(*args, **kwargs):
+        private_transaction = False
+        session = kwargs.get('session')
+
+        # No session specified as last argument or in kwargs, create one.
+        if session is None and len(args) <= len(getargspec(fn)[0]) - 1:
+            private_transaction = True
+            kwargs['session'] = DBConn().session()
+
+        try:
+            return fn(*args, **kwargs)
+        finally:
+            if private_transaction:
+                # We created a session; close it.
+                kwargs['session'].close()
+
+    wrapped.__doc__ = fn.__doc__
+    wrapped.func_name = fn.func_name
+
+    return wrapped
+
+################################################################################
+
 class Architecture(object):
     def __init__(self, *args, **kwargs):
         pass
@@ -76,6 +103,7 @@ class Architecture(object):
 
 __all__.append('Architecture')
 
+@session_wrapper
 def get_architecture(architecture, session=None):
     """
     Returns database id for given C{architecture}.
@@ -89,17 +117,18 @@ def get_architecture(architecture, session=None):
 
     @rtype: Architecture
     @return: Architecture object for the given arch (None if not present)
-
     """
-    if session is None:
-        session = DBConn().session()
+
     q = session.query(Architecture).filter_by(arch_string=architecture)
-    if q.count() == 0:
+
+    try:
+        return q.one()
+    except NoResultFound:
         return None
-    return q.one()
 
 __all__.append('get_architecture')
 
+@session_wrapper
 def get_architecture_suites(architecture, session=None):
     """
     Returns list of Suite objects for given C{architecture} name
@@ -115,13 +144,13 @@ def get_architecture_suites(architecture, session=None):
     @return: list of Suite objects for the given name (may be empty)
     """
 
-    if session is None:
-        session = DBConn().session()
-
     q = session.query(Suite)
     q = q.join(SuiteArchitecture)
     q = q.join(Architecture).filter_by(arch_string=architecture).order_by('suite_name')
-    return q.all()
+
+    ret = q.all()
+
+    return ret
 
 __all__.append('get_architecture_suites')
 
@@ -132,10 +161,11 @@ class Archive(object):
         pass
 
     def __repr__(self):
-        return '<Archive %s>' % self.name
+        return '<Archive %s>' % self.archive_name
 
 __all__.append('Archive')
 
+@session_wrapper
 def get_archive(archive, session=None):
     """
     returns database id for given c{archive}.
@@ -152,12 +182,13 @@ def get_archive(archive, session=None):
 
     """
     archive = archive.lower()
-    if session is None:
-        session = DBConn().session()
+
     q = session.query(Archive).filter_by(archive_name=archive)
-    if q.count() == 0:
+
+    try:
+        return q.one()
+    except NoResultFound:
         return None
-    return q.one()
 
 __all__.append('get_archive')
 
@@ -183,6 +214,7 @@ class DBBinary(object):
 
 __all__.append('DBBinary')
 
+@session_wrapper
 def get_suites_binary_in(package, session=None):
     """
     Returns list of Suite objects which given C{package} name is in
@@ -194,13 +226,11 @@ def get_suites_binary_in(package, session=None):
     @return: list of Suite objects for the given package
     """
 
-    if session is None:
-        session = DBConn().session()
-
     return session.query(Suite).join(BinAssociation).join(DBBinary).filter_by(package=package).all()
 
 __all__.append('get_suites_binary_in')
 
+@session_wrapper
 def get_binary_from_id(id, session=None):
     """
     Returns DBBinary object for given C{id}
@@ -215,15 +245,17 @@ def get_binary_from_id(id, session=None):
     @rtype: DBBinary
     @return: DBBinary object for the given binary (None if not present)
     """
-    if session is None:
-        session = DBConn().session()
+
     q = session.query(DBBinary).filter_by(binary_id=id)
-    if q.count() == 0:
+
+    try:
+        return q.one()
+    except NoResultFound:
         return None
-    return q.one()
 
 __all__.append('get_binary_from_id')
 
+@session_wrapper
 def get_binaries_from_name(package, version=None, architecture=None, session=None):
     """
     Returns list of DBBinary objects for given C{package} name
@@ -244,8 +276,6 @@ def get_binaries_from_name(package, version=None, architecture=None, session=Non
     @rtype: list
     @return: list of DBBinary objects for the given name (may be empty)
     """
-    if session is None:
-        session = DBConn().session()
 
     q = session.query(DBBinary).filter_by(package=package)
 
@@ -257,10 +287,13 @@ def get_binaries_from_name(package, version=None, architecture=None, session=Non
             architecture = [architecture]
         q = q.join(Architecture).filter(Architecture.arch_string.in_(architecture))
 
-    return q.all()
+    ret = q.all()
+
+    return ret
 
 __all__.append('get_binaries_from_name')
 
+@session_wrapper
 def get_binaries_from_source_id(source_id, session=None):
     """
     Returns list of DBBinary objects for given C{source_id}
@@ -275,18 +308,15 @@ def get_binaries_from_source_id(source_id, session=None):
     @rtype: list
     @return: list of DBBinary objects for the given name (may be empty)
     """
-    if session is None:
-        session = DBConn().session()
+
     return session.query(DBBinary).filter_by(source_id=source_id).all()
 
 __all__.append('get_binaries_from_source_id')
 
-
+@session_wrapper
 def get_binary_from_name_suite(package, suitename, session=None):
     ### For dak examine-package
     ### XXX: Doesn't use object API yet
-    if session is None:
-        session = DBConn().session()
 
     sql = """SELECT DISTINCT(b.package), b.version, c.name, su.suite_name
              FROM binaries b, files fi, location l, component c, bin_associations ba, suite su
@@ -303,8 +333,9 @@ def get_binary_from_name_suite(package, suitename, session=None):
 
 __all__.append('get_binary_from_name_suite')
 
+@session_wrapper
 def get_binary_components(package, suitename, arch, session=None):
-# Check for packages that have moved from one component to another
+    # Check for packages that have moved from one component to another
     query = """SELECT c.name FROM binaries b, bin_associations ba, suite s, location l, component c, architecture a, files f
     WHERE b.package=:package AND s.suite_name=:suitename
       AND (a.arch_string = :arch OR a.arch_string = 'all')
@@ -315,8 +346,6 @@ def get_binary_components(package, suitename, arch, session=None):
 
     vals = {'package': package, 'suitename': suitename, 'arch': arch}
 
-    if session is None:
-        session = DBConn().session()
     return session.execute(query, vals)
 
 __all__.append('get_binary_components')
@@ -345,6 +374,7 @@ class Component(object):
 
 __all__.append('Component')
 
+@session_wrapper
 def get_component(component, session=None):
     """
     Returns database id for given C{component}.
@@ -357,12 +387,13 @@ def get_component(component, session=None):
 
     """
     component = component.lower()
-    if session is None:
-        session = DBConn().session()
+
     q = session.query(Component).filter_by(component_name=component)
-    if q.count() == 0:
+
+    try:
+        return q.one()
+    except NoResultFound:
         return None
-    return q.one()
 
 __all__.append('get_component')
 
@@ -409,24 +440,28 @@ def get_or_set_contents_file_id(filename, session=None):
         session = DBConn().session()
         privatetrans = True
 
+    q = session.query(ContentFilename).filter_by(filename=filename)
+
     try:
-        q = session.query(ContentFilename).filter_by(filename=filename)
-        if q.count() < 1:
-            cf = ContentFilename()
-            cf.filename = filename
-            session.add(cf)
-            if privatetrans:
-                session.commit()
-            return cf.cafilename_id
+        ret = q.one().cafilename_id
+    except NoResultFound:
+        cf = ContentFilename()
+        cf.filename = filename
+        session.add(cf)
+        if privatetrans:
+            session.commit()
         else:
-            return q.one().cafilename_id
+            session.flush()
+        ret = cf.cafilename_id
 
-    except:
-        traceback.print_exc()
-        raise
+    if privatetrans:
+        session.close()
+
+    return ret
 
 __all__.append('get_or_set_contents_file_id')
 
+@session_wrapper
 def get_contents(suite, overridetype, section=None, session=None):
     """
     Returns contents for a suite / overridetype combination, limiting
@@ -450,9 +485,6 @@ def get_contents(suite, overridetype, section=None, session=None):
     package, arch_id)
     """
 
-    if session is None:
-        session = DBConn().session()
-
     # find me all of the contents for a given suite
     contents_q = """SELECT (p.path||'/'||n.file) AS fn,
                             s.section,
@@ -491,7 +523,7 @@ class ContentFilepath(object):
 
 __all__.append('ContentFilepath')
 
-def get_or_set_contents_path_id(filepath, session):
+def get_or_set_contents_path_id(filepath, session=None):
     """
     Returns database id for given path.
 
@@ -512,21 +544,24 @@ def get_or_set_contents_path_id(filepath, session):
         session = DBConn().session()
         privatetrans = True
 
+    q = session.query(ContentFilepath).filter_by(filepath=filepath)
+
     try:
-        q = session.query(ContentFilepath).filter_by(filepath=filepath)
-        if q.count() < 1:
-            cf = ContentFilepath()
-            cf.filepath = filepath
-            session.add(cf)
-            if privatetrans:
-                session.commit()
-            return cf.cafilepath_id
+        ret = q.one().cafilepath_id
+    except NoResultFound:
+        cf = ContentFilepath()
+        cf.filepath = filepath
+        session.add(cf)
+        if privatetrans:
+            session.commit()
         else:
-            return q.one().cafilepath_id
+            session.flush()
+        ret = cf.cafilepath_id
 
-    except:
-        traceback.print_exc()
-        raise
+    if privatetrans:
+        session.close()
+
+    return ret
 
 __all__.append('get_or_set_contents_path_id')
 
@@ -560,33 +595,45 @@ def insert_content_paths(binary_id, fullpaths, session=None):
     """
 
     privatetrans = False
-
     if session is None:
         session = DBConn().session()
         privatetrans = True
 
     try:
+        # Insert paths
+        pathcache = {}
         for fullpath in fullpaths:
+            # Get the necessary IDs ...
             (path, file) = os.path.split(fullpath)
 
-            # Get the necessary IDs ...
+            filepath_id = get_or_set_contents_path_id(path, session)
+            filename_id = get_or_set_contents_file_id(file, session)
+
+            pathcache[fullpath] = (filepath_id, filename_id)
+
+        for fullpath, dat in pathcache.items():
             ca = ContentAssociation()
             ca.binary_id = binary_id
-            ca.filename_id = get_or_set_contents_file_id(file)
-            ca.filepath_id = get_or_set_contents_path_id(path)
+            ca.filepath_id = dat[0]
+            ca.filename_id = dat[1]
             session.add(ca)
 
         # Only commit if we set up the session ourself
         if privatetrans:
             session.commit()
+            session.close()
+        else:
+            session.flush()
 
         return True
+
     except:
         traceback.print_exc()
 
         # Only rollback if we set up the session ourself
         if privatetrans:
             session.rollback()
+            session.close()
 
         return False
 
@@ -603,6 +650,7 @@ class DSCFile(object):
 
 __all__.append('DSCFile')
 
+@session_wrapper
 def get_dscfiles(dscfile_id=None, source_id=None, poolfile_id=None, session=None):
     """
     Returns a list of DSCFiles which may be empty
@@ -620,9 +668,6 @@ def get_dscfiles(dscfile_id=None, source_id=None, poolfile_id=None, session=None
     @return: Possibly empty list of DSCFiles
     """
 
-    if session is None:
-        session = DBConn().session()
-
     q = session.query(DSCFile)
 
     if dscfile_id is not None:
@@ -649,6 +694,7 @@ class PoolFile(object):
 
 __all__.append('PoolFile')
 
+@session_wrapper
 def check_poolfile(filename, filesize, md5sum, location_id, session=None):
     """
     Returns a tuple:
@@ -676,25 +722,28 @@ def check_poolfile(filename, filesize, md5sum, location_id, session=None):
                     (False, PoolFile object) if file found with size/md5sum mismatch
     """
 
-    if session is None:
-        session = DBConn().session()
-
     q = session.query(PoolFile).filter_by(filename=filename)
     q = q.join(Location).filter_by(location_id=location_id)
 
+    ret = None
+
     if q.count() > 1:
-        return (None, None)
-    if q.count() < 1:
-        return (False, None)
+        ret = (None, None)
+    elif q.count() < 1:
+        ret = (False, None)
+    else:
+        obj = q.one()
+        if obj.md5sum != md5sum or obj.filesize != filesize:
+            ret = (False, obj)
 
-    obj = q.one()
-    if obj.md5sum != md5sum or obj.filesize != filesize:
-        return (False, obj)
+    if ret is None:
+        ret = (True, obj)
 
-    return (True, obj)
+    return ret
 
 __all__.append('check_poolfile')
 
+@session_wrapper
 def get_poolfile_by_id(file_id, session=None):
     """
     Returns a PoolFile objects or None for the given id
@@ -706,19 +755,17 @@ def get_poolfile_by_id(file_id, session=None):
     @return: either the PoolFile object or None
     """
 
-    if session is None:
-        session = DBConn().session()
-
     q = session.query(PoolFile).filter_by(file_id=file_id)
 
-    if q.count() > 0:
+    try:
         return q.one()
-
-    return None
+    except NoResultFound:
+        return None
 
 __all__.append('get_poolfile_by_id')
 
 
+@session_wrapper
 def get_poolfile_by_name(filename, location_id=None, session=None):
     """
     Returns an array of PoolFile objects for the given filename and
@@ -734,9 +781,6 @@ def get_poolfile_by_name(filename, location_id=None, session=None):
     @return: array of PoolFile objects
     """
 
-    if session is None:
-        session = DBConn().session()
-
     q = session.query(PoolFile).filter_by(filename=filename)
 
     if location_id is not None:
@@ -746,6 +790,7 @@ def get_poolfile_by_name(filename, location_id=None, session=None):
 
 __all__.append('get_poolfile_by_name')
 
+@session_wrapper
 def get_poolfile_like_name(filename, session=None):
     """
     Returns an array of PoolFile objects which are like the given name
@@ -757,9 +802,6 @@ def get_poolfile_like_name(filename, session=None):
     @return: array of PoolFile objects
     """
 
-    if session is None:
-        session = DBConn().session()
-
     # TODO: There must be a way of properly using bind parameters with %FOO%
     q = session.query(PoolFile).filter(PoolFile.filename.like('%%%s%%' % filename))
 
@@ -801,23 +843,24 @@ def get_or_set_fingerprint(fpr, session=None):
         session = DBConn().session()
         privatetrans = True
 
+    q = session.query(Fingerprint).filter_by(fingerprint=fpr)
+
     try:
-        q = session.query(Fingerprint).filter_by(fingerprint=fpr)
-        if q.count() < 1:
-            fingerprint = Fingerprint()
-            fingerprint.fingerprint = fpr
-            session.add(fingerprint)
-            if privatetrans:
-                session.commit()
-            else:
-                session.flush()
-            return fingerprint
+        ret = q.one()
+    except NoResultFound:
+        fingerprint = Fingerprint()
+        fingerprint.fingerprint = fpr
+        session.add(fingerprint)
+        if privatetrans:
+            session.commit()
         else:
-            return q.one()
+            session.flush()
+        ret = fingerprint
 
-    except:
-        traceback.print_exc()
-        raise
+    if privatetrans:
+        session.close()
+
+    return ret
 
 __all__.append('get_or_set_fingerprint')
 
@@ -832,6 +875,42 @@ class Keyring(object):
 
 __all__.append('Keyring')
 
+def get_or_set_keyring(keyring, session=None):
+    """
+    If C{keyring} does not have an entry in the C{keyrings} table yet, create one
+    and return the new Keyring
+    If C{keyring} already has an entry, simply return the existing Keyring
+
+    @type keyring: string
+    @param keyring: the keyring name
+
+    @rtype: Keyring
+    @return: the Keyring object for this keyring
+
+    """
+    privatetrans = False
+    if session is None:
+        session = DBConn().session()
+        privatetrans = True
+
+    try:
+        obj = session.query(Keyring).filter_by(keyring_name=keyring).first()
+
+        if obj is None:
+            obj = Keyring(keyring_name=keyring)
+            session.add(obj)
+            if privatetrans:
+                session.commit()
+            else:
+                session.flush()
+
+        return obj
+    finally:
+        if privatetrans:
+            session.close()
+
+__all__.append('get_or_set_keyring')
+
 ################################################################################
 
 class Location(object):
@@ -843,6 +922,7 @@ class Location(object):
 
 __all__.append('Location')
 
+@session_wrapper
 def get_location(location, component=None, archive=None, session=None):
     """
     Returns Location object for the given combination of location, component
@@ -861,9 +941,6 @@ def get_location(location, component=None, archive=None, session=None):
     @return: Either a Location object or None if one can't be found
     """
 
-    if session is None:
-        session = DBConn().session()
-
     q = session.query(Location).filter_by(path=location)
 
     if archive is not None:
@@ -872,10 +949,10 @@ def get_location(location, component=None, archive=None, session=None):
     if component is not None:
         q = q.join(Component).filter_by(component_name=component)
 
-    if q.count() < 1:
-        return None
-    else:
+    try:
         return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_location')
 
@@ -919,26 +996,51 @@ def get_or_set_maintainer(name, session=None):
         session = DBConn().session()
         privatetrans = True
 
+    q = session.query(Maintainer).filter_by(name=name)
     try:
-        q = session.query(Maintainer).filter_by(name=name)
-        if q.count() < 1:
-            maintainer = Maintainer()
-            maintainer.name = name
-            session.add(maintainer)
-            if privatetrans:
-                session.commit()
-            else:
-                session.flush()
-            return maintainer
+        ret = q.one()
+    except NoResultFound:
+        maintainer = Maintainer()
+        maintainer.name = name
+        session.add(maintainer)
+        if privatetrans:
+            session.commit()
         else:
-            return q.one()
+            session.flush()
+        ret = maintainer
 
-    except:
-        traceback.print_exc()
-        raise
+    if privatetrans:
+        session.close()
+
+    return ret
 
 __all__.append('get_or_set_maintainer')
 
+def get_maintainer(maintainer_id, session=None):
+    """
+    Return the name of the maintainer behind C{maintainer_id} or None if that
+    maintainer_id is invalid.
+
+    @type maintainer_id: int
+    @param maintainer_id: the id of the maintainer
+
+    @rtype: Maintainer
+    @return: the Maintainer with this C{maintainer_id}
+    """
+
+    privatetrans = False
+    if session is None:
+        session = DBConn().session()
+        privatetrans = True
+
+    try:
+        return session.query(Maintainer).get(maintainer_id)
+    finally:
+        if privatetrans:
+            session.close()
+
+__all__.append('get_maintainer')
+
 ################################################################################
 
 class NewComment(object):
@@ -950,6 +1052,7 @@ class NewComment(object):
 
 __all__.append('NewComment')
 
+@session_wrapper
 def has_new_comment(package, version, session=None):
     """
     Returns true if the given combination of C{package}, C{version} has a comment.
@@ -968,16 +1071,15 @@ def has_new_comment(package, version, session=None):
     @return: true/false
     """
 
-    if session is None:
-        session = DBConn().session()
-
     q = session.query(NewComment)
     q = q.filter_by(package=package)
     q = q.filter_by(version=version)
-    return q.count() > 0
+
+    return bool(q.count() > 0)
 
 __all__.append('has_new_comment')
 
+@session_wrapper
 def get_new_comments(package=None, version=None, comment_id=None, session=None):
     """
     Returns (possibly empty) list of NewComment objects for the given
@@ -998,12 +1100,8 @@ def get_new_comments(package=None, version=None, comment_id=None, session=None):
 
     @rtype: list
     @return: A (possibly empty) list of NewComment objects will be returned
-
     """
 
-    if session is None:
-        session = DBConn().session()
-
     q = session.query(NewComment)
     if package is not None: q = q.filter_by(package=package)
     if version is not None: q = q.filter_by(version=version)
@@ -1024,6 +1122,7 @@ class Override(object):
 
 __all__.append('Override')
 
+@session_wrapper
 def get_override(package, suite=None, component=None, overridetype=None, session=None):
     """
     Returns Override object for the given parameters
@@ -1049,10 +1148,7 @@ def get_override(package, suite=None, component=None, overridetype=None, session
 
     @rtype: list
     @return: A (possibly empty) list of Override objects will be returned
-
     """
-    if session is None:
-        session = DBConn().session()
 
     q = session.query(Override)
     q = q.filter_by(package=package)
@@ -1085,6 +1181,7 @@ class OverrideType(object):
 
 __all__.append('OverrideType')
 
+@session_wrapper
 def get_override_type(override_type, session=None):
     """
     Returns OverrideType object for given C{override type}.
@@ -1098,14 +1195,14 @@ def get_override_type(override_type, session=None):
 
     @rtype: int
     @return: the database id for the given override type
-
     """
-    if session is None:
-        session = DBConn().session()
+
     q = session.query(OverrideType).filter_by(overridetype=override_type)
-    if q.count() == 0:
+
+    try:
+        return q.one()
+    except NoResultFound:
         return None
-    return q.one()
 
 __all__.append('get_override_type')
 
@@ -1156,31 +1253,42 @@ def insert_pending_content_paths(package, fullpaths, session=None):
         q.delete()
 
         # Insert paths
+        pathcache = {}
         for fullpath in fullpaths:
             (path, file) = os.path.split(fullpath)
 
             if path.startswith( "./" ):
                 path = path[2:]
 
+            filepath_id = get_or_set_contents_path_id(path, session)
+            filename_id = get_or_set_contents_file_id(file, session)
+
+            pathcache[fullpath] = (filepath_id, filename_id)
+
+        for fullpath, dat in pathcache.items():
             pca = PendingContentAssociation()
             pca.package = package['Package']
             pca.version = package['Version']
-            pca.filename_id = get_or_set_contents_file_id(file, session)
-            pca.filepath_id = get_or_set_contents_path_id(path, session)
+            pca.filepath_id = dat[0]
+            pca.filename_id = dat[1]
             pca.architecture = arch_id
             session.add(pca)
 
         # Only commit if we set up the session ourself
         if privatetrans:
             session.commit()
+            session.close()
+        else:
+            session.flush()
 
         return True
-    except:
+    except Exception, e:
         traceback.print_exc()
 
         # Only rollback if we set up the session ourself
         if privatetrans:
             session.rollback()
+            session.close()
 
         return False
 
@@ -1209,6 +1317,7 @@ class Priority(object):
 
 __all__.append('Priority')
 
+@session_wrapper
 def get_priority(priority, session=None):
     """
     Returns Priority object for given C{priority name}.
@@ -1222,17 +1331,39 @@ def get_priority(priority, session=None):
 
     @rtype: Priority
     @return: Priority object for the given priority
-
     """
-    if session is None:
-        session = DBConn().session()
+
     q = session.query(Priority).filter_by(priority=priority)
-    if q.count() == 0:
+
+    try:
+        return q.one()
+    except NoResultFound:
         return None
-    return q.one()
 
 __all__.append('get_priority')
 
+@session_wrapper
+def get_priorities(session=None):
+    """
+    Returns dictionary of priority names -> id mappings
+
+    @type session: Session
+    @param session: Optional SQL session object (a temporary one will be
+    generated if not supplied)
+
+    @rtype: dictionary
+    @return: dictionary of priority names -> id mappings
+    """
+
+    ret = {}
+    q = session.query(Priority)
+    for x in q.all():
+        ret[x.priority] = x.priority_id
+
+    return ret
+
+__all__.append('get_priorities')
+
 ################################################################################
 
 class Queue(object):
@@ -1263,10 +1394,10 @@ class Queue(object):
         @return: None if the operation failed, a string describing the error if not
         """
 
-        localcommit = False
+        privatetrans = False
         if session is None:
             session = DBConn().session()
-            localcommit = True
+            privatetrans = True
 
         # TODO: Remove by moving queue config into the database
         conf = Config()
@@ -1296,8 +1427,9 @@ class Queue(object):
                 dest = os.path.join(dest_dir, file_entry)
 
                 # TODO: Move into database as above
-                if Cnf.FindB("Dinstall::SecurityQueueBuild"):
+                if conf.FindB("Dinstall::SecurityQueueBuild"):
                     # Copy it since the original won't be readable by www-data
+                    import utils
                     utils.copy(src, dest)
                 else:
                     # Create a symlink to it
@@ -1311,23 +1443,26 @@ class Queue(object):
 
                 session.add(qb)
 
-            # If the .orig.tar.gz is in the pool, create a symlink to
-            # it (if one doesn't already exist)
-            if changes.orig_tar_id:
-                # Determine the .orig.tar.gz file name
-                for dsc_file in changes.dsc_files.keys():
-                    if dsc_file.endswith(".orig.tar.gz"):
-                        filename = dsc_file
-
-                dest = os.path.join(dest_dir, filename)
+            # If the .orig tarballs are in the pool, create a symlink to
+            # them (if one doesn't already exist)
+            for dsc_file in changes.dsc_files.keys():
+                # Skip all files except orig tarballs
+                if not re_is_orig_source.match(dsc_file):
+                    continue
+                # Skip orig files not identified in the pool
+                if not (changes.orig_files.has_key(dsc_file) and
+                        changes.orig_files[dsc_file].has_key("id")):
+                    continue
+                orig_file_id = changes.orig_files[dsc_file]["id"]
+                dest = os.path.join(dest_dir, dsc_file)
 
                 # If it doesn't exist, create a symlink
                 if not os.path.exists(dest):
                     q = session.execute("SELECT l.path, f.filename FROM location l, files f WHERE f.id = :id and f.location = l.id",
-                                        {'id': changes.orig_tar_id})
+                                        {'id': orig_file_id})
                     res = q.fetchone()
                     if not res:
-                        return "[INTERNAL ERROR] Couldn't find id %s in files table." % (changes.orig_tar_id)
+                        return "[INTERNAL ERROR] Couldn't find id %s in files table." % (orig_file_id)
 
                     src = os.path.join(res[0], res[1])
                     os.symlink(src, dest)
@@ -1342,19 +1477,21 @@ class Queue(object):
 
                 # If it does, update things to ensure it's not removed prematurely
                 else:
-                    qb = get_queue_build(dest, suite_id, session)
+                    qb = get_queue_build(dest, s.suite_id, session)
                     if qb is None:
                         qb.in_queue = True
                         qb.last_used = None
                         session.add(qb)
 
-        if localcommit:
+        if privatetrans:
             session.commit()
+            session.close()
 
         return None
 
 __all__.append('Queue')
 
+@session_wrapper
 def get_queue(queuename, session=None):
     """
     Returns Queue object for given C{queue name}.
@@ -1368,14 +1505,14 @@ def get_queue(queuename, session=None):
 
     @rtype: Queue
     @return: Queue object for the given queue
-
     """
-    if session is None:
-        session = DBConn().session()
+
     q = session.query(Queue).filter_by(queue_name=queuename)
-    if q.count() == 0:
+
+    try:
+        return q.one()
+    except NoResultFound:
         return None
-    return q.one()
 
 __all__.append('get_queue')
 
@@ -1390,6 +1527,7 @@ class QueueBuild(object):
 
 __all__.append('QueueBuild')
 
+@session_wrapper
 def get_queue_build(filename, suite, session=None):
     """
     Returns QueueBuild object for given C{filename} and C{suite}.
@@ -1406,19 +1544,18 @@ def get_queue_build(filename, suite, session=None):
 
     @rtype: Queue
     @return: Queue object for the given queue
-
     """
-    if session is None:
-        session = DBConn().session()
+
     if isinstance(suite, int):
         q = session.query(QueueBuild).filter_by(filename=filename).filter_by(suite_id=suite)
     else:
         q = session.query(QueueBuild).filter_by(filename=filename)
         q = q.join(Suite).filter_by(suite_name=suite)
 
-    if q.count() == 0:
+    try:
+        return q.one()
+    except NoResultFound:
         return None
-    return q.one()
 
 __all__.append('get_queue_build')
 
@@ -1445,6 +1582,7 @@ class Section(object):
 
 __all__.append('Section')
 
+@session_wrapper
 def get_section(section, session=None):
     """
     Returns Section object for given C{section name}.
@@ -1458,17 +1596,39 @@ def get_section(section, session=None):
 
     @rtype: Section
     @return: Section object for the given section name
-
     """
-    if session is None:
-        session = DBConn().session()
+
     q = session.query(Section).filter_by(section=section)
-    if q.count() == 0:
+
+    try:
+        return q.one()
+    except NoResultFound:
         return None
-    return q.one()
 
 __all__.append('get_section')
 
+@session_wrapper
+def get_sections(session=None):
+    """
+    Returns dictionary of section names -> id mappings
+
+    @type session: Session
+    @param session: Optional SQL session object (a temporary one will be
+    generated if not supplied)
+
+    @rtype: dictionary
+    @return: dictionary of section names -> id mappings
+    """
+
+    ret = {}
+    q = session.query(Section)
+    for x in q.all():
+        ret[x.section] = x.section_id
+
+    return ret
+
+__all__.append('get_sections')
+
 ################################################################################
 
 class DBSource(object):
@@ -1480,6 +1640,7 @@ class DBSource(object):
 
 __all__.append('DBSource')
 
+@session_wrapper
 def source_exists(source, source_version, suites = ["any"], session=None):
     """
     Ensure that source exists somewhere in the archive for the binary
@@ -1505,10 +1666,8 @@ def source_exists(source, source_version, suites = ["any"], session=None):
 
     """
 
-    if session is None:
-        session = DBConn().session()
-
     cnf = Config()
+    ret = 1
 
     for suite in suites:
         q = session.query(DBSource).filter_by(source=source)
@@ -1543,13 +1702,13 @@ def source_exists(source, source_version, suites = ["any"], session=None):
             continue
 
         # No source found so return not ok
-        return 0
+        ret = 0
 
-    # We're good
-    return 1
+    return ret
 
 __all__.append('source_exists')
 
+@session_wrapper
 def get_suites_source_in(source, session=None):
     """
     Returns list of Suite objects which given C{source} name is in
@@ -1561,13 +1720,11 @@ def get_suites_source_in(source, session=None):
     @return: list of Suite objects for the given source
     """
 
-    if session is None:
-        session = DBConn().session()
-
     return session.query(Suite).join(SrcAssociation).join(DBSource).filter_by(source=source).all()
 
 __all__.append('get_suites_source_in')
 
+@session_wrapper
 def get_sources_from_name(source, version=None, dm_upload_allowed=None, session=None):
     """
     Returns list of DBSource objects for given C{source} name and other parameters
@@ -1589,8 +1746,6 @@ def get_sources_from_name(source, version=None, dm_upload_allowed=None, session=
     @rtype: list
     @return: list of DBSource objects for the given name (may be empty)
     """
-    if session is None:
-        session = DBConn().session()
 
     q = session.query(DBSource).filter_by(source=source)
 
@@ -1604,6 +1759,7 @@ def get_sources_from_name(source, version=None, dm_upload_allowed=None, session=
 
 __all__.append('get_sources_from_name')
 
+@session_wrapper
 def get_source_in_suite(source, suite, session=None):
     """
     Returns list of DBSource objects for a combination of C{source} and C{suite}.
@@ -1621,15 +1777,15 @@ def get_source_in_suite(source, suite, session=None):
     @return: the version for I{source} in I{suite}
 
     """
-    if session is None:
-        session = DBConn().session()
+
     q = session.query(SrcAssociation)
     q = q.join('source').filter_by(source=source)
     q = q.join('suite').filter_by(suite_name=suite)
-    if q.count() == 0:
+
+    try:
+        return q.one().source
+    except NoResultFound:
         return None
-    # ???: Maybe we should just return the SrcAssociation object instead
-    return q.one().source
 
 __all__.append('get_source_in_suite')
 
@@ -1646,6 +1802,17 @@ __all__.append('SrcAssociation')
 
 ################################################################################
 
+class SrcFormat(object):
+    def __init__(self, *args, **kwargs):
+        pass
+
+    def __repr__(self):
+        return '<SrcFormat %s>' % (self.format_name)
+
+__all__.append('SrcFormat')
+
+################################################################################
+
 class SrcUploader(object):
     def __init__(self, *args, **kwargs):
         pass
@@ -1707,6 +1874,7 @@ class Suite(object):
 
 __all__.append('Suite')
 
+@session_wrapper
 def get_suite_architecture(suite, architecture, session=None):
     """
     Returns a SuiteArchitecture object given C{suite} and ${arch} or None if it
@@ -1726,18 +1894,18 @@ def get_suite_architecture(suite, architecture, session=None):
     @return: the SuiteArchitecture object or None
     """
 
-    if session is None:
-        session = DBConn().session()
-
     q = session.query(SuiteArchitecture)
     q = q.join(Architecture).filter_by(arch_string=architecture)
     q = q.join(Suite).filter_by(suite_name=suite)
-    if q.count() == 0:
+
+    try:
+        return q.one()
+    except NoResultFound:
         return None
-    return q.one()
 
 __all__.append('get_suite_architecture')
 
+@session_wrapper
 def get_suite(suite, session=None):
     """
     Returns Suite object for given C{suite name}.
@@ -1751,14 +1919,14 @@ def get_suite(suite, session=None):
 
     @rtype: Suite
     @return: Suite object for the requested suite name (None if not presenT)
-
     """
-    if session is None:
-        session = DBConn().session()
+
     q = session.query(Suite).filter_by(suite_name=suite)
-    if q.count() == 0:
+
+    try:
+        return q.one()
+    except NoResultFound:
         return None
-    return q.one()
 
 __all__.append('get_suite')
 
@@ -1773,6 +1941,7 @@ class SuiteArchitecture(object):
 
 __all__.append('SuiteArchitecture')
 
+@session_wrapper
 def get_suite_architectures(suite, skipsrc=False, skipall=False, session=None):
     """
     Returns list of Architecture objects for given C{suite} name
@@ -1796,23 +1965,69 @@ def get_suite_architectures(suite, skipsrc=False, skipall=False, session=None):
     @return: list of Architecture objects for the given name (may be empty)
     """
 
-    if session is None:
-        session = DBConn().session()
-
     q = session.query(Architecture)
     q = q.join(SuiteArchitecture)
     q = q.join(Suite).filter_by(suite_name=suite)
+
     if skipsrc:
         q = q.filter(Architecture.arch_string != 'source')
+
     if skipall:
         q = q.filter(Architecture.arch_string != 'all')
+
     q = q.order_by('arch_string')
+
     return q.all()
 
 __all__.append('get_suite_architectures')
 
 ################################################################################
 
+class SuiteSrcFormat(object):
+    def __init__(self, *args, **kwargs):
+        pass
+
+    def __repr__(self):
+        return '<SuiteSrcFormat (%s, %s)>' % (self.suite_id, self.src_format_id)
+
+__all__.append('SuiteSrcFormat')
+
+def get_suite_src_formats(suite, session=None):
+    """
+    Returns list of allowed SrcFormat for C{suite}.
+
+    @type suite: str
+    @param suite: Suite name to search for
+
+    @type session: Session
+    @param session: Optional SQL session object (a temporary one will be
+    generated if not supplied)
+
+    @rtype: list
+    @return: the list of allowed source formats for I{suite}
+    """
+
+    privatetrans = False
+    if session is None:
+        session = DBConn().session()
+        privatetrans = True
+
+    q = session.query(SrcFormat)
+    q = q.join(SuiteSrcFormat)
+    q = q.join(Suite).filter_by(suite_name=suite)
+    q = q.order_by('format_name')
+
+    ret = q.all()
+
+    if privatetrans:
+        session.close()
+
+    return ret
+
+__all__.append('get_suite_src_formats')
+
+################################################################################
+
 class Uid(object):
     def __init__(self, *args, **kwargs):
         pass
@@ -1849,18 +2064,17 @@ def add_database_user(uidname, session=None):
     @rtype: Uid
     @return: the uid object for the given uidname
     """
+
     privatetrans = False
     if session is None:
         session = DBConn().session()
         privatetrans = True
 
-    try:
-        session.execute("CREATE USER :uid", {'uid': uidname})
-        if privatetrans:
-            session.commit()
-    except:
-        traceback.print_exc()
-        raise
+    session.execute("CREATE USER :uid", {'uid': uidname})
+
+    if privatetrans:
+        session.commit()
+        session.close()
 
 __all__.append('add_database_user')
 
@@ -1881,43 +2095,42 @@ def get_or_set_uid(uidname, session=None):
     @rtype: Uid
     @return: the uid object for the given uidname
     """
+
     privatetrans = False
     if session is None:
         session = DBConn().session()
         privatetrans = True
 
+    q = session.query(Uid).filter_by(uid=uidname)
+
     try:
-        q = session.query(Uid).filter_by(uid=uidname)
-        if q.count() < 1:
-            uid = Uid()
-            uid.uid = uidname
-            session.add(uid)
-            if privatetrans:
-                session.commit()
-            else:
-                session.flush()
-            return uid
+        ret = q.one()
+    except NoResultFound:
+        uid = Uid()
+        uid.uid = uidname
+        session.add(uid)
+        if privatetrans:
+            session.commit()
         else:
-            return q.one()
+            session.flush()
+        ret = uid
 
-    except:
-        traceback.print_exc()
-        raise
+    if privatetrans:
+        session.close()
 
-__all__.append('get_or_set_uid')
+    return ret
 
+__all__.append('get_or_set_uid')
 
+@session_wrapper
 def get_uid_from_fingerprint(fpr, session=None):
-    if session is None:
-        session = DBConn().session()
-
     q = session.query(Uid)
     q = q.join(Fingerprint).filter_by(fingerprint=fpr)
 
-    if q.count() != 1:
-        return None
-    else:
+    try:
         return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_uid_from_fingerprint')
 
@@ -1962,9 +2175,11 @@ class DBConn(Singleton):
         self.tbl_section = Table('section', self.db_meta, autoload=True)
         self.tbl_source = Table('source', self.db_meta, autoload=True)
         self.tbl_src_associations = Table('src_associations', self.db_meta, autoload=True)
+        self.tbl_src_format = Table('src_format', self.db_meta, autoload=True)
         self.tbl_src_uploaders = Table('src_uploaders', self.db_meta, autoload=True)
         self.tbl_suite = Table('suite', self.db_meta, autoload=True)
         self.tbl_suite_architectures = Table('suite_architectures', self.db_meta, autoload=True)
+        self.tbl_suite_src_formats = Table('suite_src_formats', self.db_meta, autoload=True)
         self.tbl_uid = Table('uid', self.db_meta, autoload=True)
 
     def __setupmappers(self):
@@ -2126,6 +2341,10 @@ class DBConn(Singleton):
                                  source_id = self.tbl_src_associations.c.source,
                                  source = relation(DBSource)))
 
+        mapper(SrcFormat, self.tbl_src_format,
+               properties = dict(src_format_id = self.tbl_src_format.c.id,
+                                 format_name = self.tbl_src_format.c.format_name))
+
         mapper(SrcUploader, self.tbl_src_uploaders,
                properties = dict(uploader_id = self.tbl_src_uploaders.c.id,
                                  source_id = self.tbl_src_uploaders.c.source,
@@ -2144,6 +2363,12 @@ class DBConn(Singleton):
                                  arch_id = self.tbl_suite_architectures.c.architecture,
                                  architecture = relation(Architecture)))
 
+        mapper(SuiteSrcFormat, self.tbl_suite_src_formats,
+               properties = dict(suite_id = self.tbl_suite_src_formats.c.suite,
+                                 suite = relation(Suite, backref='suitesrcformats'),
+                                 src_format_id = self.tbl_suite_src_formats.c.src_format,
+                                 src_format = relation(SrcFormat)))
+
         mapper(Uid, self.tbl_uid,
                properties = dict(uid_id = self.tbl_uid.c.id,
                                  fingerprint = relation(Fingerprint)))