]> git.decadent.org.uk Git - dak.git/blobdiff - daklib/dbconn.py
Use 4 spaces for indentation.
[dak.git] / daklib / dbconn.py
index 4669cfc891efec4f9c0dd5eccaf91aaf84260321..5f24aa73895dc52664e2200cddf06f6a229d5fce 100755 (executable)
 ################################################################################
 
 import os
+import re
 import psycopg2
 import traceback
 
-from sqlalchemy import create_engine, Table, MetaData, select
+from inspect import getargspec
+
+import sqlalchemy
+from sqlalchemy import create_engine, Table, MetaData
 from sqlalchemy.orm import sessionmaker, mapper, relation
+from sqlalchemy import types as sqltypes
 
 # Don't remove this, we re-export the exceptions to scripts which import us
 from sqlalchemy.exc import *
+from sqlalchemy.orm.exc import NoResultFound
 
 # Only import Config until Queue stuff is changed to store its config
 # in the database
@@ -51,10 +57,75 @@ from textutils import fix_maintainer
 
 ################################################################################
 
+# Patch in support for the debversion field type so that it works during
+# reflection
+
+class DebVersion(sqltypes.Text):
+    def get_col_spec(self):
+        return "DEBVERSION"
+
+sa_major_version = sqlalchemy.__version__[0:3]
+if sa_major_version == "0.5":
+    from sqlalchemy.databases import postgres
+    postgres.ischema_names['debversion'] = DebVersion
+else:
+    raise Exception("dak isn't ported to SQLA versions != 0.5 yet.  See daklib/dbconn.py")
+
+################################################################################
+
 __all__ = ['IntegrityError', 'SQLAlchemyError']
 
 ################################################################################
 
+def session_wrapper(fn):
+    """
+    Wrapper around common ".., session=None):" handling. If the wrapped
+    function is called without passing 'session', we create a local one
+    and destroy it when the function ends.
+
+    Also attaches a commit_or_flush method to the session; if we created a
+    local session, this is a synonym for session.commit(), otherwise it is a
+    synonym for session.flush().
+    """
+
+    def wrapped(*args, **kwargs):
+        private_transaction = False
+
+        # Find the session object
+        session = kwargs.get('session')
+
+        if session is None:
+            if len(args) <= len(getargspec(fn)[0]) - 1:
+                # No session specified as last argument or in kwargs
+                private_transaction = True
+                session = kwargs['session'] = DBConn().session()
+            else:
+                # Session is last argument in args
+                session = args[-1]
+                if session is None:
+                    args = list(args)
+                    session = args[-1] = DBConn().session()
+                    private_transaction = True
+
+        if private_transaction:
+            session.commit_or_flush = session.commit
+        else:
+            session.commit_or_flush = session.flush
+
+        try:
+            return fn(*args, **kwargs)
+        finally:
+            if private_transaction:
+                # We created a session; close it.
+                session.close()
+
+    wrapped.__doc__ = fn.__doc__
+    wrapped.func_name = fn.func_name
+
+    return wrapped
+
+################################################################################
+
 class Architecture(object):
     def __init__(self, *args, **kwargs):
         pass
@@ -76,6 +147,7 @@ class Architecture(object):
 
 __all__.append('Architecture')
 
+@session_wrapper
 def get_architecture(architecture, session=None):
     """
     Returns database id for given C{architecture}.
@@ -89,28 +161,18 @@ def get_architecture(architecture, session=None):
 
     @rtype: Architecture
     @return: Architecture object for the given arch (None if not present)
-
     """
-    privatetrans = False
-
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(Architecture).filter_by(arch_string=architecture)
 
-    if q.count() == 0:
-        ret = None
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_architecture')
 
+@session_wrapper
 def get_architecture_suites(architecture, session=None):
     """
     Returns list of Suite objects for given C{architecture} name
@@ -125,11 +187,6 @@ def get_architecture_suites(architecture, session=None):
     @rtype: list
     @return: list of Suite objects for the given name (may be empty)
     """
-    privatetrans = False
-
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(Suite)
     q = q.join(SuiteArchitecture)
@@ -137,9 +194,6 @@ def get_architecture_suites(architecture, session=None):
 
     ret = q.all()
 
-    if privatetrans:
-        session.close()
-
     return ret
 
 __all__.append('get_architecture_suites')
@@ -151,13 +205,14 @@ class Archive(object):
         pass
 
     def __repr__(self):
-        return '<Archive %s>' % self.name
+        return '<Archive %s>' % self.archive_name
 
 __all__.append('Archive')
 
+@session_wrapper
 def get_archive(archive, session=None):
     """
-    returns database id for given c{archive}.
+    returns database id for given C{archive}.
 
     @type archive: string
     @param archive: the name of the arhive
@@ -172,22 +227,12 @@ def get_archive(archive, session=None):
     """
     archive = archive.lower()
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(Archive).filter_by(archive_name=archive)
 
-    if q.count() == 0:
-        ret = None
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_archive')
 
@@ -204,6 +249,17 @@ __all__.append('BinAssociation')
 
 ################################################################################
 
+class BinContents(object):
+    def __init__(self, *args, **kwargs):
+        pass
+
+    def __repr__(self):
+        return '<BinContents (%s, %s)>' % (self.binary, self.filename)
+
+__all__.append('BinContents')
+
+################################################################################
+
 class DBBinary(object):
     def __init__(self, *args, **kwargs):
         pass
@@ -213,6 +269,7 @@ class DBBinary(object):
 
 __all__.append('DBBinary')
 
+@session_wrapper
 def get_suites_binary_in(package, session=None):
     """
     Returns list of Suite objects which given C{package} name is in
@@ -224,25 +281,17 @@ def get_suites_binary_in(package, session=None):
     @return: list of Suite objects for the given package
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
-    ret = session.query(Suite).join(BinAssociation).join(DBBinary).filter_by(package=package).all()
-
-    session.close()
-
-    return ret
+    return session.query(Suite).join(BinAssociation).join(DBBinary).filter_by(package=package).all()
 
 __all__.append('get_suites_binary_in')
 
-def get_binary_from_id(id, session=None):
+@session_wrapper
+def get_binary_from_id(binary_id, session=None):
     """
     Returns DBBinary object for given C{id}
 
-    @type id: int
-    @param id: Id of the required binary
+    @type binary_id: int
+    @param binary_id: Id of the required binary
 
     @type session: Session
     @param session: Optional SQLA session object (a temporary one will be
@@ -251,25 +300,17 @@ def get_binary_from_id(id, session=None):
     @rtype: DBBinary
     @return: DBBinary object for the given binary (None if not present)
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
-    q = session.query(DBBinary).filter_by(binary_id=id)
+    q = session.query(DBBinary).filter_by(binary_id=binary_id)
 
-    if q.count() == 0:
-        ret = None
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_binary_from_id')
 
+@session_wrapper
 def get_binaries_from_name(package, version=None, architecture=None, session=None):
     """
     Returns list of DBBinary objects for given C{package} name
@@ -290,10 +331,6 @@ def get_binaries_from_name(package, version=None, architecture=None, session=Non
     @rtype: list
     @return: list of DBBinary objects for the given name (may be empty)
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(DBBinary).filter_by(package=package)
 
@@ -307,13 +344,11 @@ def get_binaries_from_name(package, version=None, architecture=None, session=Non
 
     ret = q.all()
 
-    if privatetrans:
-        session.close()
-
     return ret
 
 __all__.append('get_binaries_from_name')
 
+@session_wrapper
 def get_binaries_from_source_id(source_id, session=None):
     """
     Returns list of DBBinary objects for given C{source_id}
@@ -328,29 +363,15 @@ def get_binaries_from_source_id(source_id, session=None):
     @rtype: list
     @return: list of DBBinary objects for the given name (may be empty)
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
-    ret = session.query(DBBinary).filter_by(source_id=source_id).all()
-
-    if privatetrans:
-        session.close()
-
-    return ret
 
+    return session.query(DBBinary).filter_by(source_id=source_id).all()
 
 __all__.append('get_binaries_from_source_id')
 
-
+@session_wrapper
 def get_binary_from_name_suite(package, suitename, session=None):
     ### For dak examine-package
     ### XXX: Doesn't use object API yet
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     sql = """SELECT DISTINCT(b.package), b.version, c.name, su.suite_name
              FROM binaries b, files fi, location l, component c, bin_associations ba, suite su
@@ -363,15 +384,11 @@ def get_binary_from_name_suite(package, suitename, session=None):
                AND su.suite_name=:suitename
           ORDER BY b.version DESC"""
 
-    ret = session.execute(sql, {'package': package, 'suitename': suitename})
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    return session.execute(sql, {'package': package, 'suitename': suitename})
 
 __all__.append('get_binary_from_name_suite')
 
+@session_wrapper
 def get_binary_components(package, suitename, arch, session=None):
     # Check for packages that have moved from one component to another
     query = """SELECT c.name FROM binaries b, bin_associations ba, suite s, location l, component c, architecture a, files f
@@ -384,19 +401,31 @@ def get_binary_components(package, suitename, arch, session=None):
 
     vals = {'package': package, 'suitename': suitename, 'arch': arch}
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
+    return session.execute(query, vals)
 
-    ret = session.execute(query, vals)
+__all__.append('get_binary_components')
 
-    if privatetrans:
-        session.close()
+################################################################################
 
-    return ret
+class BinaryACL(object):
+    def __init__(self, *args, **kwargs):
+        pass
 
-__all__.append('get_binary_components')
+    def __repr__(self):
+        return '<BinaryACL %s>' % self.binary_acl_id
+
+__all__.append('BinaryACL')
+
+################################################################################
+
+class BinaryACLMap(object):
+    def __init__(self, *args, **kwargs):
+        pass
+
+    def __repr__(self):
+        return '<BinaryACLMap %s>' % self.binary_acl_map_id
+
+__all__.append('BinaryACLMap')
 
 ################################################################################
 
@@ -422,6 +451,7 @@ class Component(object):
 
 __all__.append('Component')
 
+@session_wrapper
 def get_component(component, session=None):
     """
     Returns database id for given C{component}.
@@ -435,22 +465,12 @@ def get_component(component, session=None):
     """
     component = component.lower()
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(Component).filter_by(component_name=component)
 
-    if q.count() == 0:
-        ret = None
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_component')
 
@@ -467,15 +487,7 @@ __all__.append('DBConfig')
 
 ################################################################################
 
-class ContentFilename(object):
-    def __init__(self, *args, **kwargs):
-        pass
-
-    def __repr__(self):
-        return '<ContentFilename %s>' % self.filename
-
-__all__.append('ContentFilename')
-
+@session_wrapper
 def get_or_set_contents_file_id(filename, session=None):
     """
     Returns database id for given filename.
@@ -492,31 +504,23 @@ def get_or_set_contents_file_id(filename, session=None):
     @rtype: int
     @return: the database id for the given component
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(ContentFilename).filter_by(filename=filename)
-    if q.count() < 1:
+
+    try:
+        ret = q.one().cafilename_id
+    except NoResultFound:
         cf = ContentFilename()
         cf.filename = filename
         session.add(cf)
-        if privatetrans:
-            session.commit()
-        else:
-            session.flush()
+        session.commit_or_flush()
         ret = cf.cafilename_id
-    else:
-        ret = q.one().cafilename_id
-
-    if privatetrans:
-        session.close()
 
     return ret
 
 __all__.append('get_or_set_contents_file_id')
 
+@session_wrapper
 def get_contents(suite, overridetype, section=None, session=None):
     """
     Returns contents for a suite / overridetype combination, limiting
@@ -540,11 +544,6 @@ def get_contents(suite, overridetype, section=None, session=None):
     package, arch_id)
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     # find me all of the contents for a given suite
     contents_q = """SELECT (p.path||'/'||n.file) AS fn,
                             s.section,
@@ -568,12 +567,7 @@ def get_contents(suite, overridetype, section=None, session=None):
 
     contents_q += " ORDER BY fn"
 
-    ret = session.execute(contents_q, vals)
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    return session.execute(contents_q, vals)
 
 __all__.append('get_contents')
 
@@ -588,6 +582,7 @@ class ContentFilepath(object):
 
 __all__.append('ContentFilepath')
 
+@session_wrapper
 def get_or_set_contents_path_id(filepath, session=None):
     """
     Returns database id for given path.
@@ -604,26 +599,17 @@ def get_or_set_contents_path_id(filepath, session=None):
     @rtype: int
     @return: the database id for the given path
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(ContentFilepath).filter_by(filepath=filepath)
-    if q.count() < 1:
+
+    try:
+        ret = q.one().cafilepath_id
+    except NoResultFound:
         cf = ContentFilepath()
         cf.filepath = filepath
         session.add(cf)
-        if privatetrans:
-            session.commit()
-        else:
-            session.flush()
+        session.commit_or_flush()
         ret = cf.cafilepath_id
-    else:
-        ret = q.one().cafilepath_id
-
-    if privatetrans:
-        session.close()
 
     return ret
 
@@ -667,28 +653,14 @@ def insert_content_paths(binary_id, fullpaths, session=None):
         # Insert paths
         pathcache = {}
         for fullpath in fullpaths:
-            # Get the necessary IDs ...
-            (path, file) = os.path.split(fullpath)
-
-            filepath_id = get_or_set_contents_path_id(path, session)
-            filename_id = get_or_set_contents_file_id(file, session)
-
-            pathcache[fullpath] = (filepath_id, filename_id)
+            if fullpath.startswith( './' ):
+                fullpath = fullpath[2:]
 
-        for fullpath, dat in pathcache.items():
-            ca = ContentAssociation()
-            ca.binary_id = binary_id
-            ca.filepath_id = dat[0]
-            ca.filename_id = dat[1]
-            session.add(ca)
+            session.execute( "INSERT INTO bin_contents ( file, binary_id ) VALUES ( :filename, :id )", { 'filename': fullpath, 'id': binary_id}  )
 
-        # Only commit if we set up the session ourself
+        session.commit()
         if privatetrans:
-            session.commit()
             session.close()
-        else:
-            session.flush()
-
         return True
 
     except:
@@ -714,6 +686,7 @@ class DSCFile(object):
 
 __all__.append('DSCFile')
 
+@session_wrapper
 def get_dscfiles(dscfile_id=None, source_id=None, poolfile_id=None, session=None):
     """
     Returns a list of DSCFiles which may be empty
@@ -731,11 +704,6 @@ def get_dscfiles(dscfile_id=None, source_id=None, poolfile_id=None, session=None
     @return: Possibly empty list of DSCFiles
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(DSCFile)
 
     if dscfile_id is not None:
@@ -747,12 +715,7 @@ def get_dscfiles(dscfile_id=None, source_id=None, poolfile_id=None, session=None
     if poolfile_id is not None:
         q = q.filter_by(poolfile_id=poolfile_id)
 
-    ret = q.all()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    return q.all()
 
 __all__.append('get_dscfiles')
 
@@ -767,6 +730,7 @@ class PoolFile(object):
 
 __all__.append('PoolFile')
 
+@session_wrapper
 def check_poolfile(filename, filesize, md5sum, location_id, session=None):
     """
     Returns a tuple:
@@ -794,11 +758,6 @@ def check_poolfile(filename, filesize, md5sum, location_id, session=None):
                     (False, PoolFile object) if file found with size/md5sum mismatch
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(PoolFile).filter_by(filename=filename)
     q = q.join(Location).filter_by(location_id=location_id)
 
@@ -810,19 +769,17 @@ def check_poolfile(filename, filesize, md5sum, location_id, session=None):
         ret = (False, None)
     else:
         obj = q.one()
-        if obj.md5sum != md5sum or obj.filesize != filesize:
+        if obj.md5sum != md5sum or obj.filesize != int(filesize):
             ret = (False, obj)
 
     if ret is None:
         ret = (True, obj)
 
-    if privatetrans:
-        session.close()
-
     return ret
 
 __all__.append('check_poolfile')
 
+@session_wrapper
 def get_poolfile_by_id(file_id, session=None):
     """
     Returns a PoolFile objects or None for the given id
@@ -834,26 +791,17 @@ def get_poolfile_by_id(file_id, session=None):
     @return: either the PoolFile object or None
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(PoolFile).filter_by(file_id=file_id)
 
-    if q.count() > 0:
-        ret = q.one()
-    else:
-        ret = None
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_poolfile_by_id')
 
 
+@session_wrapper
 def get_poolfile_by_name(filename, location_id=None, session=None):
     """
     Returns an array of PoolFile objects for the given filename and
@@ -869,25 +817,16 @@ def get_poolfile_by_name(filename, location_id=None, session=None):
     @return: array of PoolFile objects
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(PoolFile).filter_by(filename=filename)
 
     if location_id is not None:
         q = q.join(Location).filter_by(location_id=location_id)
 
-    ret = q.all()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    return q.all()
 
 __all__.append('get_poolfile_by_name')
 
+@session_wrapper
 def get_poolfile_like_name(filename, session=None):
     """
     Returns an array of PoolFile objects which are like the given name
@@ -899,20 +838,10 @@ def get_poolfile_like_name(filename, session=None):
     @return: array of PoolFile objects
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     # TODO: There must be a way of properly using bind parameters with %FOO%
     q = session.query(PoolFile).filter(PoolFile.filename.like('%%%s%%' % filename))
 
-    ret = q.all()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    return q.all()
 
 __all__.append('get_poolfile_like_name')
 
@@ -927,6 +856,34 @@ class Fingerprint(object):
 
 __all__.append('Fingerprint')
 
+@session_wrapper
+def get_fingerprint(fpr, session=None):
+    """
+    Returns Fingerprint object for given fpr.
+
+    @type fpr: string
+    @param fpr: The fpr to find / add
+
+    @type session: SQLAlchemy
+    @param session: Optional SQL session object (a temporary one will be
+    generated if not supplied).
+
+    @rtype: Fingerprint
+    @return: the Fingerprint object for the given fpr or None
+    """
+
+    q = session.query(Fingerprint).filter_by(fingerprint=fpr)
+
+    try:
+        ret = q.one()
+    except NoResultFound:
+        ret = None
+
+    return ret
+
+__all__.append('get_fingerprint')
+
+@session_wrapper
 def get_or_set_fingerprint(fpr, session=None):
     """
     Returns Fingerprint object for given fpr.
@@ -945,26 +902,17 @@ def get_or_set_fingerprint(fpr, session=None):
     @rtype: Fingerprint
     @return: the Fingerprint object for the given fpr
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(Fingerprint).filter_by(fingerprint=fpr)
-    if q.count() < 1:
+
+    try:
+        ret = q.one()
+    except NoResultFound:
         fingerprint = Fingerprint()
         fingerprint.fingerprint = fpr
         session.add(fingerprint)
-        if privatetrans:
-            session.commit()
-        else:
-            session.flush()
+        session.commit_or_flush()
         ret = fingerprint
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
 
     return ret
 
@@ -972,17 +920,205 @@ __all__.append('get_or_set_fingerprint')
 
 ################################################################################
 
+# Helper routine for Keyring class
+def get_ldap_name(entry):
+    name = []
+    for k in ["cn", "mn", "sn"]:
+        ret = entry.get(k)
+        if ret and ret[0] != "" and ret[0] != "-":
+            name.append(ret[0])
+    return " ".join(name)
+
+################################################################################
+
 class Keyring(object):
+    gpg_invocation = "gpg --no-default-keyring --keyring %s" +\
+                     " --with-colons --fingerprint --fingerprint"
+
+    keys = {}
+    fpr_lookup = {}
+
     def __init__(self, *args, **kwargs):
         pass
 
     def __repr__(self):
         return '<Keyring %s>' % self.keyring_name
 
+    def de_escape_gpg_str(self, txt):
+        esclist = re.split(r'(\\x..)', txt)
+        for x in range(1,len(esclist),2):
+            esclist[x] = "%c" % (int(esclist[x][2:],16))
+        return "".join(esclist)
+
+    def load_keys(self, keyring):
+        import email.Utils
+
+        if not self.keyring_id:
+            raise Exception('Must be initialized with database information')
+
+        k = os.popen(self.gpg_invocation % keyring, "r")
+        key = None
+        signingkey = False
+
+        for line in k.xreadlines():
+            field = line.split(":")
+            if field[0] == "pub":
+                key = field[4]
+                (name, addr) = email.Utils.parseaddr(field[9])
+                name = re.sub(r"\s*[(].*[)]", "", name)
+                if name == "" or addr == "" or "@" not in addr:
+                    name = field[9]
+                    addr = "invalid-uid"
+                name = self.de_escape_gpg_str(name)
+                self.keys[key] = {"email": addr}
+                if name != "":
+                    self.keys[key]["name"] = name
+                self.keys[key]["aliases"] = [name]
+                self.keys[key]["fingerprints"] = []
+                signingkey = True
+            elif key and field[0] == "sub" and len(field) >= 12:
+                signingkey = ("s" in field[11])
+            elif key and field[0] == "uid":
+                (name, addr) = email.Utils.parseaddr(field[9])
+                if name and name not in self.keys[key]["aliases"]:
+                    self.keys[key]["aliases"].append(name)
+            elif signingkey and field[0] == "fpr":
+                self.keys[key]["fingerprints"].append(field[9])
+                self.fpr_lookup[field[9]] = key
+
+    def import_users_from_ldap(self, session):
+        import ldap
+        cnf = Config()
+
+        LDAPDn = cnf["Import-LDAP-Fingerprints::LDAPDn"]
+        LDAPServer = cnf["Import-LDAP-Fingerprints::LDAPServer"]
+
+        l = ldap.open(LDAPServer)
+        l.simple_bind_s("","")
+        Attrs = l.search_s(LDAPDn, ldap.SCOPE_ONELEVEL,
+               "(&(keyfingerprint=*)(gidnumber=%s))" % (cnf["Import-Users-From-Passwd::ValidGID"]),
+               ["uid", "keyfingerprint", "cn", "mn", "sn"])
+
+        ldap_fin_uid_id = {}
+
+        byuid = {}
+        byname = {}
+
+        for i in Attrs:
+            entry = i[1]
+            uid = entry["uid"][0]
+            name = get_ldap_name(entry)
+            fingerprints = entry["keyFingerPrint"]
+            keyid = None
+            for f in fingerprints:
+                key = self.fpr_lookup.get(f, None)
+                if key not in self.keys:
+                    continue
+                self.keys[key]["uid"] = uid
+
+                if keyid != None:
+                    continue
+                keyid = get_or_set_uid(uid, session).uid_id
+                byuid[keyid] = (uid, name)
+                byname[uid] = (keyid, name)
+
+        return (byname, byuid)
+
+    def generate_users_from_keyring(self, format, session):
+        byuid = {}
+        byname = {}
+        any_invalid = False
+        for x in self.keys.keys():
+            if self.keys[x]["email"] == "invalid-uid":
+                any_invalid = True
+                self.keys[x]["uid"] = format % "invalid-uid"
+            else:
+                uid = format % self.keys[x]["email"]
+                keyid = get_or_set_uid(uid, session).uid_id
+                byuid[keyid] = (uid, self.keys[x]["name"])
+                byname[uid] = (keyid, self.keys[x]["name"])
+                self.keys[x]["uid"] = uid
+
+        if any_invalid:
+            uid = format % "invalid-uid"
+            keyid = get_or_set_uid(uid, session).uid_id
+            byuid[keyid] = (uid, "ungeneratable user id")
+            byname[uid] = (keyid, "ungeneratable user id")
+
+        return (byname, byuid)
+
 __all__.append('Keyring')
 
+@session_wrapper
+def get_keyring(keyring, session=None):
+    """
+    If C{keyring} does not have an entry in the C{keyrings} table yet, return None
+    If C{keyring} already has an entry, simply return the existing Keyring
+
+    @type keyring: string
+    @param keyring: the keyring name
+
+    @rtype: Keyring
+    @return: the Keyring object for this keyring
+    """
+
+    q = session.query(Keyring).filter_by(keyring_name=keyring)
+
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
+
+__all__.append('get_keyring')
+
 ################################################################################
 
+class KeyringACLMap(object):
+    def __init__(self, *args, **kwargs):
+        pass
+
+    def __repr__(self):
+        return '<KeyringACLMap %s>' % self.keyring_acl_map_id
+
+__all__.append('KeyringACLMap')
+
+################################################################################
+
+class KnownChange(object):
+    def __init__(self, *args, **kwargs):
+        pass
+
+    def __repr__(self):
+        return '<KnownChange %s>' % self.changesname
+
+__all__.append('KnownChange')
+
+@session_wrapper
+def get_knownchange(filename, session=None):
+    """
+    returns knownchange object for given C{filename}.
+
+    @type archive: string
+    @param archive: the name of the arhive
+
+    @type session: Session
+    @param session: Optional SQLA session object (a temporary one will be
+    generated if not supplied)
+
+    @rtype: Archive
+    @return: Archive object for the given name (None if not present)
+
+    """
+    q = session.query(KnownChange).filter_by(changesname=filename)
+
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
+
+__all__.append('get_knownchange')
+
+################################################################################
 class Location(object):
     def __init__(self, *args, **kwargs):
         pass
@@ -992,6 +1128,7 @@ class Location(object):
 
 __all__.append('Location')
 
+@session_wrapper
 def get_location(location, component=None, archive=None, session=None):
     """
     Returns Location object for the given combination of location, component
@@ -1010,11 +1147,6 @@ def get_location(location, component=None, archive=None, session=None):
     @return: Either a Location object or None if one can't be found
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(Location).filter_by(path=location)
 
     if archive is not None:
@@ -1023,15 +1155,10 @@ def get_location(location, component=None, archive=None, session=None):
     if component is not None:
         q = q.join(Component).filter_by(component_name=component)
 
-    if q.count() < 1:
-        ret = None
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_location')
 
@@ -1052,6 +1179,7 @@ class Maintainer(object):
 
 __all__.append('Maintainer')
 
+@session_wrapper
 def get_or_set_maintainer(name, session=None):
     """
     Returns Maintainer object for given maintainer name.
@@ -1070,31 +1198,38 @@ def get_or_set_maintainer(name, session=None):
     @rtype: Maintainer
     @return: the Maintainer object for the given maintainer
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(Maintainer).filter_by(name=name)
-    if q.count() < 1:
+    try:
+        ret = q.one()
+    except NoResultFound:
         maintainer = Maintainer()
         maintainer.name = name
         session.add(maintainer)
-        if privatetrans:
-            session.commit()
-        else:
-            session.flush()
+        session.commit_or_flush()
         ret = maintainer
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
 
     return ret
 
 __all__.append('get_or_set_maintainer')
 
+@session_wrapper
+def get_maintainer(maintainer_id, session=None):
+    """
+    Return the name of the maintainer behind C{maintainer_id} or None if that
+    maintainer_id is invalid.
+
+    @type maintainer_id: int
+    @param maintainer_id: the id of the maintainer
+
+    @rtype: Maintainer
+    @return: the Maintainer with this C{maintainer_id}
+    """
+
+    return session.query(Maintainer).get(maintainer_id)
+
+__all__.append('get_maintainer')
+
 ################################################################################
 
 class NewComment(object):
@@ -1106,6 +1241,7 @@ class NewComment(object):
 
 __all__.append('NewComment')
 
+@session_wrapper
 def has_new_comment(package, version, session=None):
     """
     Returns true if the given combination of C{package}, C{version} has a comment.
@@ -1121,27 +1257,18 @@ def has_new_comment(package, version, session=None):
     generated if not supplied)
 
     @rtype: boolean
-    @return: true/false
-    """
-
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
+    @return: true/false
+    """
 
     q = session.query(NewComment)
     q = q.filter_by(package=package)
     q = q.filter_by(version=version)
 
-    ret = q.count() > 0
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    return bool(q.count() > 0)
 
 __all__.append('has_new_comment')
 
+@session_wrapper
 def get_new_comments(package=None, version=None, comment_id=None, session=None):
     """
     Returns (possibly empty) list of NewComment objects for the given
@@ -1162,25 +1289,14 @@ def get_new_comments(package=None, version=None, comment_id=None, session=None):
 
     @rtype: list
     @return: A (possibly empty) list of NewComment objects will be returned
-
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(NewComment)
     if package is not None: q = q.filter_by(package=package)
     if version is not None: q = q.filter_by(version=version)
     if comment_id is not None: q = q.filter_by(comment_id=comment_id)
 
-    ret = q.all()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    return q.all()
 
 __all__.append('get_new_comments')
 
@@ -1195,6 +1311,7 @@ class Override(object):
 
 __all__.append('Override')
 
+@session_wrapper
 def get_override(package, suite=None, component=None, overridetype=None, session=None):
     """
     Returns Override object for the given parameters
@@ -1220,12 +1337,7 @@ def get_override(package, suite=None, component=None, overridetype=None, session
 
     @rtype: list
     @return: A (possibly empty) list of Override objects will be returned
-
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(Override)
     q = q.filter_by(package=package)
@@ -1242,12 +1354,7 @@ def get_override(package, suite=None, component=None, overridetype=None, session
         if not isinstance(overridetype, list): overridetype = [overridetype]
         q = q.join(OverrideType).filter(OverrideType.overridetype.in_(overridetype))
 
-    ret = q.all()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    return q.all()
 
 __all__.append('get_override')
 
@@ -1263,6 +1370,7 @@ class OverrideType(object):
 
 __all__.append('OverrideType')
 
+@session_wrapper
 def get_override_type(override_type, session=None):
     """
     Returns OverrideType object for given C{override type}.
@@ -1276,24 +1384,14 @@ def get_override_type(override_type, session=None):
 
     @rtype: int
     @return: the database id for the given override type
-
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(OverrideType).filter_by(overridetype=override_type)
 
-    if q.count() == 0:
-        ret = None
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_override_type')
 
@@ -1346,13 +1444,13 @@ def insert_pending_content_paths(package, fullpaths, session=None):
         # Insert paths
         pathcache = {}
         for fullpath in fullpaths:
-            (path, file) = os.path.split(fullpath)
+            (path, filename) = os.path.split(fullpath)
 
             if path.startswith( "./" ):
                 path = path[2:]
 
             filepath_id = get_or_set_contents_path_id(path, session)
-            filename_id = get_or_set_contents_file_id(file, session)
+            filename_id = get_or_set_contents_file_id(filename, session)
 
             pathcache[fullpath] = (filepath_id, filename_id)
 
@@ -1408,6 +1506,7 @@ class Priority(object):
 
 __all__.append('Priority')
 
+@session_wrapper
 def get_priority(priority, session=None):
     """
     Returns Priority object for given C{priority name}.
@@ -1421,27 +1520,18 @@ def get_priority(priority, session=None):
 
     @rtype: Priority
     @return: Priority object for the given priority
-
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(Priority).filter_by(priority=priority)
 
-    if q.count() == 0:
-        ret = None
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_priority')
 
+@session_wrapper
 def get_priorities(session=None):
     """
     Returns dictionary of priority names -> id mappings
@@ -1453,19 +1543,12 @@ def get_priorities(session=None):
     @rtype: dictionary
     @return: dictionary of priority names -> id mappings
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     ret = {}
     q = session.query(Priority)
     for x in q.all():
         ret[x.priority] = x.priority_id
 
-    if privatetrans:
-        session.close()
-
     return ret
 
 __all__.append('get_priorities')
@@ -1535,6 +1618,7 @@ class Queue(object):
                 # TODO: Move into database as above
                 if conf.FindB("Dinstall::SecurityQueueBuild"):
                     # Copy it since the original won't be readable by www-data
+                    import utils
                     utils.copy(src, dest)
                 else:
                     # Create a symlink to it
@@ -1548,23 +1632,27 @@ class Queue(object):
 
                 session.add(qb)
 
-            # If the .orig.tar.gz is in the pool, create a symlink to
-            # it (if one doesn't already exist)
-            if changes.orig_tar_id:
-                # Determine the .orig.tar.gz file name
-                for dsc_file in changes.dsc_files.keys():
-                    if dsc_file.endswith(".orig.tar.gz"):
-                        filename = dsc_file
-
-                dest = os.path.join(dest_dir, filename)
+            # If the .orig tarballs are in the pool, create a symlink to
+            # them (if one doesn't already exist)
+            for dsc_file in changes.dsc_files.keys():
+                # Skip all files except orig tarballs
+                from daklib.regexes import re_is_orig_source
+                if not re_is_orig_source.match(dsc_file):
+                    continue
+                # Skip orig files not identified in the pool
+                if not (changes.orig_files.has_key(dsc_file) and
+                        changes.orig_files[dsc_file].has_key("id")):
+                    continue
+                orig_file_id = changes.orig_files[dsc_file]["id"]
+                dest = os.path.join(dest_dir, dsc_file)
 
                 # If it doesn't exist, create a symlink
                 if not os.path.exists(dest):
                     q = session.execute("SELECT l.path, f.filename FROM location l, files f WHERE f.id = :id and f.location = l.id",
-                                        {'id': changes.orig_tar_id})
+                                        {'id': orig_file_id})
                     res = q.fetchone()
                     if not res:
-                        return "[INTERNAL ERROR] Couldn't find id %s in files table." % (changes.orig_tar_id)
+                        return "[INTERNAL ERROR] Couldn't find id %s in files table." % (orig_file_id)
 
                     src = os.path.join(res[0], res[1])
                     os.symlink(src, dest)
@@ -1579,7 +1667,7 @@ class Queue(object):
 
                 # If it does, update things to ensure it's not removed prematurely
                 else:
-                    qb = get_queue_build(dest, suite_id, session)
+                    qb = get_queue_build(dest, s.suite_id, session)
                     if qb is None:
                         qb.in_queue = True
                         qb.last_used = None
@@ -1593,9 +1681,11 @@ class Queue(object):
 
 __all__.append('Queue')
 
-def get_queue(queuename, session=None):
+@session_wrapper
+def get_or_set_queue(queuename, session=None):
     """
-    Returns Queue object for given C{queue name}.
+    Returns Queue object for given C{queue name}, creating it if it does not
+    exist.
 
     @type queuename: string
     @param queuename: The name of the queue
@@ -1606,25 +1696,22 @@ def get_queue(queuename, session=None):
 
     @rtype: Queue
     @return: Queue object for the given queue
-
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(Queue).filter_by(queue_name=queuename)
-    if q.count() == 0:
-        ret = None
-    else:
-        ret = q.one()
 
-    if privatetrans:
-        session.close()
+    try:
+        ret = q.one()
+    except NoResultFound:
+        queue = Queue()
+        queue.queue_name = queuename
+        session.add(queue)
+        session.commit_or_flush()
+        ret = queue
 
     return ret
 
-__all__.append('get_queue')
+__all__.append('get_or_set_queue')
 
 ################################################################################
 
@@ -1637,6 +1724,7 @@ class QueueBuild(object):
 
 __all__.append('QueueBuild')
 
+@session_wrapper
 def get_queue_build(filename, suite, session=None):
     """
     Returns QueueBuild object for given C{filename} and C{suite}.
@@ -1653,12 +1741,7 @@ def get_queue_build(filename, suite, session=None):
 
     @rtype: Queue
     @return: Queue object for the given queue
-
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     if isinstance(suite, int):
         q = session.query(QueueBuild).filter_by(filename=filename).filter_by(suite_id=suite)
@@ -1666,15 +1749,10 @@ def get_queue_build(filename, suite, session=None):
         q = session.query(QueueBuild).filter_by(filename=filename)
         q = q.join(Suite).filter_by(suite_name=suite)
 
-    if q.count() == 0:
-        ret = None
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_queue_build')
 
@@ -1701,6 +1779,7 @@ class Section(object):
 
 __all__.append('Section')
 
+@session_wrapper
 def get_section(section, session=None):
     """
     Returns Section object for given C{section name}.
@@ -1714,26 +1793,18 @@ def get_section(section, session=None):
 
     @rtype: Section
     @return: Section object for the given section name
-
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(Section).filter_by(section=section)
-    if q.count() == 0:
-        ret = None
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
 
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_section')
 
+@session_wrapper
 def get_sections(session=None):
     """
     Returns dictionary of section names -> id mappings
@@ -1745,19 +1816,12 @@ def get_sections(session=None):
     @rtype: dictionary
     @return: dictionary of section names -> id mappings
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     ret = {}
     q = session.query(Section)
     for x in q.all():
         ret[x.section] = x.section_id
 
-    if privatetrans:
-        session.close()
-
     return ret
 
 __all__.append('get_sections')
@@ -1773,6 +1837,7 @@ class DBSource(object):
 
 __all__.append('DBSource')
 
+@session_wrapper
 def source_exists(source, source_version, suites = ["any"], session=None):
     """
     Ensure that source exists somewhere in the archive for the binary
@@ -1798,11 +1863,6 @@ def source_exists(source, source_version, suites = ["any"], session=None):
 
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     cnf = Config()
     ret = 1
 
@@ -1841,13 +1901,11 @@ def source_exists(source, source_version, suites = ["any"], session=None):
         # No source found so return not ok
         ret = 0
 
-    if privatetrans:
-        session.close()
-
     return ret
 
 __all__.append('source_exists')
 
+@session_wrapper
 def get_suites_source_in(source, session=None):
     """
     Returns list of Suite objects which given C{source} name is in
@@ -1859,20 +1917,11 @@ def get_suites_source_in(source, session=None):
     @return: list of Suite objects for the given source
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
-    ret = session.query(Suite).join(SrcAssociation).join(DBSource).filter_by(source=source).all()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    return session.query(Suite).join(SrcAssociation).join(DBSource).filter_by(source=source).all()
 
 __all__.append('get_suites_source_in')
 
+@session_wrapper
 def get_sources_from_name(source, version=None, dm_upload_allowed=None, session=None):
     """
     Returns list of DBSource objects for given C{source} name and other parameters
@@ -1894,10 +1943,6 @@ def get_sources_from_name(source, version=None, dm_upload_allowed=None, session=
     @rtype: list
     @return: list of DBSource objects for the given name (may be empty)
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(DBSource).filter_by(source=source)
 
@@ -1907,15 +1952,11 @@ def get_sources_from_name(source, version=None, dm_upload_allowed=None, session=
     if dm_upload_allowed is not None:
         q = q.filter_by(dm_upload_allowed=dm_upload_allowed)
 
-    ret = q.all()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    return q.all()
 
 __all__.append('get_sources_from_name')
 
+@session_wrapper
 def get_source_in_suite(source, suite, session=None):
     """
     Returns list of DBSource objects for a combination of C{source} and C{suite}.
@@ -1933,27 +1974,28 @@ def get_source_in_suite(source, suite, session=None):
     @return: the version for I{source} in I{suite}
 
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(SrcAssociation)
     q = q.join('source').filter_by(source=source)
     q = q.join('suite').filter_by(suite_name=suite)
 
-    if q.count() == 0:
-        ret =  None
-    else:
-        # ???: Maybe we should just return the SrcAssociation object instead
-        ret = q.one().source
+    try:
+        return q.one().source
+    except NoResultFound:
+        return None
 
-    if privatetrans:
-        session.close()
+__all__.append('get_source_in_suite')
 
-    return ret
+################################################################################
 
-__all__.append('get_source_in_suite')
+class SourceACL(object):
+    def __init__(self, *args, **kwargs):
+        pass
+
+    def __repr__(self):
+        return '<SourceACL %s>' % self.source_acl_id
+
+__all__.append('SourceACL')
 
 ################################################################################
 
@@ -1968,6 +2010,17 @@ __all__.append('SrcAssociation')
 
 ################################################################################
 
+class SrcFormat(object):
+    def __init__(self, *args, **kwargs):
+        pass
+
+    def __repr__(self):
+        return '<SrcFormat %s>' % (self.format_name)
+
+__all__.append('SrcFormat')
+
+################################################################################
+
 class SrcUploader(object):
     def __init__(self, *args, **kwargs):
         pass
@@ -2029,6 +2082,7 @@ class Suite(object):
 
 __all__.append('Suite')
 
+@session_wrapper
 def get_suite_architecture(suite, architecture, session=None):
     """
     Returns a SuiteArchitecture object given C{suite} and ${arch} or None if it
@@ -2048,27 +2102,18 @@ def get_suite_architecture(suite, architecture, session=None):
     @return: the SuiteArchitecture object or None
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(SuiteArchitecture)
     q = q.join(Architecture).filter_by(arch_string=architecture)
     q = q.join(Suite).filter_by(suite_name=suite)
 
-    if q.count() == 0:
-        ret = None
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_suite_architecture')
 
+@session_wrapper
 def get_suite(suite, session=None):
     """
     Returns Suite object for given C{suite name}.
@@ -2081,25 +2126,15 @@ def get_suite(suite, session=None):
     generated if not supplied)
 
     @rtype: Suite
-    @return: Suite object for the requested suite name (None if not presenT)
-
+    @return: Suite object for the requested suite name (None if not present)
     """
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
 
     q = session.query(Suite).filter_by(suite_name=suite)
 
-    if q.count() == 0:
-        ret = None
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
-
-    return ret
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
 
 __all__.append('get_suite')
 
@@ -2114,6 +2149,7 @@ class SuiteArchitecture(object):
 
 __all__.append('SuiteArchitecture')
 
+@session_wrapper
 def get_suite_architectures(suite, skipsrc=False, skipall=False, session=None):
     """
     Returns list of Architecture objects for given C{suite} name
@@ -2137,11 +2173,6 @@ def get_suite_architectures(suite, skipsrc=False, skipall=False, session=None):
     @return: list of Architecture objects for the given name (may be empty)
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(Architecture)
     q = q.join(SuiteArchitecture)
     q = q.join(Suite).filter_by(suite_name=suite)
@@ -2154,14 +2185,45 @@ def get_suite_architectures(suite, skipsrc=False, skipall=False, session=None):
 
     q = q.order_by('arch_string')
 
-    ret = q.all()
+    return q.all()
 
-    if privatetrans:
-        session.close()
+__all__.append('get_suite_architectures')
 
-    return ret
+################################################################################
 
-__all__.append('get_suite_architectures')
+class SuiteSrcFormat(object):
+    def __init__(self, *args, **kwargs):
+        pass
+
+    def __repr__(self):
+        return '<SuiteSrcFormat (%s, %s)>' % (self.suite_id, self.src_format_id)
+
+__all__.append('SuiteSrcFormat')
+
+@session_wrapper
+def get_suite_src_formats(suite, session=None):
+    """
+    Returns list of allowed SrcFormat for C{suite}.
+
+    @type suite: str
+    @param suite: Suite name to search for
+
+    @type session: Session
+    @param session: Optional SQL session object (a temporary one will be
+    generated if not supplied)
+
+    @rtype: list
+    @return: the list of allowed source formats for I{suite}
+    """
+
+    q = session.query(SrcFormat)
+    q = q.join(SuiteSrcFormat)
+    q = q.join(Suite).filter_by(suite_name=suite)
+    q = q.order_by('format_name')
+
+    return q.all()
+
+__all__.append('get_suite_src_formats')
 
 ################################################################################
 
@@ -2186,6 +2248,7 @@ class Uid(object):
 
 __all__.append('Uid')
 
+@session_wrapper
 def add_database_user(uidname, session=None):
     """
     Adds a database user
@@ -2202,19 +2265,12 @@ def add_database_user(uidname, session=None):
     @return: the uid object for the given uidname
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     session.execute("CREATE USER :uid", {'uid': uidname})
-
-    if privatetrans:
-        session.commit()
-        session.close()
+    session.commit_or_flush()
 
 __all__.append('add_database_user')
 
+@session_wrapper
 def get_or_set_uid(uidname, session=None):
     """
     Returns uid object for given uidname.
@@ -2233,53 +2289,43 @@ def get_or_set_uid(uidname, session=None):
     @return: the uid object for the given uidname
     """
 
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(Uid).filter_by(uid=uidname)
 
-    if q.count() < 1:
+    try:
+        ret = q.one()
+    except NoResultFound:
         uid = Uid()
         uid.uid = uidname
         session.add(uid)
-        if privatetrans:
-            session.commit()
-        else:
-            session.flush()
+        session.commit_or_flush()
         ret = uid
-    else:
-        ret = q.one()
-
-    if privatetrans:
-        session.close()
 
     return ret
 
 __all__.append('get_or_set_uid')
 
-
+@session_wrapper
 def get_uid_from_fingerprint(fpr, session=None):
-    privatetrans = False
-    if session is None:
-        session = DBConn().session()
-        privatetrans = True
-
     q = session.query(Uid)
     q = q.join(Fingerprint).filter_by(fingerprint=fpr)
 
-    if q.count() != 1:
-        ret = None
-    else:
-        ret = q.one()
+    try:
+        return q.one()
+    except NoResultFound:
+        return None
+
+__all__.append('get_uid_from_fingerprint')
 
-    if privatetrans:
-        session.close()
+################################################################################
 
-    return ret
+class UploadBlock(object):
+    def __init__(self, *args, **kwargs):
+        pass
 
-__all__.append('get_uid_from_fingerprint')
+    def __repr__(self):
+        return '<UploadBlock %s (%s)>' % (self.source, self.upload_block_id)
+
+__all__.append('UploadBlock')
 
 ################################################################################
 
@@ -2301,6 +2347,8 @@ class DBConn(Singleton):
         self.tbl_archive = Table('archive', self.db_meta, autoload=True)
         self.tbl_bin_associations = Table('bin_associations', self.db_meta, autoload=True)
         self.tbl_binaries = Table('binaries', self.db_meta, autoload=True)
+        self.tbl_binary_acl = Table('binary_acl', self.db_meta, autoload=True)
+        self.tbl_binary_acl_map = Table('binary_acl_map', self.db_meta, autoload=True)
         self.tbl_component = Table('component', self.db_meta, autoload=True)
         self.tbl_config = Table('config', self.db_meta, autoload=True)
         self.tbl_content_associations = Table('content_associations', self.db_meta, autoload=True)
@@ -2310,6 +2358,8 @@ class DBConn(Singleton):
         self.tbl_files = Table('files', self.db_meta, autoload=True)
         self.tbl_fingerprint = Table('fingerprint', self.db_meta, autoload=True)
         self.tbl_keyrings = Table('keyrings', self.db_meta, autoload=True)
+        self.tbl_known_changes = Table('known_changes', self.db_meta, autoload=True)
+        self.tbl_keyring_acl_map = Table('keyring_acl_map', self.db_meta, autoload=True)
         self.tbl_location = Table('location', self.db_meta, autoload=True)
         self.tbl_maintainer = Table('maintainer', self.db_meta, autoload=True)
         self.tbl_new_comments = Table('new_comments', self.db_meta, autoload=True)
@@ -2321,11 +2371,15 @@ class DBConn(Singleton):
         self.tbl_queue_build = Table('queue_build', self.db_meta, autoload=True)
         self.tbl_section = Table('section', self.db_meta, autoload=True)
         self.tbl_source = Table('source', self.db_meta, autoload=True)
+        self.tbl_source_acl = Table('source_acl', self.db_meta, autoload=True)
         self.tbl_src_associations = Table('src_associations', self.db_meta, autoload=True)
+        self.tbl_src_format = Table('src_format', self.db_meta, autoload=True)
         self.tbl_src_uploaders = Table('src_uploaders', self.db_meta, autoload=True)
         self.tbl_suite = Table('suite', self.db_meta, autoload=True)
         self.tbl_suite_architectures = Table('suite_architectures', self.db_meta, autoload=True)
+        self.tbl_suite_src_formats = Table('suite_src_formats', self.db_meta, autoload=True)
         self.tbl_uid = Table('uid', self.db_meta, autoload=True)
+        self.tbl_upload_blocks = Table('upload_blocks', self.db_meta, autoload=True)
 
     def __setupmappers(self):
         mapper(Architecture, self.tbl_architecture,
@@ -2342,6 +2396,7 @@ class DBConn(Singleton):
                                  binary_id = self.tbl_bin_associations.c.bin,
                                  binary = relation(DBBinary)))
 
+
         mapper(DBBinary, self.tbl_binaries,
                properties = dict(binary_id = self.tbl_binaries.c.id,
                                  package = self.tbl_binaries.c.package,
@@ -2361,6 +2416,14 @@ class DBConn(Singleton):
                                  binassociations = relation(BinAssociation,
                                                             primaryjoin=(self.tbl_binaries.c.id==self.tbl_bin_associations.c.bin))))
 
+        mapper(BinaryACL, self.tbl_binary_acl,
+               properties = dict(binary_acl_id = self.tbl_binary_acl.c.id))
+
+        mapper(BinaryACLMap, self.tbl_binary_acl_map,
+               properties = dict(binary_acl_map_id = self.tbl_binary_acl_map.c.id,
+                                 fingerprint = relation(Fingerprint, backref="binary_acl_map"),
+                                 architecture = relation(Architecture)))
+
         mapper(Component, self.tbl_component,
                properties = dict(component_id = self.tbl_component.c.id,
                                  component_name = self.tbl_component.c.name))
@@ -2368,24 +2431,6 @@ class DBConn(Singleton):
         mapper(DBConfig, self.tbl_config,
                properties = dict(config_id = self.tbl_config.c.id))
 
-        mapper(ContentAssociation, self.tbl_content_associations,
-               properties = dict(ca_id = self.tbl_content_associations.c.id,
-                                 filename_id = self.tbl_content_associations.c.filename,
-                                 filename    = relation(ContentFilename),
-                                 filepath_id = self.tbl_content_associations.c.filepath,
-                                 filepath    = relation(ContentFilepath),
-                                 binary_id   = self.tbl_content_associations.c.binary_pkg,
-                                 binary      = relation(DBBinary)))
-
-
-        mapper(ContentFilename, self.tbl_content_file_names,
-               properties = dict(cafilename_id = self.tbl_content_file_names.c.id,
-                                 filename = self.tbl_content_file_names.c.file))
-
-        mapper(ContentFilepath, self.tbl_content_file_paths,
-               properties = dict(cafilepath_id = self.tbl_content_file_paths.c.id,
-                                 filepath = self.tbl_content_file_paths.c.path))
-
         mapper(DSCFile, self.tbl_dsc_files,
                properties = dict(dscfile_id = self.tbl_dsc_files.c.id,
                                  source_id = self.tbl_dsc_files.c.source,
@@ -2404,12 +2449,22 @@ class DBConn(Singleton):
                                  uid_id = self.tbl_fingerprint.c.uid,
                                  uid = relation(Uid),
                                  keyring_id = self.tbl_fingerprint.c.keyring,
-                                 keyring = relation(Keyring)))
+                                 keyring = relation(Keyring),
+                                 source_acl = relation(SourceACL),
+                                 binary_acl = relation(BinaryACL)))
 
         mapper(Keyring, self.tbl_keyrings,
                properties = dict(keyring_name = self.tbl_keyrings.c.name,
                                  keyring_id = self.tbl_keyrings.c.id))
 
+        mapper(KnownChange, self.tbl_known_changes,
+               properties = dict(known_change_id = self.tbl_known_changes.c.id))
+
+        mapper(KeyringACLMap, self.tbl_keyring_acl_map,
+               properties = dict(keyring_acl_map_id = self.tbl_keyring_acl_map.c.id,
+                                 keyring = relation(Keyring, backref="keyring_acl_map"),
+                                 architecture = relation(Architecture)))
+
         mapper(Location, self.tbl_location,
                properties = dict(location_id = self.tbl_location.c.id,
                                  component_id = self.tbl_location.c.component,
@@ -2440,13 +2495,6 @@ class DBConn(Singleton):
                properties = dict(overridetype = self.tbl_override_type.c.type,
                                  overridetype_id = self.tbl_override_type.c.id))
 
-        mapper(PendingContentAssociation, self.tbl_pending_content_associations,
-               properties = dict(pca_id = self.tbl_pending_content_associations.c.id,
-                                 filepath_id = self.tbl_pending_content_associations.c.filepath,
-                                 filepath = relation(ContentFilepath),
-                                 filename_id = self.tbl_pending_content_associations.c.filename,
-                                 filename = relation(ContentFilename)))
-
         mapper(Priority, self.tbl_priority,
                properties = dict(priority_id = self.tbl_priority.c.id))
 
@@ -2477,7 +2525,11 @@ class DBConn(Singleton):
                                  srcfiles = relation(DSCFile,
                                                      primaryjoin=(self.tbl_source.c.id==self.tbl_dsc_files.c.source)),
                                  srcassociations = relation(SrcAssociation,
-                                                            primaryjoin=(self.tbl_source.c.id==self.tbl_src_associations.c.source))))
+                                                            primaryjoin=(self.tbl_source.c.id==self.tbl_src_associations.c.source)),
+                                 srcuploaders = relation(SrcUploader)))
+
+        mapper(SourceACL, self.tbl_source_acl,
+               properties = dict(source_acl_id = self.tbl_source_acl.c.id))
 
         mapper(SrcAssociation, self.tbl_src_associations,
                properties = dict(sa_id = self.tbl_src_associations.c.id,
@@ -2486,6 +2538,10 @@ class DBConn(Singleton):
                                  source_id = self.tbl_src_associations.c.source,
                                  source = relation(DBSource)))
 
+        mapper(SrcFormat, self.tbl_src_format,
+               properties = dict(src_format_id = self.tbl_src_format.c.id,
+                                 format_name = self.tbl_src_format.c.format_name))
+
         mapper(SrcUploader, self.tbl_src_uploaders,
                properties = dict(uploader_id = self.tbl_src_uploaders.c.id,
                                  source_id = self.tbl_src_uploaders.c.source,
@@ -2496,7 +2552,8 @@ class DBConn(Singleton):
                                                        primaryjoin=(self.tbl_src_uploaders.c.maintainer==self.tbl_maintainer.c.id))))
 
         mapper(Suite, self.tbl_suite,
-               properties = dict(suite_id = self.tbl_suite.c.id))
+               properties = dict(suite_id = self.tbl_suite.c.id,
+                                 policy_queue = relation(Queue)))
 
         mapper(SuiteArchitecture, self.tbl_suite_architectures,
                properties = dict(suite_id = self.tbl_suite_architectures.c.suite,
@@ -2504,10 +2561,21 @@ class DBConn(Singleton):
                                  arch_id = self.tbl_suite_architectures.c.architecture,
                                  architecture = relation(Architecture)))
 
+        mapper(SuiteSrcFormat, self.tbl_suite_src_formats,
+               properties = dict(suite_id = self.tbl_suite_src_formats.c.suite,
+                                 suite = relation(Suite, backref='suitesrcformats'),
+                                 src_format_id = self.tbl_suite_src_formats.c.src_format,
+                                 src_format = relation(SrcFormat)))
+
         mapper(Uid, self.tbl_uid,
                properties = dict(uid_id = self.tbl_uid.c.id,
                                  fingerprint = relation(Fingerprint)))
 
+        mapper(UploadBlock, self.tbl_upload_blocks,
+               properties = dict(upload_block_id = self.tbl_upload_blocks.c.id,
+                                 fingerprint = relation(Fingerprint, backref="uploadblocks"),
+                                 uid = relation(Uid, backref="uploadblocks")))
+
     ## Connection functions
     def __createconn(self):
         from config import Config