initialise queuekey, lamer

[dak.git] / db_access.py

diff --git a/db_access.py b/db_access.py
index 216f4e76071d9aa5c48e596e9beab14c6e457ce7..d886a2d841080fba93f93601d131c6eaeb9cdc05 100644 (file)
--- a/db_access.py
+++ b/db_access.py
@@ -1,6 +1,8 @@
+#!/usr/bin/env python
+
 # DB access fucntions
-# Copyright (C) 2000, 2001  James Troup <james@nocrew.org>
-# $Id: db_access.py,v 1.11 2002-02-12 23:13:49 troup Exp $
+# Copyright (C) 2000, 2001, 2002, 2003, 2004  James Troup <james@nocrew.org>
+# $Id: db_access.py,v 1.16 2004-06-17 15:00:41 troup Exp $
 
 # This program is free software; you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by
@@ -16,11 +18,11 @@
 # along with this program; if not, write to the Free Software
 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
 
-############################################################################################
+################################################################################
 
-import string
+import sys, time, types;
 
-############################################################################################
+################################################################################
 
 Cnf = None;
 projectB = None;
@@ -37,8 +39,9 @@ source_id_cache = {};
 files_id_cache = {};
 maintainer_cache = {};
 fingerprint_id_cache = {};
+uid_id_cache = {};
 
-############################################################################################
+################################################################################
 
 def init (config, sql):
     global Cnf, projectB
@@ -46,7 +49,22 @@ def init (config, sql):
     Cnf = config;
     projectB = sql;
 
-############################################################################################
+
+def do_query(q):
+    sys.stderr.write("query: \"%s\" ... " % (q));
+    before = time.time();
+    r = projectB.query(q);
+    time_diff = time.time()-before;
+    sys.stderr.write("took %.3f seconds.\n" % (time_diff));
+    if type(r) is int:
+        sys.stderr.write("int result: %s\n" % (r));
+    elif type(r) is types.NoneType:
+        sys.stderr.write("result: None\n");
+    else:
+        sys.stderr.write("pgresult: %s\n" % (r.getresult()));
+    return r;
+
+################################################################################
 
 def get_suite_id (suite):
     global suite_id_cache
@@ -131,7 +149,7 @@ def get_architecture_id (architecture):
 def get_archive_id (archive):
     global archive_id_cache
 
-    archive = string.lower(archive);
+    archive = archive.lower();
 
     if archive_id_cache.has_key(archive):
         return archive_id_cache[archive]
@@ -149,7 +167,7 @@ def get_archive_id (archive):
 def get_component_id (component):
     global component_id_cache
 
-    component = string.lower(component);
+    component = component.lower();
 
     if component_id_cache.has_key(component):
         return component_id_cache[component]
@@ -204,7 +222,7 @@ def get_source_id (source, version):
 
     return source_id
 
-##########################################################################################
+################################################################################
 
 def get_or_set_maintainer_id (maintainer):
     global maintainer_id_cache
@@ -221,24 +239,41 @@ def get_or_set_maintainer_id (maintainer):
 
     return maintainer_id
 
-##########################################################################################
+################################################################################
+
+def get_or_set_uid_id (uid):
+    global uid_id_cache;
+
+    if uid_id_cache.has_key(uid):
+        return uid_id_cache[uid];
+
+    q = projectB.query("SELECT id FROM uid WHERE uid = '%s'" % (uid))
+    if not q.getresult():
+        projectB.query("INSERT INTO uid (uid) VALUES ('%s')" % (uid));
+        q = projectB.query("SELECT id FROM uid WHERE uid = '%s'" % (uid));
+    uid_id = q.getresult()[0][0];
+    uid_id_cache[uid] = uid_id;
+
+    return uid_id;
+
+################################################################################
 
 def get_or_set_fingerprint_id (fingerprint):
-    global fingerprint_id_cache
+    global fingerprint_id_cache;
 
     if fingerprint_id_cache.has_key(fingerprint):
         return fingerprint_id_cache[fingerprint]
 
-    q = projectB.query("SELECT id FROM fingerprint WHERE fingerprint = '%s'" % (fingerprint))
+    q = projectB.query("SELECT id FROM fingerprint WHERE fingerprint = '%s'" % (fingerprint));
     if not q.getresult():
-        projectB.query("INSERT INTO fingerprint (fingerprint) VALUES ('%s')" % (fingerprint))
-        q = projectB.query("SELECT id FROM fingerprint WHERE fingerprint = '%s'" % (fingerprint))
-    fingerprint_id = q.getresult()[0][0]
-    fingerprint_id_cache[fingerprint] = fingerprint_id
+        projectB.query("INSERT INTO fingerprint (fingerprint) VALUES ('%s')" % (fingerprint));
+        q = projectB.query("SELECT id FROM fingerprint WHERE fingerprint = '%s'" % (fingerprint));
+    fingerprint_id = q.getresult()[0][0];
+    fingerprint_id_cache[fingerprint] = fingerprint_id;
 
-    return fingerprint_id
+    return fingerprint_id;
 
-##########################################################################################
+################################################################################
 
 def get_files_id (filename, size, md5sum, location_id):
     global files_id_cache
@@ -265,22 +300,26 @@ def get_files_id (filename, size, md5sum, location_id):
         return None
 
 
-##########################################################################################
+################################################################################
 
 def set_files_id (filename, size, md5sum, location_id):
     global files_id_cache
 
-    cache_key = "%s~%d" % (filename, location_id);
-
-    #print "INSERT INTO files (filename, size, md5sum, location) VALUES ('%s', %d, '%s', %d)" % (filename, long(size), md5sum, location_id);
     projectB.query("INSERT INTO files (filename, size, md5sum, location) VALUES ('%s', %d, '%s', %d)" % (filename, long(size), md5sum, location_id));
-    q = projectB.query("SELECT id FROM files WHERE id = currval('files_id_seq')");
-    ql = q.getresult()[0];
-    files_id_cache[cache_key] = ql[0]
 
-    return files_id_cache[cache_key]
+    return get_files_id (filename, size, md5sum, location_id);
+
+    ### currval has issues with postgresql 7.1.3 when the table is big;
+    ### it was taking ~3 seconds to return on auric which is very Not
+    ### Cool(tm).
+    ##
+    ##q = projectB.query("SELECT id FROM files WHERE id = currval('files_id_seq')");
+    ##ql = q.getresult()[0];
+    ##cache_key = "%s~%d" % (filename, location_id);
+    ##files_id_cache[cache_key] = ql[0]
+    ##return files_id_cache[cache_key];
 
-##########################################################################################
+################################################################################
 
 def get_maintainer (maintainer_id):
     global maintainer_cache;
@@ -291,4 +330,4 @@ def get_maintainer (maintainer_id):
 
     return maintainer_cache[maintainer_id];
 
-##########################################################################################
+################################################################################