]> git.decadent.org.uk Git - dak.git/blobdiff - dak/make_maintainers.py
Remove files that are (no longer) generated
[dak.git] / dak / make_maintainers.py
index c3905af933d51d77a5ebdf7e99abe01952cfb8f7..7387e8ed7f6fb4ae8d84f4764b4e689bb2c363e3 100755 (executable)
@@ -1,7 +1,13 @@
 #!/usr/bin/env python
 
-# Generate Maintainers file used by e.g. the Debian Bug Tracking System
-# Copyright (C) 2000, 2001, 2002, 2003, 2004, 2006  James Troup <james@nocrew.org>
+"""
+Generate Maintainers file used by e.g. the Debian Bug Tracking System
+@contact: Debian FTP Master <ftpmaster@debian.org>
+@copyright: 2000, 2001, 2002, 2003, 2004, 2006  James Troup <james@nocrew.org>
+@copyright: 2011 Torsten Werner <twerner@debian.org>
+@license: GNU General Public License version 2 or later
+
+"""
 
 # This program is free software; you can redistribute it and/or modify
 # it under the terms of the GNU General Public License as published by
 
 ################################################################################
 
-import pg, sys
-import apt_pkg
-import daklib.database as database
-import daklib.utils as utils
-
-################################################################################
+from daklib import daklog
+from daklib import utils
+from daklib.config import Config
+from daklib.dbconn import *
+from daklib.regexes import re_comments
 
-projectB = None
-Cnf = None
-maintainer_from_source_cache = {}
-packages = {}
-fixed_maintainer_cache = {}
+import apt_pkg
+import sys
 
 ################################################################################
 
 def usage (exit_code=0):
-    print """Usage: dak make-maintainers [OPTION] EXTRA_FILE[...]
-Generate an index of packages <=> Maintainers.
+    print """Usage: dak make-maintainers [OPTION] -a ARCHIVE EXTRA_FILE[...]
+Generate an index of packages <=> Maintainers / Uploaders.
 
+  -a, --archive=ARCHIVE      archive to take packages from
+  -s, --source               output source packages only
+  -p, --print                print package list to stdout instead of writing it to files
   -h, --help                 show this help and exit
 """
     sys.exit(exit_code)
 
 ################################################################################
 
-def fix_maintainer (maintainer):
-    global fixed_maintainer_cache
-
-    if not fixed_maintainer_cache.has_key(maintainer):
-        fixed_maintainer_cache[maintainer] = utils.fix_maintainer(maintainer)[0]
+def format(package, person):
+    '''Return a string nicely formatted for writing to the output file.'''
+    return '%-20s %s\n' % (package, person)
 
-    return fixed_maintainer_cache[maintainer]
-
-def get_maintainer (maintainer):
-    return fix_maintainer(database.get_maintainer(maintainer))
-
-def get_maintainer_from_source (source_id):
-    global maintainer_from_source_cache
-
-    if not maintainer_from_source_cache.has_key(source_id):
-        q = projectB.query("SELECT m.name FROM maintainer m, source s WHERE s.id = %s and s.maintainer = m.id" % (source_id))
-        maintainer = q.getresult()[0][0]
-        maintainer_from_source_cache[source_id] = fix_maintainer(maintainer)
+################################################################################
 
-    return maintainer_from_source_cache[source_id]
+def uploader_list(source):
+    '''Return a sorted list of uploader names for source package.'''
+    return sorted([uploader.name for uploader in source.uploaders])
 
 ################################################################################
 
 def main():
-    global Cnf, projectB
+    cnf = Config()
 
-    Cnf = utils.get_conf()
+    Arguments = [('h',"help","Make-Maintainers::Options::Help"),
+                 ('a',"archive","Make-Maintainers::Options::Archive",'HasArg'),
+                 ('s',"source","Make-Maintainers::Options::Source"),
+                 ('p',"print","Make-Maintainers::Options::Print")]
+    for i in ["Help", "Source", "Print" ]:
+        if not cnf.has_key("Make-Maintainers::Options::%s" % (i)):
+            cnf["Make-Maintainers::Options::%s" % (i)] = ""
 
-    Arguments = [('h',"help","Make-Maintainers::Options::Help")]
-    if not Cnf.has_key("Make-Maintainers::Options::Help"):
-        Cnf["Make-Maintainers::Options::Help"] = ""
+    extra_files = apt_pkg.parse_commandline(cnf.Cnf, Arguments, sys.argv)
+    Options = cnf.subtree("Make-Maintainers::Options")
 
-    extra_files = apt_pkg.ParseCommandLine(Cnf,Arguments,sys.argv)
-    Options = Cnf.SubTree("Make-Maintainers::Options")
-
-    if Options["Help"]:
+    if Options["Help"] or not Options.get('Archive'):
         usage()
 
-    projectB = pg.connect(Cnf["DB::Name"], Cnf["DB::Host"], int(Cnf["DB::Port"]))
-    database.init(Cnf, projectB)
-
-    for suite in Cnf.SubTree("Suite").List():
-        suite = suite.lower()
-        suite_priority = int(Cnf["Suite::%s::Priority" % (suite)])
-
-        # Source packages
-        q = projectB.query("SELECT s.source, s.version, m.name FROM src_associations sa, source s, suite su, maintainer m WHERE su.suite_name = '%s' AND sa.suite = su.id AND sa.source = s.id AND m.id = s.maintainer" % (suite))
-        sources = q.getresult()
-        for source in sources:
-            package = source[0]
-            version = source[1]
-            maintainer = fix_maintainer(source[2])
-            if packages.has_key(package):
-                if packages[package]["priority"] <= suite_priority:
-                    if apt_pkg.VersionCompare(packages[package]["version"], version) < 0:
-                        packages[package] = { "maintainer": maintainer, "priority": suite_priority, "version": version }
-            else:
-                packages[package] = { "maintainer": maintainer, "priority": suite_priority, "version": version }
-
-        # Binary packages
-        q = projectB.query("SELECT b.package, b.source, b.maintainer, b.version FROM bin_associations ba, binaries b, suite s WHERE s.suite_name = '%s' AND ba.suite = s.id AND ba.bin = b.id" % (suite))
-        binaries = q.getresult()
-        for binary in binaries:
-            package = binary[0]
-            source_id = binary[1]
-            version = binary[3]
-            # Use the source maintainer first; falling back on the binary maintainer as a last resort only
-            if source_id:
-                maintainer = get_maintainer_from_source(source_id)
-            else:
-                maintainer = get_maintainer(binary[2])
-            if packages.has_key(package):
-                if packages[package]["priority"] <= suite_priority:
-                    if apt_pkg.VersionCompare(packages[package]["version"], version) < 0:
-                        packages[package] = { "maintainer": maintainer, "priority": suite_priority, "version": version }
-            else:
-                packages[package] = { "maintainer": maintainer, "priority": suite_priority, "version": version }
-
-    # Process any additional Maintainer files (e.g. from pseudo packages)
+    Logger = daklog.Logger('make-maintainers')
+    session = DBConn().session()
+
+    archive = session.query(Archive).filter_by(archive_name=Options['Archive']).one()
+
+    # dictionary packages to maintainer names
+    maintainers = dict()
+    # dictionary packages to list of uploader names
+    uploaders = dict()
+
+    source_query = session.query(DBSource).from_statement('''
+        select distinct on (source.source) source.* from source
+            join src_associations sa on source.id = sa.source
+            join suite on sa.suite = suite.id
+            where suite.archive_id = :archive_id
+            order by source.source, source.version desc''') \
+        .params(archive_id=archive.archive_id)
+
+    binary_query = session.query(DBBinary).from_statement('''
+        select distinct on (binaries.package) binaries.* from binaries
+            join bin_associations ba on binaries.id = ba.bin
+            join suite on ba.suite = suite.id
+            where suite.archive_id = :archive_id
+            order by binaries.package, binaries.version desc''') \
+        .params(archive_id=archive.archive_id)
+
+    Logger.log(['sources'])
+    for source in source_query:
+        maintainers[source.source] = source.maintainer.name
+        uploaders[source.source] = uploader_list(source)
+
+    if not Options["Source"]:
+        Logger.log(['binaries'])
+        for binary in binary_query:
+                if binary.package not in maintainers:
+                    maintainers[binary.package] = binary.maintainer.name
+                    uploaders[binary.package] = uploader_list(binary.source)
+
+    Logger.log(['files'])
+    # Process any additional Maintainer files (e.g. from pseudo
+    # packages)
     for filename in extra_files:
-        file = utils.open_file(filename)
-        for line in file.readlines():
-            line = utils.re_comments.sub('', line).strip()
+        extrafile = utils.open_file(filename)
+        for line in extrafile.readlines():
+            line = re_comments.sub('', line).strip()
             if line == "":
                 continue
-            split = line.split()
-            lhs = split[0]
-            maintainer = fix_maintainer(" ".join(split[1:]))
-            if lhs.find('~') != -1:
-                (package, version) = lhs.split('~', 1)
-            else:
-                package = lhs
-                version = '*'
-            # A version of '*' overwhelms all real version numbers
-            if not packages.has_key(package) or version == '*' \
-               or apt_pkg.VersionCompare(packages[package]["version"], version) < 0:
-                packages[package] = { "maintainer": maintainer, "version": version }
-        file.close()
-
-    package_keys = packages.keys()
-    package_keys.sort()
-    for package in package_keys:
-        lhs = "~".join([package, packages[package]["version"]])
-        print "%-30s %s" % (lhs, packages[package]["maintainer"])
-
-################################################################################
+            (package, maintainer) = line.split(None, 1)
+            maintainers[package] = maintainer
+            uploaders[package] = [maintainer]
+
+    if Options["Print"]:
+        for package in sorted(maintainers):
+            sys.stdout.write(format(package, maintainers[package]))
+    else:
+        maintainer_file = open('Maintainers', 'w')
+        uploader_file = open('Uploaders', 'w')
+        for package in sorted(uploaders):
+            maintainer_file.write(format(package, maintainers[package]))
+            for uploader in uploaders[package]:
+                uploader_file.write(format(package, uploader))
+        uploader_file.close()
+        maintainer_file.close()
+
+        Logger.close()
+
+###############################################################################
 
 if __name__ == '__main__':
     main()