dak/stats.py

   1 #!/usr/bin/env python
   2
   3 """ Various statistical pr0nography fun and games """
   4 # Copyright (C) 2000, 2001, 2002, 2003, 2006  James Troup <james@nocrew.org>
   5
   6 # This program is free software; you can redistribute it and/or modify
   7 # it under the terms of the GNU General Public License as published by
   8 # the Free Software Foundation; either version 2 of the License, or
   9 # (at your option) any later version.
  10
  11 # This program is distributed in the hope that it will be useful,
  12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 # GNU General Public License for more details.
  15
  16 # You should have received a copy of the GNU General Public License
  17 # along with this program; if not, write to the Free Software
  18 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19
  20 ################################################################################
  21
  22 # <aj>    can we change the standards instead?
  23 # <neuro> standards?
  24 # <aj>    whatever we're not conforming to
  25 # <aj>    if there's no written standard, why don't we declare linux as
  26 #         the defacto standard
  27 # <aj>    go us!
  28
  29 # [aj's attempt to avoid ABI changes for released architecture(s)]
  30
  31 ################################################################################
  32
  33 import sys
  34 import apt_pkg
  35
  36 from daklib import utils
  37 from daklib.dbconn import DBConn, get_suite_architectures, Suite, Architecture
  38
  39 ################################################################################
  40
  41 Cnf = None
  42
  43 ################################################################################
  44
  45 def usage(exit_code=0):
  46     print """Usage: dak stats MODE
  47 Print various stats.
  48
  49   -h, --help                show this help and exit.
  50
  51 The following MODEs are available:
  52
  53   arch-space    - displays space used by each architecture
  54   pkg-nums      - displays the number of packages by suite/architecture
  55   daily-install - displays daily install stats suitable for graphing
  56 """
  57     sys.exit(exit_code)
  58
  59 ################################################################################
  60
  61 def per_arch_space_use():
  62     session = DBConn().session()
  63     q = session.execute("""
  64 SELECT a.arch_string as Architecture, sum(f.size) AS sum
  65   FROM files f, binaries b, architecture a
  66   WHERE a.id=b.architecture AND f.id=b.file
  67   GROUP BY a.arch_string ORDER BY sum""").fetchall()
  68     for j in q:
  69         print "%-15.15s %s" % (j[0], j[1])
  70     print
  71     q = session.execute("SELECT sum(size) FROM files WHERE filename ~ '.(diff.gz|tar.gz|dsc)$'").fetchall()
  72     print "%-15.15s %s" % ("Source", q[0][0])
  73
  74 ################################################################################
  75
  76 def daily_install_stats():
  77     stats = {}
  78     f = utils.open_file("2001-11")
  79     for line in f.readlines():
  80         split = line.strip().split('|')
  81         program = split[1]
  82         if program != "katie" and program != "process-accepted":
  83             continue
  84         action = split[2]
  85         if action != "installing changes" and action != "installed":
  86             continue
  87         date = split[0][:8]
  88         if not stats.has_key(date):
  89             stats[date] = {}
  90             stats[date]["packages"] = 0
  91             stats[date]["size"] = 0.0
  92         if action == "installing changes":
  93             stats[date]["packages"] += 1
  94         elif action == "installed":
  95             stats[date]["size"] += float(split[5])
  96
  97     dates = stats.keys()
  98     dates.sort()
  99     for date in dates:
 100         packages = stats[date]["packages"]
 101         size = int(stats[date]["size"] / 1024.0 / 1024.0)
 102         print "%s %s %s" % (date, packages, size)
 103
 104 ################################################################################
 105
 106 def longest(list):
 107     longest = 0
 108     for i in list:
 109         l = len(i)
 110         if l > longest:
 111             longest = l
 112     return longest
 113
 114 def suite_sort(a, b):
 115     if Cnf.has_key("Suite::%s::Priority" % (a)):
 116         a_priority = int(Cnf["Suite::%s::Priority" % (a)])
 117     else:
 118         a_priority = 0
 119     if Cnf.has_key("Suite::%s::Priority" % (b)):
 120         b_priority = int(Cnf["Suite::%s::Priority" % (b)])
 121     else:
 122         b_priority = 0
 123     return cmp(a_priority, b_priority)
 124
 125 def output_format(suite):
 126     output_suite = []
 127     for word in suite.split("-"):
 128         output_suite.append(word[0])
 129     return "-".join(output_suite)
 130
 131 def number_of_packages():
 132     arches = {}
 133     arch_ids = {}
 134     suites = {}
 135     suite_ids = {}
 136     d = {}
 137     session = DBConn().session()
 138     # Build up suite mapping
 139     for i in session.query(Suite).all():
 140         suites[i.suite_id] = i.suite_name
 141         suite_ids[i.suite_name] = i.suite_id
 142     # Build up architecture mapping
 143     for i in session.query(Architecture).all():
 144         arches[i.arch_id] = i.arch_string
 145         arch_ids[i.arch_string] = i.arch_id
 146     # Pre-create the dictionary
 147     for suite_id in suites.keys():
 148         d[suite_id] = {}
 149         for arch_id in arches.keys():
 150             d[suite_id][arch_id] = 0
 151     # Get the raw data for binaries
 152     # Simultate 'GROUP by suite, architecture' with a dictionary
 153     # XXX: Why don't we just get the DB to do this?
 154     for i in session.execute("""SELECT suite, architecture, COUNT(suite)
 155                                 FROM bin_associations
 156                            LEFT JOIN binaries ON bin = binaries.id
 157                             GROUP BY suite, architecture""").fetchall():
 158         d[ i[0] ][ i[1] ] = i[2]
 159     # Get the raw data for source
 160     arch_id = arch_ids["source"]
 161     for i in session.execute('SELECT suite, COUNT(suite) FROM src_associations GROUP BY suite').fetchall():
 162         (suite_id, count) = i
 163         d[suite_id][arch_id] = d[suite_id][arch_id] + count
 164     ## Print the results
 165     # Setup
 166     suite_list = suites.values()
 167     suite_list.sort(suite_sort)
 168     suite_id_list = []
 169     suite_arches = {}
 170     for suite in suite_list:
 171         suite_id = suite_ids[suite]
 172         suite_arches[suite_id] = {}
 173         for arch in get_suite_architectures(suite):
 174             suite_arches[suite_id][arch.arch_string] = ""
 175         suite_id_list.append(suite_id)
 176     output_list = [ output_format(i) for i in suite_list ]
 177     longest_suite = longest(output_list)
 178     arch_list = arches.values()
 179     arch_list.sort()
 180     longest_arch = longest(arch_list)
 181     # Header
 182     output = (" "*longest_arch) + " |"
 183     for suite in output_list:
 184         output = output + suite.center(longest_suite)+" |"
 185     output = output + "\n"+(len(output)*"-")+"\n"
 186     # per-arch data
 187     arch_list = arches.values()
 188     arch_list.sort()
 189     longest_arch = longest(arch_list)
 190     for arch in arch_list:
 191         arch_id = arch_ids[arch]
 192         output = output + arch.center(longest_arch)+" |"
 193         for suite_id in suite_id_list:
 194             if suite_arches[suite_id].has_key(arch):
 195                 count = "%d" % d[suite_id][arch_id]
 196             else:
 197                 count = "-"
 198             output = output + count.rjust(longest_suite)+" |"
 199         output = output + "\n"
 200     print output
 201
 202 ################################################################################
 203
 204 def main ():
 205     global Cnf
 206
 207     Cnf = utils.get_conf()
 208     Arguments = [('h',"help","Stats::Options::Help")]
 209     for i in [ "help" ]:
 210         if not Cnf.has_key("Stats::Options::%s" % (i)):
 211             Cnf["Stats::Options::%s" % (i)] = ""
 212
 213     args = apt_pkg.ParseCommandLine(Cnf, Arguments, sys.argv)
 214
 215     Options = Cnf.SubTree("Stats::Options")
 216     if Options["Help"]:
 217         usage()
 218
 219     if len(args) < 1:
 220         utils.warn("dak stats requires a MODE argument")
 221         usage(1)
 222     elif len(args) > 1:
 223         utils.warn("dak stats accepts only one MODE argument")
 224         usage(1)
 225     mode = args[0].lower()
 226
 227     if mode == "arch-space":
 228         per_arch_space_use()
 229     elif mode == "pkg-nums":
 230         number_of_packages()
 231     elif mode == "daily-install":
 232         daily_install_stats()
 233     else:
 234         utils.warn("unknown mode '%s'" % (mode))
 235         usage(1)
 236
 237 ################################################################################
 238
 239 if __name__ == '__main__':
 240     main()