daklib/binary.py

   1 #!/usr/bin/python
   2
   3 """
   4 Functions related debian binary packages
   5
   6 @contact: Debian FTPMaster <ftpmaster@debian.org>
   7 @copyright: 2009  Mike O'Connor <stew@debian.org>
   8 @license: GNU General Public License version 2 or later
   9 """
  10
  11 # This program is free software; you can redistribute it and/or modify
  12 # it under the terms of the GNU General Public License as published by
  13 # the Free Software Foundation; either version 2 of the License, or
  14 # (at your option) any later version.
  15
  16 # This program is distributed in the hope that it will be useful,
  17 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  18 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  19 # GNU General Public License for more details.
  20
  21 # You should have received a copy of the GNU General Public License
  22 # along with this program; if not, write to the Free Software
  23 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  24
  25 ################################################################################
  26
  27 # <Ganneff> are we going the xorg way?
  28 # <Ganneff> a dak without a dak.conf?
  29 # <stew> automatically detect the wrong settings at runtime?
  30 # <Ganneff> yes!
  31 # <mhy> well, we'll probably always need dak.conf (how do you get the database setting
  32 # <mhy> but removing most of the config into the database seems sane
  33 # <Ganneff> mhy: dont spoil the fun
  34 # <Ganneff> mhy: and i know how. we nmap localhost and check all open ports
  35 # <Ganneff> maybe one answers to sql
  36 # <stew> we will discover projectb via avahi
  37 # <mhy> you're both sick
  38 # <mhy> really fucking sick
  39
  40 ################################################################################
  41
  42 import os
  43 import sys
  44 import shutil
  45 import tempfile
  46 import tarfile
  47 import commands
  48 import traceback
  49 import atexit
  50 from debian_bundle import deb822
  51 from dbconn import DBConn
  52 from config import Config
  53 import logging
  54 import utils
  55
  56 class Binary(object):
  57     def __init__(self, filename, reject=None):
  58         """
  59         @ptype filename: string
  60         @param filename: path of a .deb
  61
  62         @ptype reject: function
  63         @param reject: a function to log reject messages to
  64         """
  65         self.filename = filename
  66         self.tmpdir = None
  67         self.chunks = None
  68         self.wrapped_reject = reject
  69
  70     def reject(self, message):
  71         """
  72         if we were given a reject function, send the reject message,
  73         otherwise send it to stderr.
  74         """
  75         if self.wrapped_reject:
  76             self.wrapped_reject(message)
  77         else:
  78             print >> sys.stderr, message
  79
  80     def __del__(self):
  81         """
  82         make sure we cleanup when we are garbage collected.
  83         """
  84         self._cleanup()
  85
  86     def _cleanup(self):
  87         """
  88         we need to remove the temporary directory, if we created one
  89         """
  90         if self.tmpdir and os.path.exists(self.tmpdir):
  91             shutil.rmtree(self.tmpdir)
  92             self.tmpdir = None
  93
  94     def __scan_ar(self):
  95         # get a list of the ar contents
  96         if not self.chunks:
  97
  98             cmd = "ar t %s" % (self.filename)
  99             (result, output) = commands.getstatusoutput(cmd)
 100             if result != 0:
 101                 rejected = True
 102                 self.reject("%s: 'ar t' invocation failed." % (self.filename))
 103                 self.reject(utils.prefix_multi_line_string(output, " [ar output:] "), "")
 104             self.chunks = output.split('\n')
 105
 106
 107
 108     def __unpack(self):
 109         # Internal function which extracts the contents of the .ar to
 110         # a temporary directory
 111
 112         if not self.tmpdir:
 113             tmpdir = utils.temp_dirname()
 114             cwd = os.getcwd()
 115             try:
 116                 os.chdir( tmpdir )
 117                 cmd = "ar x %s %s %s" % (os.path.join(cwd,self.filename), self.chunks[1], self.chunks[2])
 118                 (result, output) = commands.getstatusoutput(cmd)
 119                 if result != 0:
 120                     self.reject("%s: '%s' invocation failed." % (self.filename, cmd))
 121                     self.reject(utils.prefix_multi_line_string(output, " [ar output:] "))
 122                 else:
 123                     self.tmpdir = tmpdir
 124                     atexit.register( self._cleanup )
 125
 126             finally:
 127                 os.chdir( cwd )
 128
 129     def valid_deb(self):
 130         """
 131         Check deb contents making sure the .deb contains:
 132           1. debian-binary
 133           2. control.tar.gz
 134           3. data.tar.gz or data.tar.bz2
 135         in that order, and nothing else.
 136         """
 137         self.__scan_ar()
 138         rejected = not self.chunks
 139         if len(self.chunks) != 3:
 140             rejected = True
 141             self.reject("%s: found %d chunks, expected 3." % (self.filename, len(self.chunks)))
 142         if self.chunks[0] != "debian-binary":
 143             rejected = True
 144             self.reject("%s: first chunk is '%s', expected 'debian-binary'." % (self.filename, self.chunks[0]))
 145         if self.chunks[1] != "control.tar.gz":
 146             rejected = True
 147             self.reject("%s: second chunk is '%s', expected 'control.tar.gz'." % (self.filename, self.chunks[1]))
 148         if self.chunks[2] not in [ "data.tar.bz2", "data.tar.gz" ]:
 149             rejected = True
 150             self.reject("%s: third chunk is '%s', expected 'data.tar.gz' or 'data.tar.bz2'." % (self.filename, self.chunks[2]))
 151
 152         return not rejected
 153
 154     def scan_package(self, bootstrap_id=0):
 155         """
 156         Unpack the .deb, do sanity checking, and gather info from it.
 157
 158         Currently information gathering consists of getting the contents list. In
 159         the hopefully near future, it should also include gathering info from the
 160         control file.
 161
 162         @ptype bootstrap_id: int
 163         @param bootstrap_id: the id of the binary these packages
 164           should be associated or zero meaning we are not bootstrapping
 165           so insert into a temporary table
 166
 167         @return True if the deb is valid and contents were imported
 168         """
 169         rejected = not self.valid_deb()
 170         self.__unpack()
 171
 172         result = False
 173
 174         cwd = os.getcwd()
 175         if not rejected and self.tmpdir:
 176             try:
 177                 os.chdir(self.tmpdir)
 178                 if self.chunks[1] == "control.tar.gz":
 179                     control = tarfile.open(os.path.join(self.tmpdir, "control.tar.gz" ), "r:gz")
 180                     control.extract('./control', self.tmpdir )
 181                 if self.chunks[2] == "data.tar.gz":
 182                     data = tarfile.open(os.path.join(self.tmpdir, "data.tar.gz"), "r:gz")
 183                 elif self.chunks[2] == "data.tar.bz2":
 184                     data = tarfile.open(os.path.join(self.tmpdir, "data.tar.bz2" ), "r:bz2")
 185
 186                 if bootstrap_id:
 187                     result = DBConn().insert_content_paths(bootstrap_id, [tarinfo.name for tarinfo in data if not tarinfo.isdir()])
 188                 else:
 189                     pkg = deb822.Packages.iter_paragraphs(file(os.path.join(self.tmpdir,'control'))).next()
 190                     result = DBConn().insert_pending_content_paths(pkg, [tarinfo.name for tarinfo in data if not tarinfo.isdir()])
 191
 192             except:
 193                 traceback.print_exc()
 194
 195         os.chdir(cwd)
 196         return result
 197
 198     def check_utf8_package(self, package):
 199         """
 200         Unpack the .deb, do sanity checking, and gather info from it.
 201
 202         Currently information gathering consists of getting the contents list. In
 203         the hopefully near future, it should also include gathering info from the
 204         control file.
 205
 206         @ptype bootstrap_id: int
 207         @param bootstrap_id: the id of the binary these packages
 208           should be associated or zero meaning we are not bootstrapping
 209           so insert into a temporary table
 210
 211         @return True if the deb is valid and contents were imported
 212         """
 213         rejected = not self.valid_deb()
 214         self.__unpack()
 215
 216         if not rejected and self.tmpdir:
 217             cwd = os.getcwd()
 218             try:
 219                 os.chdir(self.tmpdir)
 220                 if self.chunks[1] == "control.tar.gz":
 221                     control = tarfile.open(os.path.join(self.tmpdir, "control.tar.gz" ), "r:gz")
 222                     control.extract('control', self.tmpdir )
 223                 if self.chunks[2] == "data.tar.gz":
 224                     data = tarfile.open(os.path.join(self.tmpdir, "data.tar.gz"), "r:gz")
 225                 elif self.chunks[2] == "data.tar.bz2":
 226                     data = tarfile.open(os.path.join(self.tmpdir, "data.tar.bz2" ), "r:bz2")
 227
 228                 for tarinfo in data:
 229                     try:
 230                         unicode( tarinfo.name )
 231                     except:
 232                         print >> sys.stderr, "E: %s has non-unicode filename: %s" % (package,tarinfo.name)
 233
 234             except:
 235                 traceback.print_exc()
 236                 result = False
 237
 238             os.chdir(cwd)
 239
 240 if __name__ == "__main__":
 241     Binary( "/srv/ftp.debian.org/queue/accepted/halevt_0.1.3-2_amd64.deb" ).scan_package()
 242