]> git.decadent.org.uk Git - dak.git/blob - daklib/utils.py
silent map first
[dak.git] / daklib / utils.py
1 #!/usr/bin/env python
2 # vim:set et ts=4 sw=4:
3
4 """Utility functions
5
6 @contact: Debian FTP Master <ftpmaster@debian.org>
7 @copyright: 2000, 2001, 2002, 2003, 2004, 2005, 2006  James Troup <james@nocrew.org>
8 @license: GNU General Public License version 2 or later
9 """
10
11 # This program is free software; you can redistribute it and/or modify
12 # it under the terms of the GNU General Public License as published by
13 # the Free Software Foundation; either version 2 of the License, or
14 # (at your option) any later version.
15
16 # This program is distributed in the hope that it will be useful,
17 # but WITHOUT ANY WARRANTY; without even the implied warranty of
18 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
19 # GNU General Public License for more details.
20
21 # You should have received a copy of the GNU General Public License
22 # along with this program; if not, write to the Free Software
23 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
24
25 import commands
26 import email.Header
27 import os
28 import pwd
29 import select
30 import socket
31 import shutil
32 import sys
33 import tempfile
34 import traceback
35 import stat
36 import apt_pkg
37 import time
38 import re
39 import email as modemail
40 import subprocess
41
42 from dbconn import DBConn, get_architecture, get_component, get_suite
43 from dak_exceptions import *
44 from textutils import fix_maintainer
45 from regexes import re_html_escaping, html_escaping, re_single_line_field, \
46                     re_multi_line_field, re_srchasver, re_taint_free, \
47                     re_gpg_uid, re_re_mark, re_whitespace_comment, re_issource, \
48                     re_is_orig_source
49
50 from formats import parse_format, validate_changes_format
51 from srcformats import get_format_from_string
52 from collections import defaultdict
53
54 ################################################################################
55
56 default_config = "/etc/dak/dak.conf"     #: default dak config, defines host properties
57 default_apt_config = "/etc/dak/apt.conf" #: default apt config, not normally used
58
59 alias_cache = None        #: Cache for email alias checks
60 key_uid_email_cache = {}  #: Cache for email addresses from gpg key uids
61
62 # (hashname, function, earliest_changes_version)
63 known_hashes = [("sha1", apt_pkg.sha1sum, (1, 8)),
64                 ("sha256", apt_pkg.sha256sum, (1, 8))] #: hashes we accept for entries in .changes/.dsc
65
66 # Monkeypatch commands.getstatusoutput as it may not return the correct exit
67 # code in lenny's Python. This also affects commands.getoutput and
68 # commands.getstatus.
69 def dak_getstatusoutput(cmd):
70     pipe = subprocess.Popen(cmd, shell=True, universal_newlines=True,
71         stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
72
73     output = pipe.stdout.read()
74
75     pipe.wait()
76
77     if output[-1:] == '\n':
78         output = output[:-1]
79
80     ret = pipe.wait()
81     if ret is None:
82         ret = 0
83
84     return ret, output
85 commands.getstatusoutput = dak_getstatusoutput
86
87 ################################################################################
88
89 def html_escape(s):
90     """ Escape html chars """
91     return re_html_escaping.sub(lambda x: html_escaping.get(x.group(0)), s)
92
93 ################################################################################
94
95 def open_file(filename, mode='r'):
96     """
97     Open C{file}, return fileobject.
98
99     @type filename: string
100     @param filename: path/filename to open
101
102     @type mode: string
103     @param mode: open mode
104
105     @rtype: fileobject
106     @return: open fileobject
107
108     @raise CantOpenError: If IOError is raised by open, reraise it as CantOpenError.
109
110     """
111     try:
112         f = open(filename, mode)
113     except IOError:
114         raise CantOpenError, filename
115     return f
116
117 ################################################################################
118
119 def our_raw_input(prompt=""):
120     if prompt:
121         while 1:
122             try:
123                 sys.stdout.write(prompt)
124                 break
125             except IOError:
126                 pass
127     sys.stdout.flush()
128     try:
129         ret = raw_input()
130         return ret
131     except EOFError:
132         sys.stderr.write("\nUser interrupt (^D).\n")
133         raise SystemExit
134
135 ################################################################################
136
137 def extract_component_from_section(section):
138     component = ""
139
140     if section.find('/') != -1:
141         component = section.split('/')[0]
142
143     # Expand default component
144     if component == "":
145         if Cnf.has_key("Component::%s" % section):
146             component = section
147         else:
148             component = "main"
149
150     return (section, component)
151
152 ################################################################################
153
154 def parse_deb822(contents, signing_rules=0):
155     error = ""
156     changes = {}
157
158     # Split the lines in the input, keeping the linebreaks.
159     lines = contents.splitlines(True)
160
161     if len(lines) == 0:
162         raise ParseChangesError, "[Empty changes file]"
163
164     # Reindex by line number so we can easily verify the format of
165     # .dsc files...
166     index = 0
167     indexed_lines = {}
168     for line in lines:
169         index += 1
170         indexed_lines[index] = line[:-1]
171
172     inside_signature = 0
173
174     num_of_lines = len(indexed_lines.keys())
175     index = 0
176     first = -1
177     while index < num_of_lines:
178         index += 1
179         line = indexed_lines[index]
180         if line == "":
181             if signing_rules == 1:
182                 index += 1
183                 if index > num_of_lines:
184                     raise InvalidDscError, index
185                 line = indexed_lines[index]
186                 if not line.startswith("-----BEGIN PGP SIGNATURE"):
187                     raise InvalidDscError, index
188                 inside_signature = 0
189                 break
190             else:
191                 continue
192         if line.startswith("-----BEGIN PGP SIGNATURE"):
193             break
194         if line.startswith("-----BEGIN PGP SIGNED MESSAGE"):
195             inside_signature = 1
196             if signing_rules == 1:
197                 while index < num_of_lines and line != "":
198                     index += 1
199                     line = indexed_lines[index]
200             continue
201         # If we're not inside the signed data, don't process anything
202         if signing_rules >= 0 and not inside_signature:
203             continue
204         slf = re_single_line_field.match(line)
205         if slf:
206             field = slf.groups()[0].lower()
207             changes[field] = slf.groups()[1]
208             first = 1
209             continue
210         if line == " .":
211             changes[field] += '\n'
212             continue
213         mlf = re_multi_line_field.match(line)
214         if mlf:
215             if first == -1:
216                 raise ParseChangesError, "'%s'\n [Multi-line field continuing on from nothing?]" % (line)
217             if first == 1 and changes[field] != "":
218                 changes[field] += '\n'
219             first = 0
220             changes[field] += mlf.groups()[0] + '\n'
221             continue
222         error += line
223
224     if signing_rules == 1 and inside_signature:
225         raise InvalidDscError, index
226
227     changes["filecontents"] = "".join(lines)
228
229     if changes.has_key("source"):
230         # Strip the source version in brackets from the source field,
231         # put it in the "source-version" field instead.
232         srcver = re_srchasver.search(changes["source"])
233         if srcver:
234             changes["source"] = srcver.group(1)
235             changes["source-version"] = srcver.group(2)
236
237     if error:
238         raise ParseChangesError, error
239
240     return changes
241
242 ################################################################################
243
244 def parse_changes(filename, signing_rules=0, dsc_file=0):
245     """
246     Parses a changes file and returns a dictionary where each field is a
247     key.  The mandatory first argument is the filename of the .changes
248     file.
249
250     signing_rules is an optional argument:
251
252       - If signing_rules == -1, no signature is required.
253       - If signing_rules == 0 (the default), a signature is required.
254       - If signing_rules == 1, it turns on the same strict format checking
255         as dpkg-source.
256
257     The rules for (signing_rules == 1)-mode are:
258
259       - The PGP header consists of "-----BEGIN PGP SIGNED MESSAGE-----"
260         followed by any PGP header data and must end with a blank line.
261
262       - The data section must end with a blank line and must be followed by
263         "-----BEGIN PGP SIGNATURE-----".
264     """
265
266     changes_in = open_file(filename)
267     content = changes_in.read()
268     changes_in.close()
269     try:
270         unicode(content, 'utf-8')
271     except UnicodeError:
272         raise ChangesUnicodeError, "Changes file not proper utf-8"
273     changes = parse_deb822(content, signing_rules)
274
275
276     if not dsc_file:
277         # Finally ensure that everything needed for .changes is there
278         must_keywords = ('Format', 'Date', 'Source', 'Binary', 'Architecture', 'Version',
279                          'Distribution', 'Maintainer', 'Description', 'Changes', 'Files')
280
281         missingfields=[]
282         for keyword in must_keywords:
283             if not changes.has_key(keyword.lower()):
284                 missingfields.append(keyword)
285
286                 if len(missingfields):
287                     raise ParseChangesError, "Missing mandantory field(s) in changes file (policy 5.5): %s" % (missingfields)
288
289     return changes
290
291 ################################################################################
292
293 def hash_key(hashname):
294     return '%ssum' % hashname
295
296 ################################################################################
297
298 def create_hash(where, files, hashname, hashfunc):
299     """
300     create_hash extends the passed files dict with the given hash by
301     iterating over all files on disk and passing them to the hashing
302     function given.
303     """
304
305     rejmsg = []
306     for f in files.keys():
307         try:
308             file_handle = open_file(f)
309         except CantOpenError:
310             rejmsg.append("Could not open file %s for checksumming" % (f))
311             continue
312
313         files[f][hash_key(hashname)] = hashfunc(file_handle)
314
315         file_handle.close()
316     return rejmsg
317
318 ################################################################################
319
320 def check_hash(where, files, hashname, hashfunc):
321     """
322     check_hash checks the given hash in the files dict against the actual
323     files on disk.  The hash values need to be present consistently in
324     all file entries.  It does not modify its input in any way.
325     """
326
327     rejmsg = []
328     for f in files.keys():
329         file_handle = None
330         try:
331             try:
332                 file_handle = open_file(f)
333
334                 # Check for the hash entry, to not trigger a KeyError.
335                 if not files[f].has_key(hash_key(hashname)):
336                     rejmsg.append("%s: misses %s checksum in %s" % (f, hashname,
337                         where))
338                     continue
339
340                 # Actually check the hash for correctness.
341                 if hashfunc(file_handle) != files[f][hash_key(hashname)]:
342                     rejmsg.append("%s: %s check failed in %s" % (f, hashname,
343                         where))
344             except CantOpenError:
345                 # TODO: This happens when the file is in the pool.
346                 # warn("Cannot open file %s" % f)
347                 continue
348         finally:
349             if file_handle:
350                 file_handle.close()
351     return rejmsg
352
353 ################################################################################
354
355 def check_size(where, files):
356     """
357     check_size checks the file sizes in the passed files dict against the
358     files on disk.
359     """
360
361     rejmsg = []
362     for f in files.keys():
363         try:
364             entry = os.stat(f)
365         except OSError, exc:
366             if exc.errno == 2:
367                 # TODO: This happens when the file is in the pool.
368                 continue
369             raise
370
371         actual_size = entry[stat.ST_SIZE]
372         size = int(files[f]["size"])
373         if size != actual_size:
374             rejmsg.append("%s: actual file size (%s) does not match size (%s) in %s"
375                    % (f, actual_size, size, where))
376     return rejmsg
377
378 ################################################################################
379
380 def check_dsc_files(dsc_filename, dsc=None, dsc_files=None):
381     """
382     Verify that the files listed in the Files field of the .dsc are
383     those expected given the announced Format.
384
385     @type dsc_filename: string
386     @param dsc_filename: path of .dsc file
387
388     @type dsc: dict
389     @param dsc: the content of the .dsc parsed by C{parse_changes()}
390
391     @type dsc_files: dict
392     @param dsc_files: the file list returned by C{build_file_list()}
393
394     @rtype: list
395     @return: all errors detected
396     """
397     rejmsg = []
398
399     # Parse the file if needed
400     if dsc is None:
401         dsc = parse_changes(dsc_filename, signing_rules=1, dsc_file=1);
402
403     if dsc_files is None:
404         dsc_files = build_file_list(dsc, is_a_dsc=1)
405
406     # Ensure .dsc lists proper set of source files according to the format
407     # announced
408     has = defaultdict(lambda: 0)
409
410     ftype_lookup = (
411         (r'orig.tar.gz',               ('orig_tar_gz', 'orig_tar')),
412         (r'diff.gz',                   ('debian_diff',)),
413         (r'tar.gz',                    ('native_tar_gz', 'native_tar')),
414         (r'debian\.tar\.(gz|bz2)',     ('debian_tar',)),
415         (r'orig\.tar\.(gz|bz2)',       ('orig_tar',)),
416         (r'tar\.(gz|bz2)',             ('native_tar',)),
417         (r'orig-.+\.tar\.(gz|bz2)',    ('more_orig_tar',)),
418     )
419
420     for f in dsc_files.keys():
421         m = re_issource.match(f)
422         if not m:
423             rejmsg.append("%s: %s in Files field not recognised as source."
424                           % (dsc_filename, f))
425             continue
426
427         # Populate 'has' dictionary by resolving keys in lookup table
428         matched = False
429         for regex, keys in ftype_lookup:
430             if re.match(regex, m.group(3)):
431                 matched = True
432                 for key in keys:
433                     has[key] += 1
434                 break
435
436         # File does not match anything in lookup table; reject
437         if not matched:
438             reject("%s: unexpected source file '%s'" % (dsc_filename, f))
439
440     # Check for multiple files
441     for file_type in ('orig_tar', 'native_tar', 'debian_tar', 'debian_diff'):
442         if has[file_type] > 1:
443             rejmsg.append("%s: lists multiple %s" % (dsc_filename, file_type))
444
445     # Source format specific tests
446     try:
447         format = get_format_from_string(dsc['format'])
448         rejmsg.extend([
449             '%s: %s' % (dsc_filename, x) for x in format.reject_msgs(has)
450         ])
451
452     except UnknownFormatError:
453         # Not an error here for now
454         pass
455
456     return rejmsg
457
458 ################################################################################
459
460 def check_hash_fields(what, manifest):
461     """
462     check_hash_fields ensures that there are no checksum fields in the
463     given dict that we do not know about.
464     """
465
466     rejmsg = []
467     hashes = map(lambda x: x[0], known_hashes)
468     for field in manifest:
469         if field.startswith("checksums-"):
470             hashname = field.split("-",1)[1]
471             if hashname not in hashes:
472                 rejmsg.append("Unsupported checksum field for %s "\
473                     "in %s" % (hashname, what))
474     return rejmsg
475
476 ################################################################################
477
478 def _ensure_changes_hash(changes, format, version, files, hashname, hashfunc):
479     if format >= version:
480         # The version should contain the specified hash.
481         func = check_hash
482
483         # Import hashes from the changes
484         rejmsg = parse_checksums(".changes", files, changes, hashname)
485         if len(rejmsg) > 0:
486             return rejmsg
487     else:
488         # We need to calculate the hash because it can't possibly
489         # be in the file.
490         func = create_hash
491     return func(".changes", files, hashname, hashfunc)
492
493 # We could add the orig which might be in the pool to the files dict to
494 # access the checksums easily.
495
496 def _ensure_dsc_hash(dsc, dsc_files, hashname, hashfunc):
497     """
498     ensure_dsc_hashes' task is to ensure that each and every *present* hash
499     in the dsc is correct, i.e. identical to the changes file and if necessary
500     the pool.  The latter task is delegated to check_hash.
501     """
502
503     rejmsg = []
504     if not dsc.has_key('Checksums-%s' % (hashname,)):
505         return rejmsg
506     # Import hashes from the dsc
507     parse_checksums(".dsc", dsc_files, dsc, hashname)
508     # And check it...
509     rejmsg.extend(check_hash(".dsc", dsc_files, hashname, hashfunc))
510     return rejmsg
511
512 ################################################################################
513
514 def parse_checksums(where, files, manifest, hashname):
515     rejmsg = []
516     field = 'checksums-%s' % hashname
517     if not field in manifest:
518         return rejmsg
519     for line in manifest[field].split('\n'):
520         if not line:
521             break
522         clist = line.strip().split(' ')
523         if len(clist) == 3:
524             checksum, size, checkfile = clist
525         else:
526             rejmsg.append("Cannot parse checksum line [%s]" % (line))
527             continue
528         if not files.has_key(checkfile):
529         # TODO: check for the file's entry in the original files dict, not
530         # the one modified by (auto)byhand and other weird stuff
531         #    rejmsg.append("%s: not present in files but in checksums-%s in %s" %
532         #        (file, hashname, where))
533             continue
534         if not files[checkfile]["size"] == size:
535             rejmsg.append("%s: size differs for files and checksums-%s entry "\
536                 "in %s" % (checkfile, hashname, where))
537             continue
538         files[checkfile][hash_key(hashname)] = checksum
539     for f in files.keys():
540         if not files[f].has_key(hash_key(hashname)):
541             rejmsg.append("%s: no entry in checksums-%s in %s" % (checkfile,
542                 hashname, where))
543     return rejmsg
544
545 ################################################################################
546
547 # Dropped support for 1.4 and ``buggy dchanges 3.4'' (?!) compared to di.pl
548
549 def build_file_list(changes, is_a_dsc=0, field="files", hashname="md5sum"):
550     files = {}
551
552     # Make sure we have a Files: field to parse...
553     if not changes.has_key(field):
554         raise NoFilesFieldError
555
556     # Validate .changes Format: field
557     if not is_a_dsc:
558         validate_changes_format(parse_format(changes['format']), field)
559
560     includes_section = (not is_a_dsc) and field == "files"
561
562     # Parse each entry/line:
563     for i in changes[field].split('\n'):
564         if not i:
565             break
566         s = i.split()
567         section = priority = ""
568         try:
569             if includes_section:
570                 (md5, size, section, priority, name) = s
571             else:
572                 (md5, size, name) = s
573         except ValueError:
574             raise ParseChangesError, i
575
576         if section == "":
577             section = "-"
578         if priority == "":
579             priority = "-"
580
581         (section, component) = extract_component_from_section(section)
582
583         files[name] = dict(size=size, section=section,
584                            priority=priority, component=component)
585         files[name][hashname] = md5
586
587     return files
588
589 ################################################################################
590
591 def send_mail (message, filename=""):
592     """sendmail wrapper, takes _either_ a message string or a file as arguments"""
593
594     # Check whether we're supposed to be sending mail
595     if Cnf.has_key("Dinstall::Options::No-Mail") and Cnf["Dinstall::Options::No-Mail"]:
596         return
597
598     # If we've been passed a string dump it into a temporary file
599     if message:
600         (fd, filename) = tempfile.mkstemp()
601         os.write (fd, message)
602         os.close (fd)
603
604     if Cnf.has_key("Dinstall::MailWhiteList") and \
605            Cnf["Dinstall::MailWhiteList"] != "":
606         message_in = open_file(filename)
607         message_raw = modemail.message_from_file(message_in)
608         message_in.close();
609
610         whitelist = [];
611         whitelist_in = open_file(Cnf["Dinstall::MailWhiteList"])
612         try:
613             for line in whitelist_in:
614                 if not re_whitespace_comment.match(line):
615                     if re_re_mark.match(line):
616                         whitelist.append(re.compile(re_re_mark.sub("", line.strip(), 1)))
617                     else:
618                         whitelist.append(re.compile(re.escape(line.strip())))
619         finally:
620             whitelist_in.close()
621
622         # Fields to check.
623         fields = ["To", "Bcc", "Cc"]
624         for field in fields:
625             # Check each field
626             value = message_raw.get(field, None)
627             if value != None:
628                 match = [];
629                 for item in value.split(","):
630                     (rfc822_maint, rfc2047_maint, name, email) = fix_maintainer(item.strip())
631                     mail_whitelisted = 0
632                     for wr in whitelist:
633                         if wr.match(email):
634                             mail_whitelisted = 1
635                             break
636                     if not mail_whitelisted:
637                         print "Skipping %s since it's not in %s" % (item, Cnf["Dinstall::MailWhiteList"])
638                         continue
639                     match.append(item)
640
641                 # Doesn't have any mail in whitelist so remove the header
642                 if len(match) == 0:
643                     del message_raw[field]
644                 else:
645                     message_raw.replace_header(field, ', '.join(match))
646
647         # Change message fields in order if we don't have a To header
648         if not message_raw.has_key("To"):
649             fields.reverse()
650             for field in fields:
651                 if message_raw.has_key(field):
652                     message_raw[fields[-1]] = message_raw[field]
653                     del message_raw[field]
654                     break
655             else:
656                 # Clean up any temporary files
657                 # and return, as we removed all recipients.
658                 if message:
659                     os.unlink (filename);
660                 return;
661
662         fd = os.open(filename, os.O_RDWR|os.O_EXCL, 0700);
663         os.write (fd, message_raw.as_string(True));
664         os.close (fd);
665
666     # Invoke sendmail
667     (result, output) = commands.getstatusoutput("%s < %s" % (Cnf["Dinstall::SendmailCommand"], filename))
668     if (result != 0):
669         raise SendmailFailedError, output
670
671     # Clean up any temporary files
672     if message:
673         os.unlink (filename)
674
675 ################################################################################
676
677 def poolify (source, component):
678     if component:
679         component += '/'
680     if source[:3] == "lib":
681         return component + source[:4] + '/' + source + '/'
682     else:
683         return component + source[:1] + '/' + source + '/'
684
685 ################################################################################
686
687 def move (src, dest, overwrite = 0, perms = 0664):
688     if os.path.exists(dest) and os.path.isdir(dest):
689         dest_dir = dest
690     else:
691         dest_dir = os.path.dirname(dest)
692     if not os.path.exists(dest_dir):
693         umask = os.umask(00000)
694         os.makedirs(dest_dir, 02775)
695         os.umask(umask)
696     #print "Moving %s to %s..." % (src, dest)
697     if os.path.exists(dest) and os.path.isdir(dest):
698         dest += '/' + os.path.basename(src)
699     # Don't overwrite unless forced to
700     if os.path.exists(dest):
701         if not overwrite:
702             fubar("Can't move %s to %s - file already exists." % (src, dest))
703         else:
704             if not os.access(dest, os.W_OK):
705                 fubar("Can't move %s to %s - can't write to existing file." % (src, dest))
706     shutil.copy2(src, dest)
707     os.chmod(dest, perms)
708     os.unlink(src)
709
710 def copy (src, dest, overwrite = 0, perms = 0664):
711     if os.path.exists(dest) and os.path.isdir(dest):
712         dest_dir = dest
713     else:
714         dest_dir = os.path.dirname(dest)
715     if not os.path.exists(dest_dir):
716         umask = os.umask(00000)
717         os.makedirs(dest_dir, 02775)
718         os.umask(umask)
719     #print "Copying %s to %s..." % (src, dest)
720     if os.path.exists(dest) and os.path.isdir(dest):
721         dest += '/' + os.path.basename(src)
722     # Don't overwrite unless forced to
723     if os.path.exists(dest):
724         if not overwrite:
725             raise FileExistsError
726         else:
727             if not os.access(dest, os.W_OK):
728                 raise CantOverwriteError
729     shutil.copy2(src, dest)
730     os.chmod(dest, perms)
731
732 ################################################################################
733
734 def where_am_i ():
735     res = socket.getfqdn()
736     database_hostname = Cnf.get("Config::" + res + "::DatabaseHostname")
737     if database_hostname:
738         return database_hostname
739     else:
740         return res
741
742 def which_conf_file ():
743     if os.getenv('DAK_CONFIG'):
744         return os.getenv('DAK_CONFIG')
745
746     res = socket.getfqdn()
747     # In case we allow local config files per user, try if one exists
748     if Cnf.FindB("Config::" + res + "::AllowLocalConfig"):
749         homedir = os.getenv("HOME")
750         confpath = os.path.join(homedir, "/etc/dak.conf")
751         if os.path.exists(confpath):
752             apt_pkg.ReadConfigFileISC(Cnf,default_config)
753
754     # We are still in here, so there is no local config file or we do
755     # not allow local files. Do the normal stuff.
756     if Cnf.get("Config::" + res + "::DakConfig"):
757         return Cnf["Config::" + res + "::DakConfig"]
758
759     return default_config
760
761 def which_apt_conf_file ():
762     res = socket.getfqdn()
763     # In case we allow local config files per user, try if one exists
764     if Cnf.FindB("Config::" + res + "::AllowLocalConfig"):
765         homedir = os.getenv("HOME")
766         confpath = os.path.join(homedir, "/etc/dak.conf")
767         if os.path.exists(confpath):
768             apt_pkg.ReadConfigFileISC(Cnf,default_config)
769
770     if Cnf.get("Config::" + res + "::AptConfig"):
771         return Cnf["Config::" + res + "::AptConfig"]
772     else:
773         return default_apt_config
774
775 def which_alias_file():
776     hostname = socket.getfqdn()
777     aliasfn = '/var/lib/misc/'+hostname+'/forward-alias'
778     if os.path.exists(aliasfn):
779         return aliasfn
780     else:
781         return None
782
783 ################################################################################
784
785 def TemplateSubst(subst_map, filename):
786     """ Perform a substition of template """
787     templatefile = open_file(filename)
788     template = templatefile.read()
789     for k, v in subst_map.iteritems():
790         template = template.replace(k, str(v))
791     templatefile.close()
792     return template
793
794 ################################################################################
795
796 def fubar(msg, exit_code=1):
797     sys.stderr.write("E: %s\n" % (msg))
798     sys.exit(exit_code)
799
800 def warn(msg):
801     sys.stderr.write("W: %s\n" % (msg))
802
803 ################################################################################
804
805 # Returns the user name with a laughable attempt at rfc822 conformancy
806 # (read: removing stray periods).
807 def whoami ():
808     return pwd.getpwuid(os.getuid())[4].split(',')[0].replace('.', '')
809
810 def getusername ():
811     return pwd.getpwuid(os.getuid())[0]
812
813 ################################################################################
814
815 def size_type (c):
816     t  = " B"
817     if c > 10240:
818         c = c / 1024
819         t = " KB"
820     if c > 10240:
821         c = c / 1024
822         t = " MB"
823     return ("%d%s" % (c, t))
824
825 ################################################################################
826
827 def cc_fix_changes (changes):
828     o = changes.get("architecture", "")
829     if o:
830         del changes["architecture"]
831     changes["architecture"] = {}
832     for j in o.split():
833         changes["architecture"][j] = 1
834
835 def changes_compare (a, b):
836     """ Sort by source name, source version, 'have source', and then by filename """
837     try:
838         a_changes = parse_changes(a)
839     except:
840         return -1
841
842     try:
843         b_changes = parse_changes(b)
844     except:
845         return 1
846
847     cc_fix_changes (a_changes)
848     cc_fix_changes (b_changes)
849
850     # Sort by source name
851     a_source = a_changes.get("source")
852     b_source = b_changes.get("source")
853     q = cmp (a_source, b_source)
854     if q:
855         return q
856
857     # Sort by source version
858     a_version = a_changes.get("version", "0")
859     b_version = b_changes.get("version", "0")
860     q = apt_pkg.VersionCompare(a_version, b_version)
861     if q:
862         return q
863
864     # Sort by 'have source'
865     a_has_source = a_changes["architecture"].get("source")
866     b_has_source = b_changes["architecture"].get("source")
867     if a_has_source and not b_has_source:
868         return -1
869     elif b_has_source and not a_has_source:
870         return 1
871
872     # Fall back to sort by filename
873     return cmp(a, b)
874
875 ################################################################################
876
877 def find_next_free (dest, too_many=100):
878     extra = 0
879     orig_dest = dest
880     while os.path.exists(dest) and extra < too_many:
881         dest = orig_dest + '.' + repr(extra)
882         extra += 1
883     if extra >= too_many:
884         raise NoFreeFilenameError
885     return dest
886
887 ################################################################################
888
889 def result_join (original, sep = '\t'):
890     resultlist = []
891     for i in xrange(len(original)):
892         if original[i] == None:
893             resultlist.append("")
894         else:
895             resultlist.append(original[i])
896     return sep.join(resultlist)
897
898 ################################################################################
899
900 def prefix_multi_line_string(str, prefix, include_blank_lines=0):
901     out = ""
902     for line in str.split('\n'):
903         line = line.strip()
904         if line or include_blank_lines:
905             out += "%s%s\n" % (prefix, line)
906     # Strip trailing new line
907     if out:
908         out = out[:-1]
909     return out
910
911 ################################################################################
912
913 def validate_changes_file_arg(filename, require_changes=1):
914     """
915     'filename' is either a .changes or .dak file.  If 'filename' is a
916     .dak file, it's changed to be the corresponding .changes file.  The
917     function then checks if the .changes file a) exists and b) is
918     readable and returns the .changes filename if so.  If there's a
919     problem, the next action depends on the option 'require_changes'
920     argument:
921
922       - If 'require_changes' == -1, errors are ignored and the .changes
923         filename is returned.
924       - If 'require_changes' == 0, a warning is given and 'None' is returned.
925       - If 'require_changes' == 1, a fatal error is raised.
926
927     """
928     error = None
929
930     orig_filename = filename
931     if filename.endswith(".dak"):
932         filename = filename[:-4]+".changes"
933
934     if not filename.endswith(".changes"):
935         error = "invalid file type; not a changes file"
936     else:
937         if not os.access(filename,os.R_OK):
938             if os.path.exists(filename):
939                 error = "permission denied"
940             else:
941                 error = "file not found"
942
943     if error:
944         if require_changes == 1:
945             fubar("%s: %s." % (orig_filename, error))
946         elif require_changes == 0:
947             warn("Skipping %s - %s" % (orig_filename, error))
948             return None
949         else: # We only care about the .dak file
950             return filename
951     else:
952         return filename
953
954 ################################################################################
955
956 def real_arch(arch):
957     return (arch != "source" and arch != "all")
958
959 ################################################################################
960
961 def join_with_commas_and(list):
962     if len(list) == 0: return "nothing"
963     if len(list) == 1: return list[0]
964     return ", ".join(list[:-1]) + " and " + list[-1]
965
966 ################################################################################
967
968 def pp_deps (deps):
969     pp_deps = []
970     for atom in deps:
971         (pkg, version, constraint) = atom
972         if constraint:
973             pp_dep = "%s (%s %s)" % (pkg, constraint, version)
974         else:
975             pp_dep = pkg
976         pp_deps.append(pp_dep)
977     return " |".join(pp_deps)
978
979 ################################################################################
980
981 def get_conf():
982     return Cnf
983
984 ################################################################################
985
986 def parse_args(Options):
987     """ Handle -a, -c and -s arguments; returns them as SQL constraints """
988     # XXX: This should go away and everything which calls it be converted
989     #      to use SQLA properly.  For now, we'll just fix it not to use
990     #      the old Pg interface though
991     session = DBConn().session()
992     # Process suite
993     if Options["Suite"]:
994         suite_ids_list = []
995         for suitename in split_args(Options["Suite"]):
996             suite = get_suite(suitename, session=session)
997             if suite.suite_id is None:
998                 warn("suite '%s' not recognised." % (suite.suite_name))
999             else:
1000                 suite_ids_list.append(suite.suite_id)
1001         if suite_ids_list:
1002             con_suites = "AND su.id IN (%s)" % ", ".join([ str(i) for i in suite_ids_list ])
1003         else:
1004             fubar("No valid suite given.")
1005     else:
1006         con_suites = ""
1007
1008     # Process component
1009     if Options["Component"]:
1010         component_ids_list = []
1011         for componentname in split_args(Options["Component"]):
1012             component = get_component(componentname, session=session)
1013             if component is None:
1014                 warn("component '%s' not recognised." % (componentname))
1015             else:
1016                 component_ids_list.append(component.component_id)
1017         if component_ids_list:
1018             con_components = "AND c.id IN (%s)" % ", ".join([ str(i) for i in component_ids_list ])
1019         else:
1020             fubar("No valid component given.")
1021     else:
1022         con_components = ""
1023
1024     # Process architecture
1025     con_architectures = ""
1026     check_source = 0
1027     if Options["Architecture"]:
1028         arch_ids_list = []
1029         for archname in split_args(Options["Architecture"]):
1030             if archname == "source":
1031                 check_source = 1
1032             else:
1033                 arch = get_architecture(archname, session=session)
1034                 if arch is None:
1035                     warn("architecture '%s' not recognised." % (archname))
1036                 else:
1037                     arch_ids_list.append(arch.arch_id)
1038         if arch_ids_list:
1039             con_architectures = "AND a.id IN (%s)" % ", ".join([ str(i) for i in arch_ids_list ])
1040         else:
1041             if not check_source:
1042                 fubar("No valid architecture given.")
1043     else:
1044         check_source = 1
1045
1046     return (con_suites, con_architectures, con_components, check_source)
1047
1048 ################################################################################
1049
1050 # Inspired(tm) by Bryn Keller's print_exc_plus (See
1051 # http://aspn.activestate.com/ASPN/Cookbook/Python/Recipe/52215)
1052
1053 def print_exc():
1054     tb = sys.exc_info()[2]
1055     while tb.tb_next:
1056         tb = tb.tb_next
1057     stack = []
1058     frame = tb.tb_frame
1059     while frame:
1060         stack.append(frame)
1061         frame = frame.f_back
1062     stack.reverse()
1063     traceback.print_exc()
1064     for frame in stack:
1065         print "\nFrame %s in %s at line %s" % (frame.f_code.co_name,
1066                                              frame.f_code.co_filename,
1067                                              frame.f_lineno)
1068         for key, value in frame.f_locals.items():
1069             print "\t%20s = " % key,
1070             try:
1071                 print value
1072             except:
1073                 print "<unable to print>"
1074
1075 ################################################################################
1076
1077 def try_with_debug(function):
1078     try:
1079         function()
1080     except SystemExit:
1081         raise
1082     except:
1083         print_exc()
1084
1085 ################################################################################
1086
1087 def arch_compare_sw (a, b):
1088     """
1089     Function for use in sorting lists of architectures.
1090
1091     Sorts normally except that 'source' dominates all others.
1092     """
1093
1094     if a == "source" and b == "source":
1095         return 0
1096     elif a == "source":
1097         return -1
1098     elif b == "source":
1099         return 1
1100
1101     return cmp (a, b)
1102
1103 ################################################################################
1104
1105 def split_args (s, dwim=1):
1106     """
1107     Split command line arguments which can be separated by either commas
1108     or whitespace.  If dwim is set, it will complain about string ending
1109     in comma since this usually means someone did 'dak ls -a i386, m68k
1110     foo' or something and the inevitable confusion resulting from 'm68k'
1111     being treated as an argument is undesirable.
1112     """
1113
1114     if s.find(",") == -1:
1115         return s.split()
1116     else:
1117         if s[-1:] == "," and dwim:
1118             fubar("split_args: found trailing comma, spurious space maybe?")
1119         return s.split(",")
1120
1121 ################################################################################
1122
1123 def gpgv_get_status_output(cmd, status_read, status_write):
1124     """
1125     Our very own version of commands.getouputstatus(), hacked to support
1126     gpgv's status fd.
1127     """
1128
1129     cmd = ['/bin/sh', '-c', cmd]
1130     p2cread, p2cwrite = os.pipe()
1131     c2pread, c2pwrite = os.pipe()
1132     errout, errin = os.pipe()
1133     pid = os.fork()
1134     if pid == 0:
1135         # Child
1136         os.close(0)
1137         os.close(1)
1138         os.dup(p2cread)
1139         os.dup(c2pwrite)
1140         os.close(2)
1141         os.dup(errin)
1142         for i in range(3, 256):
1143             if i != status_write:
1144                 try:
1145                     os.close(i)
1146                 except:
1147                     pass
1148         try:
1149             os.execvp(cmd[0], cmd)
1150         finally:
1151             os._exit(1)
1152
1153     # Parent
1154     os.close(p2cread)
1155     os.dup2(c2pread, c2pwrite)
1156     os.dup2(errout, errin)
1157
1158     output = status = ""
1159     while 1:
1160         i, o, e = select.select([c2pwrite, errin, status_read], [], [])
1161         more_data = []
1162         for fd in i:
1163             r = os.read(fd, 8196)
1164             if len(r) > 0:
1165                 more_data.append(fd)
1166                 if fd == c2pwrite or fd == errin:
1167                     output += r
1168                 elif fd == status_read:
1169                     status += r
1170                 else:
1171                     fubar("Unexpected file descriptor [%s] returned from select\n" % (fd))
1172         if not more_data:
1173             pid, exit_status = os.waitpid(pid, 0)
1174             try:
1175                 os.close(status_write)
1176                 os.close(status_read)
1177                 os.close(c2pread)
1178                 os.close(c2pwrite)
1179                 os.close(p2cwrite)
1180                 os.close(errin)
1181                 os.close(errout)
1182             except:
1183                 pass
1184             break
1185
1186     return output, status, exit_status
1187
1188 ################################################################################
1189
1190 def process_gpgv_output(status):
1191     # Process the status-fd output
1192     keywords = {}
1193     internal_error = ""
1194     for line in status.split('\n'):
1195         line = line.strip()
1196         if line == "":
1197             continue
1198         split = line.split()
1199         if len(split) < 2:
1200             internal_error += "gpgv status line is malformed (< 2 atoms) ['%s'].\n" % (line)
1201             continue
1202         (gnupg, keyword) = split[:2]
1203         if gnupg != "[GNUPG:]":
1204             internal_error += "gpgv status line is malformed (incorrect prefix '%s').\n" % (gnupg)
1205             continue
1206         args = split[2:]
1207         if keywords.has_key(keyword) and keyword not in [ "NODATA", "SIGEXPIRED", "KEYEXPIRED" ]:
1208             internal_error += "found duplicate status token ('%s').\n" % (keyword)
1209             continue
1210         else:
1211             keywords[keyword] = args
1212
1213     return (keywords, internal_error)
1214
1215 ################################################################################
1216
1217 def retrieve_key (filename, keyserver=None, keyring=None):
1218     """
1219     Retrieve the key that signed 'filename' from 'keyserver' and
1220     add it to 'keyring'.  Returns nothing on success, or an error message
1221     on error.
1222     """
1223
1224     # Defaults for keyserver and keyring
1225     if not keyserver:
1226         keyserver = Cnf["Dinstall::KeyServer"]
1227     if not keyring:
1228         keyring = Cnf.ValueList("Dinstall::GPGKeyring")[0]
1229
1230     # Ensure the filename contains no shell meta-characters or other badness
1231     if not re_taint_free.match(filename):
1232         return "%s: tainted filename" % (filename)
1233
1234     # Invoke gpgv on the file
1235     status_read, status_write = os.pipe()
1236     cmd = "gpgv --status-fd %s --keyring /dev/null %s" % (status_write, filename)
1237     (_, status, _) = gpgv_get_status_output(cmd, status_read, status_write)
1238
1239     # Process the status-fd output
1240     (keywords, internal_error) = process_gpgv_output(status)
1241     if internal_error:
1242         return internal_error
1243
1244     if not keywords.has_key("NO_PUBKEY"):
1245         return "didn't find expected NO_PUBKEY in gpgv status-fd output"
1246
1247     fingerprint = keywords["NO_PUBKEY"][0]
1248     # XXX - gpg sucks.  You can't use --secret-keyring=/dev/null as
1249     # it'll try to create a lockfile in /dev.  A better solution might
1250     # be a tempfile or something.
1251     cmd = "gpg --no-default-keyring --secret-keyring=%s --no-options" \
1252           % (Cnf["Dinstall::SigningKeyring"])
1253     cmd += " --keyring %s --keyserver %s --recv-key %s" \
1254            % (keyring, keyserver, fingerprint)
1255     (result, output) = commands.getstatusoutput(cmd)
1256     if (result != 0):
1257         return "'%s' failed with exit code %s" % (cmd, result)
1258
1259     return ""
1260
1261 ################################################################################
1262
1263 def gpg_keyring_args(keyrings=None):
1264     if not keyrings:
1265         keyrings = Cnf.ValueList("Dinstall::GPGKeyring")
1266
1267     return " ".join(["--keyring %s" % x for x in keyrings])
1268
1269 ################################################################################
1270
1271 def check_signature (sig_filename, data_filename="", keyrings=None, autofetch=None):
1272     """
1273     Check the signature of a file and return the fingerprint if the
1274     signature is valid or 'None' if it's not.  The first argument is the
1275     filename whose signature should be checked.  The second argument is a
1276     reject function and is called when an error is found.  The reject()
1277     function must allow for two arguments: the first is the error message,
1278     the second is an optional prefix string.  It's possible for reject()
1279     to be called more than once during an invocation of check_signature().
1280     The third argument is optional and is the name of the files the
1281     detached signature applies to.  The fourth argument is optional and is
1282     a *list* of keyrings to use.  'autofetch' can either be None, True or
1283     False.  If None, the default behaviour specified in the config will be
1284     used.
1285     """
1286
1287     rejects = []
1288
1289     # Ensure the filename contains no shell meta-characters or other badness
1290     if not re_taint_free.match(sig_filename):
1291         rejects.append("!!WARNING!! tainted signature filename: '%s'." % (sig_filename))
1292         return (None, rejects)
1293
1294     if data_filename and not re_taint_free.match(data_filename):
1295         rejects.append("!!WARNING!! tainted data filename: '%s'." % (data_filename))
1296         return (None, rejects)
1297
1298     if not keyrings:
1299         keyrings = Cnf.ValueList("Dinstall::GPGKeyring")
1300
1301     # Autofetch the signing key if that's enabled
1302     if autofetch == None:
1303         autofetch = Cnf.get("Dinstall::KeyAutoFetch")
1304     if autofetch:
1305         error_msg = retrieve_key(sig_filename)
1306         if error_msg:
1307             rejects.append(error_msg)
1308             return (None, rejects)
1309
1310     # Build the command line
1311     status_read, status_write = os.pipe()
1312     cmd = "gpgv --status-fd %s %s %s %s" % (
1313         status_write, gpg_keyring_args(keyrings), sig_filename, data_filename)
1314
1315     # Invoke gpgv on the file
1316     (output, status, exit_status) = gpgv_get_status_output(cmd, status_read, status_write)
1317
1318     # Process the status-fd output
1319     (keywords, internal_error) = process_gpgv_output(status)
1320
1321     # If we failed to parse the status-fd output, let's just whine and bail now
1322     if internal_error:
1323         rejects.append("internal error while performing signature check on %s." % (sig_filename))
1324         rejects.append(internal_error, "")
1325         rejects.append("Please report the above errors to the Archive maintainers by replying to this mail.", "")
1326         return (None, rejects)
1327
1328     # Now check for obviously bad things in the processed output
1329     if keywords.has_key("KEYREVOKED"):
1330         rejects.append("The key used to sign %s has been revoked." % (sig_filename))
1331     if keywords.has_key("BADSIG"):
1332         rejects.append("bad signature on %s." % (sig_filename))
1333     if keywords.has_key("ERRSIG") and not keywords.has_key("NO_PUBKEY"):
1334         rejects.append("failed to check signature on %s." % (sig_filename))
1335     if keywords.has_key("NO_PUBKEY"):
1336         args = keywords["NO_PUBKEY"]
1337         if len(args) >= 1:
1338             key = args[0]
1339         rejects.append("The key (0x%s) used to sign %s wasn't found in the keyring(s)." % (key, sig_filename))
1340     if keywords.has_key("BADARMOR"):
1341         rejects.append("ASCII armour of signature was corrupt in %s." % (sig_filename))
1342     if keywords.has_key("NODATA"):
1343         rejects.append("no signature found in %s." % (sig_filename))
1344     if keywords.has_key("EXPKEYSIG"):
1345         args = keywords["EXPKEYSIG"]
1346         if len(args) >= 1:
1347             key = args[0]
1348         rejects.append("Signature made by expired key 0x%s" % (key))
1349     if keywords.has_key("KEYEXPIRED") and not keywords.has_key("GOODSIG"):
1350         args = keywords["KEYEXPIRED"]
1351         expiredate=""
1352         if len(args) >= 1:
1353             timestamp = args[0]
1354             if timestamp.count("T") == 0:
1355                 try:
1356                     expiredate = time.strftime("%Y-%m-%d", time.gmtime(float(timestamp)))
1357                 except ValueError:
1358                     expiredate = "unknown (%s)" % (timestamp)
1359             else:
1360                 expiredate = timestamp
1361         rejects.append("The key used to sign %s has expired on %s" % (sig_filename, expiredate))
1362
1363     if len(rejects) > 0:
1364         return (None, rejects)
1365
1366     # Next check gpgv exited with a zero return code
1367     if exit_status:
1368         rejects.append("gpgv failed while checking %s." % (sig_filename))
1369         if status.strip():
1370             rejects.append(prefix_multi_line_string(status, " [GPG status-fd output:] "))
1371         else:
1372             rejects.append(prefix_multi_line_string(output, " [GPG output:] "))
1373         return (None, rejects)
1374
1375     # Sanity check the good stuff we expect
1376     if not keywords.has_key("VALIDSIG"):
1377         rejects.append("signature on %s does not appear to be valid [No VALIDSIG]." % (sig_filename))
1378     else:
1379         args = keywords["VALIDSIG"]
1380         if len(args) < 1:
1381             rejects.append("internal error while checking signature on %s." % (sig_filename))
1382         else:
1383             fingerprint = args[0]
1384     if not keywords.has_key("GOODSIG"):
1385         rejects.append("signature on %s does not appear to be valid [No GOODSIG]." % (sig_filename))
1386     if not keywords.has_key("SIG_ID"):
1387         rejects.append("signature on %s does not appear to be valid [No SIG_ID]." % (sig_filename))
1388
1389     # Finally ensure there's not something we don't recognise
1390     known_keywords = dict(VALIDSIG="",SIG_ID="",GOODSIG="",BADSIG="",ERRSIG="",
1391                           SIGEXPIRED="",KEYREVOKED="",NO_PUBKEY="",BADARMOR="",
1392                           NODATA="",NOTATION_DATA="",NOTATION_NAME="",KEYEXPIRED="",POLICY_URL="")
1393
1394     for keyword in keywords.keys():
1395         if not known_keywords.has_key(keyword):
1396             rejects.append("found unknown status token '%s' from gpgv with args '%r' in %s." % (keyword, keywords[keyword], sig_filename))
1397
1398     if len(rejects) > 0:
1399         return (None, rejects)
1400     else:
1401         return (fingerprint, [])
1402
1403 ################################################################################
1404
1405 def gpg_get_key_addresses(fingerprint):
1406     """retreive email addresses from gpg key uids for a given fingerprint"""
1407     addresses = key_uid_email_cache.get(fingerprint)
1408     if addresses != None:
1409         return addresses
1410     addresses = set()
1411     cmd = "gpg --no-default-keyring %s --fingerprint %s" \
1412                 % (gpg_keyring_args(), fingerprint)
1413     (result, output) = commands.getstatusoutput(cmd)
1414     if result == 0:
1415         for l in output.split('\n'):
1416             m = re_gpg_uid.match(l)
1417             if m:
1418                 addresses.add(m.group(1))
1419     key_uid_email_cache[fingerprint] = addresses
1420     return addresses
1421
1422 ################################################################################
1423
1424 # Inspired(tm) by http://www.zopelabs.com/cookbook/1022242603
1425
1426 def wrap(paragraph, max_length, prefix=""):
1427     line = ""
1428     s = ""
1429     have_started = 0
1430     words = paragraph.split()
1431
1432     for word in words:
1433         word_size = len(word)
1434         if word_size > max_length:
1435             if have_started:
1436                 s += line + '\n' + prefix
1437             s += word + '\n' + prefix
1438         else:
1439             if have_started:
1440                 new_length = len(line) + word_size + 1
1441                 if new_length > max_length:
1442                     s += line + '\n' + prefix
1443                     line = word
1444                 else:
1445                     line += ' ' + word
1446             else:
1447                 line = word
1448         have_started = 1
1449
1450     if have_started:
1451         s += line
1452
1453     return s
1454
1455 ################################################################################
1456
1457 def clean_symlink (src, dest, root):
1458     """
1459     Relativize an absolute symlink from 'src' -> 'dest' relative to 'root'.
1460     Returns fixed 'src'
1461     """
1462     src = src.replace(root, '', 1)
1463     dest = dest.replace(root, '', 1)
1464     dest = os.path.dirname(dest)
1465     new_src = '../' * len(dest.split('/'))
1466     return new_src + src
1467
1468 ################################################################################
1469
1470 def temp_filename(directory=None, prefix="dak", suffix=""):
1471     """
1472     Return a secure and unique filename by pre-creating it.
1473     If 'directory' is non-null, it will be the directory the file is pre-created in.
1474     If 'prefix' is non-null, the filename will be prefixed with it, default is dak.
1475     If 'suffix' is non-null, the filename will end with it.
1476
1477     Returns a pair (fd, name).
1478     """
1479
1480     return tempfile.mkstemp(suffix, prefix, directory)
1481
1482 ################################################################################
1483
1484 def temp_dirname(parent=None, prefix="dak", suffix=""):
1485     """
1486     Return a secure and unique directory by pre-creating it.
1487     If 'parent' is non-null, it will be the directory the directory is pre-created in.
1488     If 'prefix' is non-null, the filename will be prefixed with it, default is dak.
1489     If 'suffix' is non-null, the filename will end with it.
1490
1491     Returns a pathname to the new directory
1492     """
1493
1494     return tempfile.mkdtemp(suffix, prefix, parent)
1495
1496 ################################################################################
1497
1498 def is_email_alias(email):
1499     """ checks if the user part of the email is listed in the alias file """
1500     global alias_cache
1501     if alias_cache == None:
1502         aliasfn = which_alias_file()
1503         alias_cache = set()
1504         if aliasfn:
1505             for l in open(aliasfn):
1506                 alias_cache.add(l.split(':')[0])
1507     uid = email.split('@')[0]
1508     return uid in alias_cache
1509
1510 ################################################################################
1511
1512 def get_changes_files(from_dir):
1513     """
1514     Takes a directory and lists all .changes files in it (as well as chdir'ing
1515     to the directory; this is due to broken behaviour on the part of p-u/p-a
1516     when you're not in the right place)
1517
1518     Returns a list of filenames
1519     """
1520     try:
1521         # Much of the rest of p-u/p-a depends on being in the right place
1522         os.chdir(from_dir)
1523         changes_files = [x for x in os.listdir(from_dir) if x.endswith('.changes')]
1524     except OSError, e:
1525         fubar("Failed to read list from directory %s (%s)" % (from_dir, e))
1526
1527     return changes_files
1528
1529 ################################################################################
1530
1531 apt_pkg.init()
1532
1533 Cnf = apt_pkg.newConfiguration()
1534 if not os.getenv("DAK_TEST"):
1535     apt_pkg.ReadConfigFileISC(Cnf,default_config)
1536
1537 if which_conf_file() != default_config:
1538     apt_pkg.ReadConfigFileISC(Cnf,which_conf_file())
1539
1540 ################################################################################
1541
1542 def parse_wnpp_bug_file(file = "/srv/ftp-master.debian.org/scripts/masterfiles/wnpp_rm"):
1543     """
1544     Parses the wnpp bug list available at http://qa.debian.org/data/bts/wnpp_rm
1545     Well, actually it parsed a local copy, but let's document the source
1546     somewhere ;)
1547
1548     returns a dict associating source package name with a list of open wnpp
1549     bugs (Yes, there might be more than one)
1550     """
1551
1552     line = []
1553     try:
1554         f = open(file)
1555         lines = f.readlines()
1556     except IOError, e:
1557         print "Warning:  Couldn't open %s; don't know about WNPP bugs, so won't close any." % file
1558         lines = []
1559     wnpp = {}
1560
1561     for line in lines:
1562         splited_line = line.split(": ", 1)
1563         if len(splited_line) > 1:
1564             wnpp[splited_line[0]] = splited_line[1].split("|")
1565
1566     for source in wnpp.keys():
1567         bugs = []
1568         for wnpp_bug in wnpp[source]:
1569             bug_no = re.search("(\d)+", wnpp_bug).group()
1570             if bug_no:
1571                 bugs.append(bug_no)
1572         wnpp[source] = bugs
1573     return wnpp
1574
1575 ################################################################################
1576
1577 def get_packages_from_ftp(root, suite, component, architecture):
1578     """
1579     Returns an object containing apt_pkg-parseable data collected by
1580     aggregating Packages.gz files gathered for each architecture.
1581
1582     @type root: string
1583     @param root: path to ftp archive root directory
1584
1585     @type suite: string
1586     @param suite: suite to extract files from
1587
1588     @type component: string
1589     @param component: component to extract files from
1590
1591     @type architecture: string
1592     @param architecture: architecture to extract files from
1593
1594     @rtype: TagFile
1595     @return: apt_pkg class containing package data
1596
1597     """
1598     filename = "%s/dists/%s/%s/binary-%s/Packages.gz" % (root, suite, component, architecture)
1599     (fd, temp_file) = temp_filename()
1600     (result, output) = commands.getstatusoutput("gunzip -c %s > %s" % (filename, temp_file))
1601     if (result != 0):
1602         fubar("Gunzip invocation failed!\n%s\n" % (output), result)
1603     filename = "%s/dists/%s/%s/debian-installer/binary-%s/Packages.gz" % (root, suite, component, architecture)
1604     if os.path.exists(filename):
1605         (result, output) = commands.getstatusoutput("gunzip -c %s >> %s" % (filename, temp_file))
1606         if (result != 0):
1607             fubar("Gunzip invocation failed!\n%s\n" % (output), result)
1608     packages = open_file(temp_file)
1609     Packages = apt_pkg.ParseTagFile(packages)
1610     os.unlink(temp_file)
1611     return Packages