]> git.decadent.org.uk Git - dak.git/blob - ChangeLog
Merge autobyhand for tasks
[dak.git] / ChangeLog
1 2008-05-28  Frans Pop  <fjp@debian.org>
2
3         * add autobyhand support for task overrides (from tasksel)
4
5 2008-05-27  Joerg Jaspert  <joerg@debian.org>
6
7         * config/debian/pseudo-packages.maintainers: Change ftp.debian.org
8         pseudopackage maintainer name.
9
10 2008-05-12  Joerg Jaspert  <joerg@debian.org>
11
12         * dak/transitions.py: use yaml.dump instead of syck.dump, as syck
13         seems to have a bug in its dump(), causing it to write illegal entries
14         And also do this for load.
15
16 2008-05-10  Stephen Gran   <sgran@debian.org>
17        * tools/debianqueued-0.9/debianqueued: First pass at a send_mail
18          implementation that sucks less
19        * Update debian/control to reflect new perl dependency
20
21 2008-05-09  Joerg Jaspert  <joerg@debian.org>
22
23         * dak/override.py (main): substitute value in X-Debian-Package
24         header
25
26         * templates/override.bug-close: Add X-Debian-Package header
27         * templates/reject-proposed-updates.rejected: dito
28         * templates/queue.rejected: dito
29         * templates/process-unchecked.new: dito
30         * templates/process-unchecked.bug-nmu-fixed: dito
31         * templates/process-unchecked.bug-experimental-fixed: dito
32         * templates/process-unchecked.bug-close: dito
33         * templates/process-unchecked.announce: dito
34         * templates/process-unchecked.accepted: dito
35         * templates/process-new.prod: dito
36         * templates/process-accepted.unaccept: dito
37         * templates/process-accepted.install: dito
38         * templates/process-unchecked.override-disparity: dito
39
40 2008-05-08  Joerg Jaspert  <joerg@debian.org>
41
42         * templates/override.bug-close: Add X-Debian header
43         * templates/rm.bug-close: dito
44         * templates/reject-proposed-updates.rejected: dito
45         * templates/queue.rejected: dito
46         * templates/process-unchecked.new: dito
47         * templates/process-unchecked.bug-nmu-fixed: dito
48         * templates/process-unchecked.bug-experimental-fixed: dito
49         * templates/process-unchecked.bug-close: dito
50         * templates/process-unchecked.announce: dito
51         * templates/process-unchecked.accepted: dito
52         * templates/process-new.prod: dito
53         * templates/process-accepted.unaccept: dito
54         * templates/process-accepted.install: dito
55         * templates/process-unchecked.override-disparity: dito, but also
56         mention that people should include the package lists with the
57         override disparities.
58
59 2008-05-06  Joerg Jaspert  <joerg@debian.org>
60
61         * config/debian/cron.dinstall: Put the timestamp stuff into an own
62         function, call that from everywhere. Also change the timestamp
63         format to not be local dependent.
64
65 2008-05-05  Joerg Jaspert  <joerg@debian.org>
66
67         * daklib/dak_exceptions.py (dakerrors): add TransitionsError
68         * dak/transitions.py: Use it, instead of the own definition
69
70 2008-05-05  Mark Hymers  <mhy@debian.org>
71
72         * daklib/dak_exceptions.py: Add a default message and tidy up our string
73         representation
74
75 2008-05-05  Joerg Jaspert  <joerg@debian.org>
76
77         * daklib/dak_exceptions.py: New file, central place for all those
78         own exceptions dak may raise.
79
80         * daklib/utils.py: Use dak_exceptions and delete all those string
81         exception raising stuff, which is depcreated.
82         During that delete the unknown_hostname_exc, as it wasnt used.
83
84         * dak/import_archive.py: use the new Exception class
85         * dak/rm.py: dito
86         * dak/generate_releases.py: dito
87         * dak/queue_report.py: dito
88         * daklib/queue.py: dito
89
90 2008-05-04  Joerg Jaspert  <joerg@debian.org>
91
92         * daklib/queue.py: Various pychecker cleanups
93
94         * dak/import_keyring.py: Remove unused daklib.logging and Logger
95         and add the actually used daklib/utils
96
97         * dak/examine_package.py: remove daklib.queue import, never used
98
99         * dak/check_proposed_updates.py: Import stuff from daklib as
100         "import daklib.foo as foo"
101         * dak/clean_proposed_updates.py: likewise
102         * dak/clean_queues.py: likewise
103         * dak/clean_suites.py: likewise
104         * dak/compare_suites.py: likewise
105         * dak/cruft_report.py: likewise
106         (get_suite_binaries): Seperated in own function, out of main. More
107         of main should be splitted. (Or well, cruft_report redesigned a
108         little, so its easier to run on multiple suites with differing tests)
109
110         * dak/examine_package.py: likewise
111         * dak/find_null_maintainers.py: likewise
112         * dak/generate_index_diffs.py: likewise
113         * dak/generate_releases.py: likewise
114         * dak/import_archive.py: likewise
115         * dak/import_ldap_fingerprints.py: likewise
116         * dak/import_users_from_passwd.py: likewise
117         * dak/init_db.py: likewise
118         * dak/init_dirs.py: likewise
119         * dak/ls.py: likewise
120         * dak/make_maintainers.py: likewise
121         * dak/make_overrides.py: likewise
122         * dak/make_suite_file_list.py: likewise
123         * dak/new_security_install.py: likewise
124         * dak/override.py: likewise
125         * dak/process_accepted.py: likewise
126         * dak/process_new.py: likewise
127         * dak/process_unchecked.py: likewise
128         * dak/rm.py: likewise
129         * dak/show_new.py: likewise
130         * dak/split_done.py: likewise
131         * dak/stats.py: likewise
132         * dak/transitions.py: likewise
133
134         * dak/check_archive.py (check_files_not_symlinks): Remove
135         long-time unused and commented code. Import stuff from daklib as
136         "import daklib.foo as foo"
137
138 2008-05-04  Thomas Viehmann  <tv@beamnet.de>
139
140         * dak/process_unchecked.py (check_signed_by_key): cater for uid_email
141         None in sponsor notification
142
143 2008-05-03  Joerg Jaspert  <joerg@debian.org>
144
145         * dak/examine_package.py: clean up pychecker warnings (merged with
146         Thomas changes to the NEW display)
147
148 2008-05-03  Mark Hymers <mhy@debian.org>
149
150         * dak/check_archive.py: clean up pychecker warnings
151         * dak/check_overrides.py: likewise
152         * dak/check_proposed_updates.py: likewise
153         * dak/clean_proposed_updates.py: likewise
154         * dak/clean_queues.py: likewise
155         * dak/control_overrides.py: likewise
156         * dak/control_suite.py: likewise
157         * dak/decode_dot_dak.py: likewise
158         * dak/examine_package.py: likewise
159         * dak/process_new.py: likewise
160         * dak/process_unchecked.py: likewise
161         * dak/queue_report.py: likewise
162         * dak/reject_proposed_updates.py: likewise
163         * dak/security_install.py: likewise
164         * dak/show_new.py: likewise
165         * dak/stats.py: likewise
166         * dak/symlink_dists.py: likewise
167         * dak/transitions.py: likewise
168
169 2008-05-03  Joerg Jaspert  <joerg@debian.org>
170
171         * config/debian/cron.daily: Rename to
172         * config/debian/cron.dinstall: this, as its not really something run
173         daily for some time now. And while dinstall is an OLD name, its
174         recognized pretty well within Debian
175         Also add some more timing information
176         Do not allow automated [o-]p-u-new processing to break dinstall
177
178 2008-05-03  Thomas Viehmann  <tv@beamnet.de>
179
180         * web/,web/style.css: add web dir and current style.css
181
182         * dak/examine_package.py, dak/show_new.py: improve NEW html pages,
183         based on mock-up by M. Ferrari.
184         remove Checksums-* from examine-package output
185
186 2008-05-03  Thomas Viehmann  <tv@beamnet.de>
187
188         * dak/process_unchecked.py (check_hashes): Reject on error while
189         parsing Checksums-*.
190
191 2008-05-02  Joerg Jaspert  <joerg@debian.org>
192
193         * config/debian/pseudo-packages*: Removed listarchives, closes #468667
194         added wiki.debian.org (currently pointing to debian-www), closes #194206
195         added security-tracker, closes #436152
196         added release.debian.org, closes #451005
197
198         * config/debian/cron.buildd: Cleanup unreachable code. (If someone
199         still wants it - its in revision control...)
200
201         * config/debian/cron.daily: Modify call to update-ftpstats to only
202         use files log/2*, instead of log/*, so it ignores the new cron/
203         subdir. Makes sure it can't get confused, and is also safe for
204         nearly thousand years. If this code is really in use in year 3000,
205         im sure people can adjust it! :)
206
207         * config/debian/vars: Add logdir as a place for cronjob log output
208
209         * config/debian/cron.daily: Use a logfile and be more verbose of
210         whats going on.
211           Also moved the commented VACUUM ; VACUUM ANALYZE calls over to
212         cron.weekly, ...
213         * config/debian/cron.weekly: likewise,
214           ... and activate those calls again. Once a week, as an
215         additional safety bet to be sure the stuff does get run is ok,
216         even if we have autovacuum by default.
217
218 2008-05-02  Thomas Viehmann  <tv@beamnet.de>
219
220         * dak/process_unchecked.py (check_hashes): fix typo in
221           checksum reject message.
222
223 2008-05-02  Joerg Jaspert  <joerg@debian.org>
224
225         * config/debian/extensions.py: used reindent.py from the python
226         2.x source examples to get all dak code use the same indentation
227         style, no longer a mix of 4 spaces / 1 tab.
228         * dak/check_archive.py: likewise
229         * dak/check_overrides.py: likewise
230         * dak/check_proposed_updates.py: likewise
231         * dak/clean_proposed_updates.py: likewise
232         * dak/clean_queues.py: likewise
233         * dak/clean_suites.py: likewise
234         * dak/compare_suites.py: likewise
235         * dak/control_overrides.py: likewise
236         * dak/control_suite.py: likewise
237         * dak/cruft_report.py: likewise
238         * dak/dak.py: likewise
239         * dak/decode_dot_dak.py: likewise
240         * dak/examine_package.py: likewise
241         * dak/find_null_maintainers.py: likewise
242         * dak/generate_index_diffs.py: likewise
243         * dak/generate_releases.py: likewise
244         * dak/import_archive.py: likewise
245         * dak/import_keyring.py: likewise
246         * dak/import_ldap_fingerprints.py: likewise
247         * dak/import_users_from_passwd.py: likewise
248         * dak/init_db.py: likewise
249         * dak/init_dirs.py: likewise
250         * dak/ls.py: likewise
251         * dak/make_maintainers.py: likewise
252         * dak/make_overrides.py: likewise
253         * dak/make_suite_file_list.py: likewise
254         * dak/mirror_split.py: likewise
255         * dak/new_security_install.py: likewise
256         * dak/override.py: likewise
257         * dak/poolize.py: likewise
258         * dak/process_accepted.py: likewise
259         * dak/process_new.py: likewise
260         * dak/process_unchecked.py: likewise
261         * dak/queue_report.py: likewise
262         * dak/reject_proposed_updates.py: likewise
263         * dak/rm.py: likewise
264         * dak/security_install.py: likewise
265         * dak/show_new.py: likewise
266         * dak/split_done.py: likewise
267         * dak/stats.py: likewise
268         * dak/symlink_dists.py: likewise
269         * dak/test/001/test.py: likewise
270         * dak/test/002/test.py: likewise
271         * dak/transitions.py: likewise
272         * daklib/extensions.py: likewise
273         * daklib/logging.py: likewise
274         * daklib/queue.py: likewise
275         * daklib/utils.py: likewise
276         * scripts/debian/insert_missing_changedby.py: likewise
277
278         * dak/process_new.py (recheck): Make the path check more robust,
279         so we no longer have to keep process_new seperate trees between
280         security and normal archive.
281
282 2008-04-27  Joerg Jaspert  <joerg@debian.org>
283
284         * dak/process_accepted.py (Urgency_Log.__init__): Warn if the
285         configured path does not exist or is not writeable by us. Use a
286         tmp path if so, so we do not lose the urgencies in such cases.
287
288         * config/debian/dak.conf: Changed path for UrgencyLog
289         Same for the ReleaseTransitions file
290
291         * config/debian/cron.daily: Notify qa user on merkel of dinstall
292         start, Remove the britney call
293
294 2008-04-26  Joerg Jaspert  <joerg@debian.org>
295
296         * dak/process_new.py: Call end() whenever we try to leave by
297         pressing Q
298
299         * config/debian/cron.daily: Also report NBS in experimental
300
301 2008-04-25  Joerg Jaspert  <joerg@debian.org>
302
303         * dak/cruft_report.py (main): Make it possible to look at
304         experimental too, especially NBS
305
306         * dak/split_done.py (main): Only move files into their subdirs if
307         they are older than 30 days. That enables us to run this script as
308         part of a cronjob.
309
310         * config/debian/cron.weekly: Run dak split-done
311
312 2008-04-23  Thomas Viehmann  <tviehmann@debian.org>
313
314         * dak/process_unchecked.py: add changes["sponsoremail"]
315           for sponsored uploads if desired
316         * daklib/queue.py: add changes["sponsoremail"] to
317           Subst["__MAINTAINER_TO__"] if present
318         * daklib/utils.py: add functions
319           is_email_alias to check which accounts allow email forwarding,
320           which_alias_file to find the alias file, and
321           gpg_get_key_addresses to find uid addresses for a given
322             fingerprint
323
324 2008-04-22  Joerg Jaspert  <joerg@debian.org>
325
326         * setup/init_pool.sql: added a function/aggregate for the release
327         team to base some script on it.
328
329         * config/debian/cron.daily: push katie@merkel to immediately start
330         the sync of projectb there.
331
332 2008-04-21  Joerg Jaspert  <joerg@debian.org>
333
334         * scripts/debian/expire_dumps: New script, expires old database
335         dumps, using a scheme to keep more of the recent dumps.
336
337         * config/debian/cron.daily: Use the new script. Also - compress
338         all files older than 7 days, instead of 30.
339
340         * dak/process_accepted.py (install): Do not break if a
341         source/maintainer combination is already in src_uploaders, "just"
342         warn us.
343
344 2008-04-20  Thomas Viehmann  <tviehmann@debian.org>
345
346         * daklib/utils.py (build_file_list): Deal with "Format 3 style"
347         Format lines (ie. those having extra text appended).
348
349 2008-04-19  Joerg Jaspert  <joerg@debian.org>
350
351         * dak/process_unchecked.py (check_files): Sanity check the
352         provides field, which closes #472783
353
354 2008-04-18  Joerg Jaspert  <joerg@debian.org>
355
356         * config/debian/dak.conf: Add mapping stable-proposed-updates
357           -> proposed-updates.
358
359         * dak/transitions.py (load_transitions): Additionally check for
360         invalid package list indentation
361
362 2008-04-17  Joerg Jaspert  <joerg@debian.org>
363
364         * config/debian/dak.conf: Add TempPath statement for the Release
365         Transitions script
366
367         * dak/transitions.py (temp_transitions_file): Use the TempPath
368         (write_transitions_from_file): Check if the file we should get our
369         transitions from is in our TempPath, error out if it isnt
370         (main): Check for TempPath existance
371
372 2008-04-12  James Troup  <troup@debian.org>
373
374         * dak/clean_proposed_updates.py: add support for -s/--suite and
375         -n/--no-action.
376
377 2008-04-11  Anthony Towns  <ajt@debian.org>
378
379         * dak/utils.py: build_file_list() extra parameters so it can
380         build a file list for checksums-foo fields. Don't use float() to
381         compare formats, because Format: 1.10 should compare greater than
382         Format: 1.9 (use "1.9".split(".",1) and tuple comparison instead)
383
384         * dak/process_unchecked.py: check_md5sum becomes check_hashes
385         and check_hash. If changes format is 1.8 or later, also check
386         checksums-sha1 and checksums-sha256 for both .changes and .dsc,
387         and reject on presence/absence of un/expected checksums-* fields.
388
389 2008-04-07  Joerg Jaspert  <joerg@debian.org>
390
391         * daklib/utils.py (build_file_list): Check for dpkg .changes
392         adjusted to reject newer (and right now broken) 1.8 version, until
393         dpkg (or debsign) is fixed and doesn't produce invalid .changes anymore
394
395 2008-03-22  Joerg Jaspert  <joerg@debian.org>
396
397         * dak/transitions.py (load_transitions): Check if all our keys are
398         defined, if there are only keys defined we want and also the types
399         of the various keys.
400
401 2008-03-22  Anthony Towns  <ajt@debian.org>
402
403         * dak/edit_transitions.py: Add --import option.
404         Add --use-sudo option. Use fcntl locking for writing.
405         Move writing into a function (write_transitions).
406         Reinvoke self using sudo and --import if necessary.
407         Move temporary file creation into a function, use mkstemp.
408         Rename to "dak transitions".
409
410 2008-03-21  Joerg Jaspert  <joerg@debian.org>
411
412         * dak/edit_transitions.py (edit_transitions): Use sudo to copy the
413         edited file back in place
414         (check_transitions): Use proper locking and also use sudo to copy
415         the new file in place
416
417 2008-03-21  Anthony Towns <ajt@debian.org>
418
419         * config/debian/extensions.py: Add infrastructure for replacing
420         functions in dak modules; add upload blocking for dpkg.
421
422 2008-03-12  Joerg Jaspert  <joerg@debian.org>
423
424         * dak/edit_transitions.py: Done a number of cleanups to make code
425         working. Also changed the way prompting/answering goes, to not
426         have to import daklib/queue.
427         (edit_transitions): When done with a successful edit - also print
428         a final overview about defined transitions
429
430 2008-03-11  Joerg Jaspert  <joerg@debian.org>
431
432         * dak/process_unchecked.py: Import syck module directly, not "from
433         syck import *"
434         (check_transition): Do the check for sourceful upload in here
435         Also adjust the syck loading commands, rename new_vers to
436         expected, curvers to current, to make it more clear what they mean.
437
438         * daklib/database.py (get_suite_version): Renamed from
439         get_testing_version. Also changed the cache variables name
440
441         * The above changes are based on modifications from Anthony.
442
443         * dak/dak.py (init): Renamed check -> edit transitions
444
445         * dak/edit_transitions.py: Renamed from check_transitions.py
446         (main): Also rename new_vers/curvers to expected/current
447         Basically a nice rewrite, so it now does checks and edit,
448         depending on how you call it. Check also removes old transitions,
449         if user wants it.
450
451 2008-03-02  Joerg Jaspert  <joerg@debian.org>
452
453         * debian/control (Suggests): Add python-syck to Depends:
454
455         * dak/dak.py (init): Tell it about check_transitions
456
457         * dak/check_transitions.py (usage): Added, checks the transitions
458         file (if any)
459
460         * daklib/database.py (get_testing_version): Added. Returns the
461         version for the source in testing, if any
462
463         * dak/process_unchecked.py (check_transition): Added. Checks if a
464         release team member defined a transition, and rejects based on
465         that data.
466         (process_it): Use it.
467         (check_transition): Warn on broken transitions file and return,
468         not doing anything.
469         (check_transition): Moved out of here, into daklib/queue
470         (process_it): Call check_transitions only if
471         changes[architecture] has source included.
472         (check_transition): Now call the database.get_testing_version
473
474 2008-02-09  Christoph Berg <myon@debian.org>
475
476         * daklib/queue.py (get_type): fubar does not exist in global
477         namespace.
478
479         * setup/add_constraints.sql setup/init_pool.sql: Add changedby column
480         to source table, and move src_uploaders after source so the REFERNCES
481         clause works.
482         * dak/process_accepted.py (install): Fill the changedby column from
483         the information found in the .changes. This will allow to identify
484         NMUs and sponsored uploads more precisely in tools querying projectb.
485         * scripts/debian/insert_missing_changedby.py: Script to import yet
486         missing fields from filippo's uploads-history DB.
487
488 2008-02-06  Joerg Jaspert  <joerg@debian.org>
489
490         * daklib/utils.py (check_signature): Make variable key available,
491         so we can access it.
492
493 2008-01-07  Joerg Jaspert  <joerg@debian.org>
494
495         * dak/examine_package.py (check_deb): Remove linda call. It
496         provides no added benefit to lintian anymore.
497
498 2008-01-07  Joerg Jaspert  <joerg@debian.org>
499
500         * dak/examine_package.py (check_deb): Remove linda call. It
501         provides no added benefit to lintian anymore.
502
503 2008-01-06  Joerg Jaspert  <joerg@debian.org>
504
505         * dak/examine_package.py (do_lintian): lintian now supports html
506         coloring, so use it.
507         (do_command): Dont escape html chars if param escaped = 1
508
509 2008-01-06  Joerg Jaspert  <joerg@debian.org>
510
511         * dak/examine_package.py (do_lintian): lintian now supports html
512         coloring, so use it.
513         (do_command): Dont escape html chars if param escaped = 1
514
515 2007-12-31  Anthony Towns  <ajt@debian.org>
516
517         * dak/process_new.py (recheck): pass "" for prefix_str to reject()
518         when processing result of check_dsc_against_db so we don't promote
519         warnings to rejections.
520
521 2007-12-31  Anthony Towns  <ajt@debian.org>
522
523         * dak/process_new.py (recheck): pass "" for prefix_str to reject()
524         when processing result of check_dsc_against_db so we don't promote
525         warnings to rejections.
526
527 2007-12-30  Joerg Jaspert  <joerg@debian.org>
528
529         * dak/dak.py (init): add show-new. This is based on a patch
530         submitted by Thomas Viehmann in Bug #408318, but large parts of
531         handling it are rewritten and show-new is done by me.
532
533         * dak/queue_report.py (table_row): Add link to generated html page
534         for NEW package.
535
536         * dak/show_new.py: new file, generates html overview for NEW
537         packages, similar to what we see with examine-package.
538
539         * config/debian/cron.hourly: Add show-new call
540
541         * config/debian/dak.conf: Add HTMLPath for Show-New
542
543         * dak/examine_package.py (print_copyright): ignore stderr when
544         finding copyright file.
545         (main): add html option
546         (html_escape): new function
547         (escape_if_needed): ditto
548         (headline): ditto
549         (colour_output): ditto
550         (print_escaped_text): ditto
551         (print_formatted_text): ditto
552         - use those functions everywhere where we generate output, as they
553         easily know if we want html or not and just DTRT
554         (do_lintian): new function
555         (check_deb): use it
556         (output_deb_info): Use print_escaped_text, not print_formatted_text.
557         Also import daklib.queue, determine_new now lives there
558
559         Also add a variable to see if we want html output. Default is
560         disabled, show_new enables it for its use.
561         Most of html, besides header/footer are in examine_package instead
562         of show_new, as it makes it a whole lot easier to deal with it at
563         the point the info is generated.
564
565
566         * dak/process_new.py (determine_new): Moved out of here.
567         (check_valid): Moved out of here.
568         (get_type): Moved out of here.
569
570         * daklib/queue.py (determine_new): Moved here.
571         (check_valid): Moved here.
572         (get_type): Moved here.
573
574         * dak/init_db.py (do_section): Remove non-US code
575
576         * dak/make_overrides.py (main): ditto
577
578         * dak/process_new.py (determine_new): ditto
579
580         * daklib/queue.py (Upload.in_override_p),
581         (Upload.check_override): ditto
582
583         * daklib/utils.py (extract_component_from_section):,
584         (poolify): ditto
585
586         * dak/import_archive.py (update_section): ditto
587
588         * dak/symlink_dists.py (fix_component_section): ditto
589
590         * scripts/debian/mkmaintainers: ditto
591
592         * scripts/debian/update-mirrorlists (masterlist): ditto
593
594         * config/debian-non-US/*: Remove subdir
595
596         * scripts/debian/update-readmenonus: Removed.
597
598
599 2007-12-30  Joerg Jaspert  <joerg@debian.org>
600
601         * dak/dak.py (init): add show-new. This is based on a patch
602         submitted by Thomas Viehmann in Bug #408318, but large parts of
603         handling it are rewritten and show-new is done by me.
604
605         * dak/queue_report.py (table_row): Add link to generated html page
606         for NEW package.
607
608         * dak/show_new.py: new file, generates html overview for NEW
609         packages, similar to what we see with examine-package.
610
611         * config/debian/cron.hourly: Add show-new call
612
613         * config/debian/dak.conf: Add HTMLPath for Show-New
614
615         * dak/examine_package.py (print_copyright): ignore stderr when
616         finding copyright file.
617         (main): add html option
618         (html_escape): new function
619         (escape_if_needed): ditto
620         (headline): ditto
621         (colour_output): ditto
622         (print_escaped_text): ditto
623         (print_formatted_text): ditto
624         - use those functions everywhere where we generate output, as they
625         easily know if we want html or not and just DTRT
626         (do_lintian): new function
627         (check_deb): use it
628         (output_deb_info): Use print_escaped_text, not print_formatted_text.
629         Also import daklib.queue, determine_new now lives there
630
631         Also add a variable to see if we want html output. Default is
632         disabled, show_new enables it for its use.
633         Most of html, besides header/footer are in examine_package instead
634         of show_new, as it makes it a whole lot easier to deal with it at
635         the point the info is generated.
636
637
638         * dak/process_new.py (determine_new): Moved out of here.
639         (check_valid): Moved out of here.
640         (get_type): Moved out of here.
641
642         * daklib/queue.py (determine_new): Moved here.
643         (check_valid): Moved here.
644         (get_type): Moved here.
645
646         * dak/init_db.py (do_section): Remove non-US code
647
648         * dak/make_overrides.py (main): ditto
649
650         * dak/process_new.py (determine_new): ditto
651
652         * daklib/queue.py (Upload.in_override_p),
653         (Upload.check_override): ditto
654
655         * daklib/utils.py (extract_component_from_section):,
656         (poolify): ditto
657
658         * dak/import_archive.py (update_section): ditto
659
660         * dak/symlink_dists.py (fix_component_section): ditto
661
662         * scripts/debian/mkmaintainers: ditto
663
664         * scripts/debian/update-mirrorlists (masterlist): ditto
665
666         * config/debian-non-US/*: Remove subdir
667
668         * scripts/debian/update-readmenonus: Removed.
669
670
671 2007-12-28  Anthony Towns  <ajt@debian.org>
672
673         * daklib/utils.py (check_signature): add NOTATION_DATA and
674         NOTATION_NAME to known keywords.
675
676         * daklib/queue.py (Upload.check_source_against_db):
677
678         * dak/make_suite_file_list.py: add -f/--force option.
679
680         * dak/generate_releases.py: add -a/--apt-conf=FILE and
681         -f/--force-touch options.  Pull version info from the database.
682         Make suite description optional.
683
684         * config/debian/dak.conf: update
685         Reject-Proposed-Updates::MoreInfoURL.  Comment out
686         Suite::Stable::Version and ::Description.
687
688         * config/debian/apt.conf: Add hurd-i386 to unstable
689         debian-installer stanza.
690
691 2007-12-28  Joerg Jaspert  <joerg@debian.org>
692
693         * KEYEXPIRED is actually a known keyword. We do check it earlier
694         on and reject in case the sig is bad (or unknown)
695
696 2007-12-28  Anthony Towns  <ajt@debian.org>
697
698         * daklib/utils.py (check_signature): add NOTATION_DATA and
699         NOTATION_NAME to known keywords.
700
701         * daklib/queue.py (Upload.check_source_against_db):
702
703         * dak/make_suite_file_list.py: add -f/--force option.
704
705         * dak/generate_releases.py: add -a/--apt-conf=FILE and
706         -f/--force-touch options.  Pull version info from the database.
707         Make suite description optional.
708
709         * config/debian/dak.conf: update
710         Reject-Proposed-Updates::MoreInfoURL.  Comment out
711         Suite::Stable::Version and ::Description.
712
713         * config/debian/apt.conf: Add hurd-i386 to unstable
714         debian-installer stanza.
715
716 2007-12-28  Joerg Jaspert  <joerg@debian.org>
717
718         * KEYEXPIRED is actually a known keyword. We do check it earlier
719         on and reject in case the sig is bad (or unknown)
720
721 2007-12-24  Joerg Jaspert  <joerg@debian.org>
722
723         * Also run lintian on the .dsc file to check the source itself.
724
725         * Fix the direct usage of ar | tar etc to get the copyright file
726         and use dpkg-deb, which is made for this and makes us able to
727         process data.tar.bz2 (or whatever format it will be in the
728         future).
729
730 2007-12-24  Joerg Jaspert  <joerg@debian.org>
731
732         * Also run lintian on the .dsc file to check the source itself.
733
734         * Fix the direct usage of ar | tar etc to get the copyright file
735         and use dpkg-deb, which is made for this and makes us able to
736         process data.tar.bz2 (or whatever format it will be in the
737         future).
738
739 2007-12-21  Joerg Jaspert  <joerg@debian.org>
740
741         * Remove the (now useless) check for a pre-depends on dpkg for
742           binaries that contain bzip2 compressed data tarballs.
743
744 2007-12-21  Joerg Jaspert  <joerg@debian.org>
745
746         * Remove the (now useless) check for a pre-depends on dpkg for
747           binaries that contain bzip2 compressed data tarballs.
748
749 2007-08-28  Anthony Towns  <ajt@debian.org>
750
751         * process_unchecked.py: Add support for automatic BYHAND
752         processing.
753         * config/debian/dak.conf, scripts/debian/byhand-tag: Automatic
754         processing of tag-overrides.
755         * examine_package.py: Summarise duplicate copyright file entries
756         (same md5sum) with a reference to the previous instance, rather
757         than repeating them.
758         * process_new.py: When rejecting from the p-u-new or o-p-u-new
759         holding queues, don't worry if dak has its own reasons for
760         rejecting the package as well as the SRMs.
761
762 2007-08-28  Anthony Towns  <ajt@debian.org>
763
764         * process_unchecked.py: Add support for automatic BYHAND
765         processing.
766         * config/debian/dak.conf, scripts/debian/byhand-tag: Automatic
767         processing of tag-overrides.
768         * examine_package.py: Summarise duplicate copyright file entries
769         (same md5sum) with a reference to the previous instance, rather
770         than repeating them.
771         * process_new.py: When rejecting from the p-u-new or o-p-u-new
772         holding queues, don't worry if dak has its own reasons for
773         rejecting the package as well as the SRMs.
774
775 2007-06-19  Anthony Towns  <ajt@debian.org>
776
777         * Add nm.debian.org pseudopackage
778
779 2007-06-19  Anthony Towns  <ajt@debian.org>
780
781         * Add nm.debian.org pseudopackage
782
783 2007-06-18  Anthony Towns  <ajt@debian.org>
784
785         * daklib/logging.py: Set umask to not exclude group-writability
786         so we don't get reminded at the start of each month. Thanks to
787         Random J.
788         * dak/override.py: More changes from Herr von Wifflepuck: warn
789         if section of source is different to binary section; restore
790         functionality on source-only overrides; croak if trying to set
791         priority of a source override; never set priority of source
792         overrides; correct typo in logging (s/priority/section/ at
793         one place)
794
795         * config/debian/apt.conf.oldstable: Added for oldstable point releases.
796         * config/debian/cron.daily: auotmatically accept/reject
797         oldstable-proposed-updates based on COMMENTS directory
798
799 2007-06-18  Anthony Towns  <ajt@debian.org>
800
801         * config/debian/apt.conf, config/debian/apt.conf.stable,
802         config/debian/dak.conf: update for 4.0r0 (etch), and 3.1r6
803         (sarge), support for oldstable-proposed-updates, dropping m68k
804         from etch, creating etch-m68k suite, creating lenny.
805
806         * config/debian/vars: update for lenny
807
808         * config/debian/dak.conf: typo fix for Dinstall::GPGKeyring,
809         drop upload limitations, add release postgres user
810
811         * dak/process_new.py: support for automatically accepting and rejecting
812         packages from proposed-updates holding queues via COMMENTS directory
813         * cron.daily: automatically process COMMENTS-based approvals
814         and rejections for proposed-updates holding queues
815
816         * dak/process_unchecked.py: add support for oldproposedupdates
817         holding queue
818
819         * dak/control_suite.py: allow control-suite to work with etch-m68k
820
821         * dak/generate_releases.py: unlink old Release files before updating
822         them if nlinks > 1 (ie, if two files used to be the same, maybe they
823         shouldn't be when generate-releases is run)
824
825         * dak/generate_releases.py: add a couple of commented lines to make
826         it easier to deal with point releases
827
828         * dak/make_overrides.py: generate overrides for !contrib udebs
829
830         * docs/README.stable-point-release: update docs for doing a
831         point release
832
833 2007-06-18  Anthony Towns  <ajt@debian.org>
834
835         * daklib/logging.py: Set umask to not exclude group-writability
836         so we don't get reminded at the start of each month. Thanks to
837         Random J.
838         * dak/override.py: More changes from Herr von Wifflepuck: warn
839         if section of source is different to binary section; restore
840         functionality on source-only overrides; croak if trying to set
841         priority of a source override; never set priority of source
842         overrides; correct typo in logging (s/priority/section/ at
843         one place)
844
845         * config/debian/apt.conf.oldstable: Added for oldstable point releases.
846         * config/debian/cron.daily: auotmatically accept/reject
847         oldstable-proposed-updates based on COMMENTS directory
848
849 2007-06-18  Anthony Towns  <ajt@debian.org>
850
851         * config/debian/apt.conf, config/debian/apt.conf.stable,
852         config/debian/dak.conf: update for 4.0r0 (etch), and 3.1r6
853         (sarge), support for oldstable-proposed-updates, dropping m68k
854         from etch, creating etch-m68k suite, creating lenny.
855
856         * config/debian/vars: update for lenny
857
858         * config/debian/dak.conf: typo fix for Dinstall::GPGKeyring,
859         drop upload limitations, add release postgres user
860
861         * dak/process_new.py: support for automatically accepting and rejecting
862         packages from proposed-updates holding queues via COMMENTS directory
863         * cron.daily: automatically process COMMENTS-based approvals
864         and rejections for proposed-updates holding queues
865
866         * dak/process_unchecked.py: add support for oldproposedupdates
867         holding queue
868
869         * dak/control_suite.py: allow control-suite to work with etch-m68k
870
871         * dak/generate_releases.py: unlink old Release files before updating
872         them if nlinks > 1 (ie, if two files used to be the same, maybe they
873         shouldn't be when generate-releases is run)
874
875         * dak/generate_releases.py: add a couple of commented lines to make
876         it easier to deal with point releases
877
878         * dak/make_overrides.py: generate overrides for !contrib udebs
879
880         * docs/README.stable-point-release: update docs for doing a
881         point release
882
883 2007-03-05  Anthony Towns  <ajt@debian.org>
884
885         * config/debian/dak.conf: update for 3.1r5.
886         * scripts/debian/ssh-move: add ssh-move script from debbugs
887         * config/debian/cron.unchecked: push version info to debbugs using
888         ssh-move.
889
890 2007-03-05  Anthony Towns  <ajt@debian.org>
891
892         * config/debian/dak.conf: update for 3.1r5.
893         * scripts/debian/ssh-move: add ssh-move script from debbugs
894         * config/debian/cron.unchecked: push version info to debbugs using
895         ssh-move.
896
897 2007-02-14  James Troup  <troup@ries.debian.org>
898
899         * docs/README.config: remove Dinstall::GroupOverrideFilename.
900         * config/debian/dak.conf: likewise.
901         * config/debian-non-US/dak.conf: likewise.
902         * config/debian-security/dak.conf: likewise.
903
904         * daklib/queue.py (Upload.close_bugs): no longer handle NMUs or
905         experimental differently, just close the bugs and let version
906         tracking sort it out.
907          (nmu_p): remove entire class - now unused.
908          (Upload.__init__): don't use nmu_p.
909
910 2007-02-14  James Troup  <troup@ries.debian.org>
911
912         * docs/README.config: remove Dinstall::GroupOverrideFilename.
913         * config/debian/dak.conf: likewise.
914         * config/debian-non-US/dak.conf: likewise.
915         * config/debian-security/dak.conf: likewise.
916
917         * daklib/queue.py (Upload.close_bugs): no longer handle NMUs or
918         experimental differently, just close the bugs and let version
919         tracking sort it out.
920          (nmu_p): remove entire class - now unused.
921          (Upload.__init__): don't use nmu_p.
922
923 2007-02-08  Anthony Towns  <ajt@debian.org>
924
925         * config/debian/dak.conf: update for 3.1r4.  Use new 'etch'
926         signing key.  Drop maximum index diffs down to 14.
927
928         * config/debian/apt.conf: add udeb support for non-free (testing,
929         unstable) and experimental.
930         * config/debian/dak.conf: likewise.
931
932         * dak/generate_releases.py (main): handle udebs in any component.
933
934         * daklib/queue.py (Upload.build_summaries): handle files without a
935         'type' gracefully.
936
937         * dak/generate_releases.py (print_sha256_files): new function.
938         (main): use it.
939
940         * dak/process_accepted.py (stable_install): fix name of template
941         mail.
942
943         * dak/process_unchecked.py (is_stableupdate): fix invocation of
944         database.get_suite_id().
945
946         * templates/process-new.bxa_notification: Update on request
947         of/after discussion with BIS staff.
948
949         * scripts/debian/mkfilesindices: also handle proposed-updates.
950
951 2007-02-08  Ryan Murray  <rmurray@debian.org>
952
953         * config/debian/cron.monthly: use $ftpgroup instead of hardcoding
954         group name for chgrp of mail archives.
955
956         * daklib/queue.py (Upload.check_dsc_against_db): handle multiple
957         orig.tar.gz's by picking the first one by file id.
958
959         * dak/override.py (main): limit to binary overrides only for now.
960         (usage): update to match.
961
962         * config/debian/cron.daily: track when we have the accepted lock
963         and clean it up on exit if we have it.  Take/check the
964         cron.unchecked lock just before traping to cleanup on exit.
965         Remove potato override handling.  Remove any dangling symlinks in
966         /srv/incoming.d.o/buildd.  Clean up apt-ftparchive's databases.
967
968         * config/debian/apt.conf: change default compression scheme for
969         both Sources and Packages to gzip and bzip2 rather than
970         uncompressed and gzip (Packages) and gzip (Sources).  Use old
971         defaults for proposed-updates.
972
973         * dak/control_overrides.py (main): refuse to operate on
974         untouchable suites.
975
976         * config/debian/pseudo-packages.maintainers: drop install,
977         installation, boot-floppy, slink-cd, potato-cd and
978         nonus.debian.org.  Update base.
979         * config/debian/pseudo-packages.description: likewise.
980
981         * daklib/utils.py (re_srchasver): new regex.
982         (parse_changes): use regex to split 'Source (Version)' style
983         Source fields into 'source' and 'source-version'.
984
985         * config/debian/cron.daily: use $base instead of hardcoding path
986         name.
987
988         * scripts/debian/mkfilesindices: source 'vars' file and use it's
989         variables instead of hardcoding path names.
990
991         * config/debian/apt.conf: switch from /org to /srv.
992         * config/debian/apt.conf.buildd: likewise.
993         * config/debian/apt.conf.stable: likewise.
994         * config/debian/cron.daily: likewise.
995         * config/debian/cron.hourly: likewise.
996         * config/debian/cron.monthly: likewise.
997         * config/debian/cron.unchecked: likewise.
998         * config/debian/cron.weekly: likewise.
999         * config/debian/dak.conf: likewise.
1000         * config/debian/vars: likewise.
1001         * scripts/debian/mkfilesindices: likewise.
1002
1003 2007-02-08  James Troup  <james@nocrew.org>
1004
1005         * dak/process_unchecked.py (check_signed_by_key): new function to
1006         ensure .changes files are signed by an authorized uploader.
1007         (process_it): use it.
1008
1009         * config/debian/dak.conf (Binary-Upload-Restrictions): new stanza
1010         to configure per suite/component/architecture binary upload
1011         restrictions.
1012
1013 2007-02-08  Anthony Towns  <ajt@debian.org>
1014
1015         * config/debian/dak.conf: update for 3.1r4.  Use new 'etch'
1016         signing key.  Drop maximum index diffs down to 14.
1017
1018         * config/debian/apt.conf: add udeb support for non-free (testing,
1019         unstable) and experimental.
1020         * config/debian/dak.conf: likewise.
1021
1022         * dak/generate_releases.py (main): handle udebs in any component.
1023
1024         * daklib/queue.py (Upload.build_summaries): handle files without a
1025         'type' gracefully.
1026
1027         * dak/generate_releases.py (print_sha256_files): new function.
1028         (main): use it.
1029
1030         * dak/process_accepted.py (stable_install): fix name of template
1031         mail.
1032
1033         * dak/process_unchecked.py (is_stableupdate): fix invocation of
1034         database.get_suite_id().
1035
1036         * templates/process-new.bxa_notification: Update on request
1037         of/after discussion with BIS staff.
1038
1039         * scripts/debian/mkfilesindices: also handle proposed-updates.
1040
1041 2007-02-08  Ryan Murray  <rmurray@debian.org>
1042
1043         * config/debian/cron.monthly: use $ftpgroup instead of hardcoding
1044         group name for chgrp of mail archives.
1045
1046         * daklib/queue.py (Upload.check_dsc_against_db): handle multiple
1047         orig.tar.gz's by picking the first one by file id.
1048
1049         * dak/override.py (main): limit to binary overrides only for now.
1050         (usage): update to match.
1051
1052         * config/debian/cron.daily: track when we have the accepted lock
1053         and clean it up on exit if we have it.  Take/check the
1054         cron.unchecked lock just before traping to cleanup on exit.
1055         Remove potato override handling.  Remove any dangling symlinks in
1056         /srv/incoming.d.o/buildd.  Clean up apt-ftparchive's databases.
1057
1058         * config/debian/apt.conf: change default compression scheme for
1059         both Sources and Packages to gzip and bzip2 rather than
1060         uncompressed and gzip (Packages) and gzip (Sources).  Use old
1061         defaults for proposed-updates.
1062
1063         * dak/control_overrides.py (main): refuse to operate on
1064         untouchable suites.
1065
1066         * config/debian/pseudo-packages.maintainers: drop install,
1067         installation, boot-floppy, slink-cd, potato-cd and
1068         nonus.debian.org.  Update base.
1069         * config/debian/pseudo-packages.description: likewise.
1070
1071         * daklib/utils.py (re_srchasver): new regex.
1072         (parse_changes): use regex to split 'Source (Version)' style
1073         Source fields into 'source' and 'source-version'.
1074
1075         * config/debian/cron.daily: use $base instead of hardcoding path
1076         name.
1077
1078         * scripts/debian/mkfilesindices: source 'vars' file and use it's
1079         variables instead of hardcoding path names.
1080
1081         * config/debian/apt.conf: switch from /org to /srv.
1082         * config/debian/apt.conf.buildd: likewise.
1083         * config/debian/apt.conf.stable: likewise.
1084         * config/debian/cron.daily: likewise.
1085         * config/debian/cron.hourly: likewise.
1086         * config/debian/cron.monthly: likewise.
1087         * config/debian/cron.unchecked: likewise.
1088         * config/debian/cron.weekly: likewise.
1089         * config/debian/dak.conf: likewise.
1090         * config/debian/vars: likewise.
1091         * scripts/debian/mkfilesindices: likewise.
1092
1093 2007-02-08  James Troup  <james@nocrew.org>
1094
1095         * dak/process_unchecked.py (check_signed_by_key): new function to
1096         ensure .changes files are signed by an authorized uploader.
1097         (process_it): use it.
1098
1099         * config/debian/dak.conf (Binary-Upload-Restrictions): new stanza
1100         to configure per suite/component/architecture binary upload
1101         restrictions.
1102
1103 2006-10-09  James Troup  <james.troup@canonical.com>
1104
1105         * dak/process_unchecked.py (check_timestamps): change match to
1106         search as recent versions of python-apt prefix the string with 'E: '.
1107
1108 2006-10-09  James Troup  <james.troup@canonical.com>
1109
1110         * dak/process_unchecked.py (check_timestamps): change match to
1111         search as recent versions of python-apt prefix the string with 'E: '.
1112
1113 2006-06-26  Ryan Murray  <rmurray@debian.org>
1114
1115         * dak/process_unchecked.py (check_files): strip optional source version
1116         from Source: field in changes file, and ensure what is left is a valid
1117         package name.
1118
1119 2006-06-26  Ryan Murray  <rmurray@debian.org>
1120
1121         * dak/process_unchecked.py (check_files): strip optional source version
1122         from Source: field in changes file, and ensure what is left is a valid
1123         package name.
1124
1125 2006-06-23  Ryan Murray  <rmurray@debian.org>
1126
1127         * dak/process_unchecked.py (check_files): also check ProposedUpdates
1128         queue for source.
1129
1130 2006-06-23  Ryan Murray  <rmurray@debian.org>
1131
1132         * dak/process_unchecked.py (check_files): also check ProposedUpdates
1133         queue for source.
1134
1135 2006-06-18  Ryan Murray  <rmurray@debian.org>
1136
1137         * dak/scripts/debian/update-ftpstats: look for dak named processes in
1138         the log, too.
1139
1140         * dak/process_unchecked.py (check_files): only check embargoed and
1141         unembargoed queues if the keys are set.
1142
1143         * dak/config/debian-security/apt.conf: set Packages::Compress to gzip
1144         and bzip2 for etch.
1145
1146 2006-06-18  Ryan Murray  <rmurray@debian.org>
1147
1148         * dak/scripts/debian/update-ftpstats: look for dak named processes in
1149         the log, too.
1150
1151         * dak/process_unchecked.py (check_files): only check embargoed and
1152         unembargoed queues if the keys are set.
1153
1154         * dak/config/debian-security/apt.conf: set Packages::Compress to gzip
1155         and bzip2 for etch.
1156
1157 2006-06-16  James Troup  <james@nocrew.org>
1158
1159         * dak/dak.py (init): add new-security-install.
1160
1161         * dak/new_security_install.py: cleanups and adapt for new naming
1162         scheme and other changes.
1163
1164 2006-06-16  Anthony Towns  <ajt@debian.org>
1165
1166         * dak/new_security_install.py: initial version imported from
1167         klecker.
1168
1169 2006-06-16  James Troup  <james@nocrew.org>
1170
1171         [Merged changes from klecker - original author unknown.]
1172
1173         * daklib/queue.py (Upload.dump_vars): also save changes["adv id"].
1174
1175         * dak/security_install.py (do_upload): fix check for oldstable and
1176         upload file list handling.
1177
1178         * dak/process_unchecked.py (check_files): update "check for
1179         source" code to also look in Embargoed and Unembargoed queues.
1180         (is_unembargo): fix handling of Dir::Queue::Disembargo.
1181
1182         * dak/decode_dot_dak.py (main): add support for changes["adv id"].
1183
1184         * config/debian-security/vars (disembargo): add.
1185
1186         * config/debian-security/dak.conf (Dinstall::SigningKeyIds):
1187         update.
1188         (Process-Unchecked::AcceptedLockFile): add.
1189         (Suite::Testing): clean up Version and Description.
1190         (SuiteMappings): add silent map from etch-secure to testing.
1191
1192         * config/debian-security/cron.unchecked: add support for
1193         disembargoed queues.
1194
1195         * config/debian-security/apt.conf.buildd: add bzip2ed Packages
1196         files too.
1197
1198         * config/debian-security/apt.conf: add amd64 to architectures for
1199         testing-security.
1200
1201 2006-06-11  James Troup  <troup@spohr.debian.org>
1202
1203         * config/debian/cron.daily: invoke process-accepted not
1204         process-unchecked.
1205
1206         * config/debian/vars (scriptsdir): new variable.
1207         * config/debian/cron.daily: use it.
1208
1209         * scripts/debian/mkmaintainers: put Maintainers_Versions-non-US in
1210         $base/misc/ instead of versioned $masterdir.  Correct 'dak
1211         make-maintainers' invocation to look in $configdir for
1212         pseudo-packages.maintainers.
1213
1214         * daklib/queue.py (Upload.do_reject): use correct name for
1215         rejection template.
1216
1217 2006-06-11  James Troup  <james@nocrew.org>
1218
1219         * dak/override.py (main): temporarily add content of old X-Katie
1220         header back as the PTS apparently filters on it.
1221         * dak/process_accepted.py (main): likewise.
1222         * dak/process_new.py (main): likewise.
1223         * dak/process_unchecked.py (main): likewise.
1224         * dak/reject_proposed_updates.py (main): likewise.
1225         * dak/rm.py (main): likewise.
1226         * daklib/queue.py (Upload.do_reject): likewise.
1227
1228         * config/debian/cron.unchecked: set -u to error out on undefined
1229         variables.  Preset LOCKDAILY to "" accordingly.
1230         * config/debian/cron.hourly: likewise.
1231         * config/debian/cron.monthly: likewise.
1232         * config/debian/cron.weekly: likewise.
1233
1234         * config/debian/vars (configdir): add new variable pointing to
1235         this directory.
1236
1237         * config/debian/cron.daily: use $configdir inplace of $masterdir
1238         when that's what we mean, and don't cd into $masterdir just to run
1239         dak scripts as we don't need to do that anymore.
1240         * config/debian/cron.hourly: likewise.
1241         * config/debian/cron.unchecked: likewise.
1242         * config/debian/cron.weekly: likewise.
1243
1244         * config/debian/dak.conf
1245         (Import-Users-From-Passwd::KnownPostgres): temporarily add 'katie'
1246         user back to list of known users as it's non-trivial to entirely
1247         change the owner of a database with postgresql 7.4.
1248
1249         * daklib/queue.py (Upload.source_exists): use string object
1250         methods rather than string module.
1251         (Upload.get_anyversion): likewise.
1252
1253         * daklib/utils.py (validate_changes_file_arg): update filename
1254         slicing to cope with new .dak filenames.
1255
1256         * dak/ls.py (main): add back 'heidi' as a valid argument for
1257         -f/--format as people are using it in scripts and breaking that
1258         without warning seems rude.
1259
1260 2006-05-21  James Troup  <james@nocrew.org>
1261
1262         * dak/rm.py (main): use string .isdigit() rather than
1263         utils.str_isnum().
1264         * dak/process_new.py (edit_overrides): likewise.
1265
1266         * daklib/utils.py (str_isnum): removed accordingly.  Also drop
1267         string import.
1268
1269 2006-05-21  James Troup  <james@nocrew.org>
1270
1271         * dak/check_archive.py (check_indices_files_exist): use list
1272         comprehension instead of map().  No longer need to import
1273         deprecated string module as a side-effect.
1274         * dak/check_overrides.py (process): likewise.
1275         (main): likewise.
1276         * dak/cruft_report.py (do_obsolete_source): likewise.
1277         (main): likewise.
1278         * dak/ls.py (main): likewise.
1279         * dak/make_suite_file_list.py (write_filelists): likewise.
1280         * dak/process_accepted.py (stable_install): likewise.
1281         * dak/rm.py (main): likewise.
1282         * dak/stats.py (number_of_packages): likewise.
1283         * daklib/logging.py (Logger.log): likewise.
1284         * daklib/queue.py (Upload.source_exists): likewise.
1285         (Upload.cross_suite_version_check): likewise.
1286         * daklib/utils.py (parse_args): likewise.
1287
1288 2006-05-21  James Troup  <james@nocrew.org>
1289
1290         * daklib/utils.py (process_gpgv_output): new function, split out
1291         of check_signature().
1292         (check_signature): adapt accordingly.
1293         (retrieve_key): new function that will try to retrieve the key
1294         that signed a given file from a keyserver.
1295         (check_signature): add 'autofetch' argument that if not set
1296         defaults to the value of Dinstall::KeyAutoFetch (if that exists).
1297         If 'autofetch' is true, invoke retrieve_key().
1298
1299         * docs/README.config: document Dinstall::KeyAutoFetch and
1300         Dinstall:KeyServer.
1301
1302 2006-05-20  James Troup  <james@nocrew.org>
1303
1304         * dak/find_null_maintainers.py (main):
1305         s/createtimestamp/createTimestamp/ to make things work with modern
1306         slapd.
1307
1308         * config/debian/dak.conf: Update StableRejector, MoreInfoURL,
1309         Stable::Version and Stable::Description for 3.1r2.
1310
1311         * config/debian-non-US/dak.conf: sync with klecker - update
1312         version number of 3.0 and MoreInfoURL.
1313
1314         * docs/README.stable-point-release: Add notes about updating
1315         dak.conf and Reject-Proposed-Updates section in particular.
1316         s/woody/stable/.  Also need to update README.html.
1317
1318         * scripts/debian/mklslar: drop support for uncompressed ls-lR file.
1319
1320         * config/debian/apt.conf: Add udeb tree for proposed-updates.
1321
1322 2006-05-20  Ryan Murray  <rmurray@debian.org>
1323
1324         * scripts/debian/update-ftpstats: new script to update daily
1325         architecture size graph data.
1326
1327         * config/debian/cron.buildd: sync with spohr - due to ftp-master /
1328         buildd split, simply ssh to buildd.d.o and call 'trigger.often'
1329         there.
1330
1331         * config/debian/cron.daily: ssh to buildd and run 'trigger.daily'
1332         before we finish.  Don't push to merkel.
1333
1334         * dak/process_unchecked.py (check_changes): Also look in
1335         ProposedUpdates queue dir.
1336         (check_files): likewise.
1337
1338 2006-05-20  Anthony Towns  <ajt@debian.org>
1339
1340         * scripts/debian/mkfilesindices: new script to generate file
1341         indices used for partial mirroring.
1342
1343         * config/debian/cron.daily: add progress timestamps.
1344
1345         * config/debian/dak.conf: update Dinstall::SigningKeyIds. Add
1346         amd64 to testing, unstable and experimental.  Drop sh from
1347         experimental.  Move Experimental to dists/experimental.  Add
1348         Dir::ProposedUpdates.  Add Architectures::amd64.
1349
1350         * config/debian/apt.conf: add amd64 to testing, unstable and
1351         experimental.  Drop uncompressed Packages files from testing. Drop
1352         sh from experimental.  Move experimental to dists/experimental/.
1353
1354         * config/debian/vars (archs): add amd64.
1355
1356         * dak/process_unchecked.py (action): Add support for
1357         proposed-updates approval queue.
1358         (is_stableupdate): new function - checks if the upload is targeted
1359         at proposed-updates.
1360         (do_stableupdate): likewise - moves upload to proposed-updates
1361         holding area.
1362
1363         * dak/process_new.py (do_new): warn if original or new target
1364         suite are invalid.
1365
1366         * dak/generate_releases.py (print_md5sha_files): less whitespace
1367         between the hash and size.
1368
1369         * dak/generate_index_diffs.py (genchanges): don't say we're not
1370         doing anything.  Better formatting of other messages.
1371         (main): don't skip experimental and remove some 'doing stuff'
1372         prints.
1373
1374 2006-05-18  James Troup  <james@nocrew.org>
1375
1376         * dak/clean_suites.py (clean_binaries): remove debug print of SQL
1377         query.
1378
1379         * dak/init_dirs.py: pylint cleanups - long lines, unused globals,
1380         docstrings, untabify, don't shadow builtins, lowercase non-global
1381         variable names, spaces after commas.  Also bail if given any
1382         arguments since we don't accept any.
1383         * dak/init_db.py: likewise.  Also split large main() into
1384         subfunctions and rename get() to sql_get().
1385
1386         * dak/init_db.py (main): check returned value from
1387         database.get_archive_id().
1388
1389         * dak/dak.py: renamed from shell.py.  Update to support new source
1390         layout.  Created init() and usage() functions.  Various
1391         pylint-inspired cleanups.  Use daklib utils.warn() and
1392         utils.fubar().  Change 'functionality' variable to only have
1393         (command, description) and always invoke main() when running the
1394         module.  Also support -h.
1395
1396 2006-05-17  James Troup  <james@nocrew.org>
1397
1398         * dak/check_archive.py: remove $Id$ and $Revision$ strings.  Update
1399         imports of and calls to daklib modules.  Change script name
1400         everywhere, i.e. in output, mails, comments and configuration tree
1401         + filenames.  Also update references to other renamed scripts,
1402         classes and templates.  Use '.dak' instead of '.katie' for the
1403         queue info storage files.
1404         (Renamed from tea)
1405         * dak/check_overrides.py: likewise.  (Renamed from cindy)
1406         * dak/check_proposed_updates.py: likewise.  (Renamed from jeri)
1407         * dak/clean_proposed_updates.py: likewise.  (Renamed from halle)
1408         * dak/clean_queues.py: likewise.  (Renamed from shania)
1409         * dak/clean_suites.py: likewise.  (Renamed from rhona)
1410         * dak/compare_suites.py: likewise.  (Renamed from andrea)
1411         * dak/control_overrides.py: likewise.  (Renamed from natalie)
1412         * dak/control_suite.py: likewise.  (Renamed from heidi)
1413         * dak/cruft_report.py: likewise.  (Renamed from rene)
1414         * dak/decode_dot_dak.py: likewise.  (Renamed from ashley)
1415         * dak/find_null_maintainers.py: likewise.  (Renamed from rosamund)
1416         * dak/generate_index_diffs.py: likewise.  (Renamed from tiffani)
1417         * dak/generate_releases.py: likewise.  (Renamed from ziyi)
1418         * dak/import_archive.py: likewise.  (Renamed from neve)
1419         * dak/import_ldap_fingerprints.py: likewise. (Renamed from emilie)
1420         * dak/import_users_from_passwd.py: likewise. (Renamed from julia)
1421         * dak/init_db.py: likewise. (Renamed from alyson)
1422         * dak/init_dirs.py: likewise. (Renamed from rose)
1423         * dak/ls.py: likewise. (Renamed from madison)
1424         * dak/make_maintainers.py: likewise.  (Renamed from charisma)
1425         * dak/make_overrides.py: likewise.  (Renamed from denise)
1426         * dak/make_suite_file_list.py: likewise.  (Renamed from jenna)
1427         * dak/mirror_split.py: likewise.  (Renamed from billie)
1428         * dak/override.py: likewise.  (Renamed from alicia)
1429         * dak/poolize.py: likewise.  (Renamed from catherine)
1430         * dak/process_accepted.py: likewise.  (Renamed from kelly)
1431         * dak/process_new.py: likewise.  (Renamed from lisa)
1432         * dak/process_unchecked.py: likewise.  (Renamed from jennifer)
1433         * dak/queue_report.py: likewise.  (Renamed from helena)
1434         * dak/reject_proposed_updates.py: likewise.  (Renamed from lauren)
1435         * dak/rm.py: likewise.  (Renamed from melanie)
1436         * dak/security_install.py: likewise.  (Renamed from amber)
1437         * dak/split_done.py: likewise.  (Renamed from nina)
1438         * dak/stats.py: likewise.  (Renamed from saffron)
1439         * dak/symlink_dists.py: likewise.  (Renamed from saffron)
1440         * daklib/database.py: likewise.  (Renamed from db_access)
1441         * daklib/queue.py: likewise.  'Katie' class -> 'Upload'. (Renamed from katie)
1442         * daklib/utils.py: likewise.
1443
1444         * dak/cruft_report.py: Use '[auto-cruft]' as the magic "this removal
1445         doesn't need to notify anyone" string.
1446         * dak/rm.py: likewise, look for '[auto-cruft]' as the magic string.
1447
1448         * dak/process_accepted.py (init): drop -V/--version argument.
1449         * dak/process_new.py (init): likewise.
1450         * dak/process_unchecked.py (init): likewise.
1451         * dak/reject_proposed_updates.py (init): likewise
1452
1453         * dak/shell.py: Renamed from dak.  ".katie" -> ".dak"
1454
1455         * dak/stats.py: in usage() output change STAT to MODE.
1456
1457 2006-05-15  James Troup  <james@nocrew.org>
1458
1459         * dak/queue_report.py: remove unused encodings imports.
1460
1461         * dak/mirror_split.py: drop unused pg, pwd, db_access and logging
1462         imports.  Initalize 'Cnf' as a global.
1463         (BillieDB._internal_recurse): fix 'util.' typo.
1464
1465         * dak/import_ldap_fingerprints.py (main): drop unused time import and
1466         commented out time check for LDAP search.
1467
1468 2005-12-16  Ryan Murray  <rmurray@debian.org>
1469
1470         * halle: add support for udebs
1471         * kelly: stable_install: add support for binNMU versions
1472
1473 2005-12-05  Anthony Towns  <aj@erisian.com.au>
1474
1475         * katie.py: Move accept() autobuilding support into separate function 
1476         (queue_build), and generalise to build different queues
1477
1478         * db_access.py: Add get_or_set_queue_id instead of hardcoding accepted=0
1479
1480         * jennifer: Initial support for enabling embargo handling with the
1481         Dinstall::SecurityQueueHandling option.
1482         * jennifer: Shift common code into remove_from_unchecked and move_to_dir
1483         functions.
1484
1485         * katie.conf-security: Include embargo options
1486         * katie.conf-security: Add Lock dir
1487         * init_pool.sql-security: Create disembargo table
1488         * init_pool.sql-security: Add constraints for disembargo table
1489
1490 2005-11-26  Anthony Towns  <aj@erisian.com.au>
1491
1492         * Merge of changes from klecker, by various people
1493
1494         * amber: special casing for not passing on amd64 and oldstable updates
1495         * amber: security mirror triggering
1496         * templates/amber.advisory: updated advisory structure
1497         * apt.conf.buildd-security: update for sarge's release
1498         * apt.conf-security: update for sarge's release
1499         * cron.buildd-security: generalise suite support, update for sarge's release
1500         * cron.daily-security: update for sarge's release, add udeb support
1501         * vars-security: update for sarge's release
1502         * katie.conf-security: update for sarge's release, add amd64 support,
1503         update signing key
1504
1505         * docs/README.names, docs/README.quotes: include the additions
1506
1507 2005-11-25  Anthony Towns  <aj@erisian.com.au>
1508
1509         * Changed accepted_autobuild to queue_build everywhere.
1510         * Add a queue table.
1511         * Add a "queue" field in the queue_build table (currently always 0)
1512
1513         * jennifer: Restructure to make it easier to support special
1514         purpose queues between unchecked and accepted.
1515
1516 2005-11-25  Anthony Towns  <aj@erisian.com.au>
1517
1518         * Finishing merge of changes from spohr, by various people still
1519
1520         * jennifer: If changed-by parsing fails, set variables to "" so REJECT
1521         works
1522         * jennifer: Re-enable .deb ar format checking
1523         * katie.py: Convert to +bX binNMU special casing
1524         * rhona: Add some debug output when deleting binaries
1525         * cron.daily: Add emilie
1526         * cron.unchecked: Add lock files
1527
1528 2005-11-15  Anthony Towns  <aj@erisian.com.au>
1529
1530         * Merge of changes from spohr, by various people.
1531
1532         * tiffani: new script to do patches to Packages, Sources and Contents
1533         files for quicker downloads.
1534         * ziyi: update to authenticate tiffani generated files
1535
1536         * dak: new script to provide a single binary with less arbitrary names
1537         for access to dak functionality.
1538
1539         * cindy: script implemented
1540
1541         * saffron: cope with suites that don't have a Priority specified
1542         * heidi: use get_suite_id()
1543         * denise: don't hardcode stable and unstable, or limit udebs to unstable
1544         * denise: remove override munging for testing (now done by cindy)
1545         * helena: expanded help, added new, sort and age options, and fancy headers
1546         * jennifer: require description, add a reject for missing dsc file
1547         * jennifer: change lock file
1548         * kelly: propogation support
1549         * lisa: honour accepted lock, use mtime not ctime, add override type_id
1550         * madison: don't say "dep-retry"
1551         * melanie: bug fix in output (missing %)
1552         * natalie: cope with maintainer_override == None; add type_id for overrides
1553         * nina: use mtime, not ctime
1554
1555         * katie.py: propogation bug fixes
1556         * logging.py: add debugging support, use | as the logfile separator
1557
1558         * katie.conf: updated signing key (4F368D5D)
1559         * katie.conf: changed lockfile to dinstall.lock
1560         * katie.conf: added Lisa::AcceptedLockFile, Dir::Lock
1561         * katie.conf: added tiffani, cindy support
1562         * katie.conf: updated to match 3.0r6 release
1563         * katie.conf: updated to match sarge's release
1564
1565         * apt.conf: update for sarge's release
1566         * apt.conf.stable: update for sarge's release
1567         * apt.conf: bump daily max Contents change to 25MB from 12MB
1568
1569         * cron.daily: add accepted lock and invoke cindy
1570         * cron.daily: add daily.lock
1571         * cron.daily: invoke tiffani
1572         * cron.daily: rebuild accepted buildd stuff
1573         * cron.daily: save rene-daily output on the web site
1574         * cron.daily: disable billie
1575         * cron.daily: add stats pr0n
1576
1577         * cron.hourly: invoke helena
1578
1579         * pseudo-packages.maintainers,.descriptions: miscellaneous updates
1580         * vars: add lockdir, add etch to copyoverrides
1581         * Makefile: add -Ipostgresql/server to CXXFLAGS
1582
1583         * docs/: added README.quotes
1584         * docs/: added manpages for alicia, catherine, charisma, cindy, heidi,
1585         julia, katie, kelly, lisa, madison, melanie, natalie, rhona.
1586
1587         * TODO: correct spelling of "conflicts"
1588
1589 2005-05-28  James Troup  <james@nocrew.org>
1590
1591         * helena (process_changes_files): use MTIME rather than CTIME (the
1592         C's not for 'creation', stupid).
1593         * lisa (sort_changes): likewise.
1594
1595         * jennifer (check_distributions): use has_key rather than an 'in'
1596         test which doesn't work with python2.1.  [Probably by AJ]
1597
1598 2005-03-19  James Troup  <james@nocrew.org>
1599
1600         * rene (main): use Suite::<suite>::UdebComponents to determine
1601         what components have udebs rather than assuming only 'main' does.
1602
1603 2005-03-18  James Troup  <james@nocrew.org>
1604
1605         * utils.py (rfc2047_encode): use codecs.lookup() rather than
1606         encodings.<encoding>.Codec().decode() as encodings.utf_8 no longer
1607         has a Codec() module in python2.4.  Thanks to Andrew Bennetts
1608         <andrew@ubuntu.com>.
1609
1610 2005-03-06  Joerg Jaspert  <ganneff@debian.org>
1611
1612         * helena: add -n/--new HTML output option and improved sorting
1613         options.
1614
1615 2005-03-06  Ryan Murray  <rmurray@debian.org>
1616
1617         * shania(main): use Cnf::Dir::Reject instead of REJECT
1618
1619 2005-02-08  James Troup  <james@nocrew.org>
1620
1621         * rene (main): add partial NBS support by checking that binary
1622         packages are built by their real parent and not some random
1623         stranger.
1624         (do_partial_nbs): likewise.
1625
1626 2005-01-18  James Troup  <james@nocrew.org>
1627
1628         * katie.py (Katie.build_summaries): avoid leaking file handle when
1629         extracting package description.
1630         (Katie.force_reject): remember and close each file descriptor we
1631         use.
1632         (Katie.do_reject): s/file/temp_fh/ to avoid pychecker warning.
1633         s/reason_file/reason_fd/ because it's a file descriptor.
1634         (Katie.check_dsc_against_db): avoid leaking file handle whenever
1635         invoking apt_pkg.md5sum().
1636
1637         * jennifer (check_deb_ar): new function: sanity check the ar
1638         contents of a .deb.
1639         (check_files): use it.
1640         (check_timestamps): check for data.tar.bz2 if data.tar.gz can't be
1641         found.
1642         (check_files): accept 'raw-installer' as an alias for 'byhand'.
1643
1644 2005-01-14  Anthony Towns  <ajt@debian.org>
1645
1646         * kelly: when UNACCEPTing, don't double up the "Rejecting:"
1647
1648         * propup stuff (thanks to Andreas Barth)
1649         * katie.conf: add stable MustBeOlderThan testing, add -security
1650           propup
1651         * jennifer: set distribution-version in .katie if propup may be needed
1652         * katie.py: add propogation to cross_suite_version_check
1653
1654 2004-11-27  James Troup  <james@nocrew.org>
1655
1656         * nina: new script to split monolithic queue/done into date-based
1657         hierarchy.
1658
1659         * rene (usage): document -s/--suite.
1660         (add_nbs): use .setdefault().
1661         (do_anais): likewise.
1662         (do_nbs): don't set a string to "" and then += it.
1663         (do_obsolete_source): new function - looks for obsolete source
1664         packages (i.e source packages whose binary packages are ALL a)
1665         claimed by someone else and b) newer when built from the other
1666         source package).
1667         (main): support -s/--suite.  Add 'obsolete source' to both 'daily'
1668         and 'full' check modes.  Check for obsolete source packages.
1669         linux-wlan-ng has been fixed - remove hideous bodge.
1670
1671         * jennifer (check_distributions): support 'reject' suite map type.
1672
1673         * utils.py (validate_changes_file_arg): s/file/filename/.
1674         s/fatal/require_changes/.  If require_changes is -1, ignore errors
1675         and return the .changes filename regardless.
1676         (re_no_epoch): s/\*/+/ as there must be a digit in an epoch.
1677         (re_no_revision): don't escape '-', it's not a special character.
1678         s/\*/+/ as there must be at least one non-dash character after the
1679         dash in a revision.  Thanks to Christian Reis for noticing both of
1680         these.
1681
1682         * ashley (main): pass require_changes=-1 to
1683         utils.validate_changes_file_arg().
1684
1685         * pseudo-packages.maintainers (kernel): switch to 'Debian Kernel
1686         Team <debian-kernel@lists.debian.org>'.
1687
1688         * katie.py (Katie.in_override_p): fix .startswith() usage.
1689
1690         * katie.conf (Dinstall::DefaultSuite): add as 'unstable'.
1691         (Lauren::MoreInfoURL): update to 3.0r3.
1692         (Suite::Stable::Version): likewise.
1693         (Suite::Stable::Description): likewise.
1694
1695         * cron.daily: disable automatic task override generation.
1696
1697         * cindy (process): restrict "find all packages" queries by
1698         component.  Respect Options["No-Action"].
1699         (main): add -n/--no-action support.  Only run on unstable.  Rename
1700         type to otype (pychecker).
1701
1702 2004-11-27  Daniel Silverstone  <dsilvers@digital-scurf.org>
1703
1704         * katie.conf (Billie::BasicTrees): add all architectures.
1705         (Billie::CombinationTrees): remove 'welovehp' and 'embedded', add
1706         'everything'.
1707
1708         * cron.daily: Update a 'current' symlink when creating the
1709         post-daily-cron-job database backup to aid mirroring to merkel.
1710         Run billie.
1711
1712         * billie (BillieTarget.poolish_match): handle .udeb too.
1713
1714 2004-10-13  Ryan Murray  <rmurray@debian.org>
1715
1716         * amber (do_upload): Sort changes files in "katie" order so that
1717           source always arrives before binary-only rebuilds
1718
1719 2004-10-05  James Troup  <james@nocrew.org>
1720
1721         * jennifer (check_dsc): correct reject message on invalid
1722         Maintainer field.
1723
1724 2004-09-20  James Troup  <james@nocrew.org>
1725
1726         * alicia: remove unused 'pwd' import.
1727
1728         * tea (check_override): underline suite name in output properly.
1729
1730         * rene (main): read a compressed Packages file.
1731         * tea (validate_packages): likewise.
1732
1733         * katie.py (re_fdnic): add 'r' prefix.
1734         (re_bin_only_nmu_of_mu): likewise.
1735         (re_bin_only_nmu_of_nmu): likewise.
1736
1737         * madison (main): retrieve component information too and display
1738         it if it's not 'main'.
1739         * melanie (reverse_depends_check): likewise.
1740
1741         * utils.py (pp_dep): renamed...
1742         (pp_deps): ... to this.
1743         * jeri (check_dep): update calls to utils.pp_deps().
1744         * melanie (reverse_depends_check): likewise.
1745
1746         * jennifer (check_changes): move initalization of email variables
1747         from here...
1748         (process_it): ...to here as we no longer always run
1749         check_changes().  Don't bother to initialize
1750         changes["architecture"].
1751
1752         * denise (list): renamed to...
1753         (do_list): ...this to avoid name clash with builtin 'list'.
1754         Similarly, s/file/output_file/, s/type/otype/.  Use .setdefault()
1755         for dictionaries.
1756         (main): Likewise for name clash avoidance and also
1757         s/override_type/suffix/.  Adjust call to do_list().
1758
1759 2004-09-01  Ryan Murray  <rmurray@debian.org>
1760
1761         * tea (check_files): check the pool/ directory instead of dists/
1762
1763 2004-08-04  James Troup  <james@nocrew.org>
1764
1765         * jenna (cleanup): use .setdefault() for dictionaries.
1766         (write_filelists): likewise.
1767
1768         (write_filelists): Use utils.split_args() not split() to split
1769         command line arguments.
1770         (stable_dislocation_p): likewise.
1771
1772         (write_filelists): Add support for mapping side of suite-based
1773         "Arch: all mapping".
1774         (do_da_do_da): ensure that if we're not doing all suites that we
1775         process enough to be able correct map arch: all packages.
1776
1777         * utils.py (cant_open_exc): correct exception string,
1778         s/read/open/, s/.$//.
1779
1780         * templates/amber.advisory: update to match reality a little
1781         better.
1782
1783         * melanie (reverse_depends_check): read Packages.gz rather than
1784         Packages.
1785
1786         * jennifer (check_files): check for unknown component before
1787         checking for NEWness.
1788
1789         * katie.py (Katie.in_override_p): use .startswith in favour of a
1790         slice.
1791
1792         * docs/melanie.1.sgml: document -R/--rdep-check.
1793
1794 2004-07-12  Daniel Silverstone  <dsilvers@digital-scurf.org>
1795
1796         * billie (main): Make the verbatim lists include all the README
1797           elements.
1798         * docs/README.names: Add billie in (correcting oversight)
1799
1800 2004-07-01  James Troup  <james@nocrew.org>
1801
1802         * emilie (main): handle woody's case-sensitive python-ldap,
1803         s/keyfingerprint/keyFingerPrint/.
1804
1805 2004-06-25  James Troup  <james@nocrew.org>
1806
1807         * debian/control (Depends): add dpkg-dev since jennifer uses
1808         dpkg-source.
1809
1810 2004-06-24  James Troup  <james@nocrew.org>
1811
1812         * melanie (main): s/file/temp_file/ and close file handle before
1813         removing the temporary file.
1814         (main): don't warn about needing a --carbon-copy if in no-action
1815         mode.
1816
1817         * rene (do_nbs): pcmcia-cs has been fixed - remove hideous bodge.
1818         (main): likewise.
1819
1820         * test/006/test.py (main): check bracketed email-only form.
1821
1822         * utils.py (fix_maintainer): if the Maintainer string is bracketed
1823         email-only, strip the brackets so we don't end up with
1824         <<james@nocrew.org>>.
1825
1826 2004-06-20  James Troup  <james@nocrew.org>
1827
1828         * jennifer (process_it): only run check_changes() if
1829         check_signature() returns something.  (Likewise)
1830
1831         * utils.py (changes_compare): if there's no changes["version"] use
1832         "0" rather than None.  (Avoids a crash on unsigned changes file.)
1833
1834 2004-06-17  Martin Michlmayr  <tbm@cyrius.com>
1835
1836         * jeri (pp_dep): moved from here to ...
1837         * utils.py (pp_dep): here.
1838
1839         * melanie (main): add reverse dependency checking.
1840
1841 2004-06-17  James Troup  <james@nocrew.org>
1842
1843         * jennifer (check_dsc): s/dsc_whitespace_rules/signing_rules/.
1844         * tea (check_dscs): likewise.
1845
1846         * utils.py (parse_changes): s/dsc_whitespace_rules/signing_rules/,
1847         change from boolean to a variable with 3 possible values, 0 and 1
1848         as before, -1 means don't require a signature.  Makes
1849         parse_changes() useful for parsing arbitary RFC822-style files,
1850         e.g. 'Release' files.
1851         (check_signature): add support for detached signatures by passing
1852         the files the signature is for as an optional third argument.
1853         s/filename/sig_filename/g.  Add a fourth optional argument to
1854         choose the keyring(s) to use.  Don't os.path.basename() the
1855         sig_filename before checking it for taint.
1856         (re_taint_free): allow '/'.
1857
1858 2004-06-11  James Troup  <james@nocrew.org>
1859
1860         * tea (check_files): make override.unreadable optional.
1861         (validate_sources): close the Sources file handle.
1862
1863         * docs/README.first: clarify that 'alyson' and running
1864         add_constraints.sql by hand is something you only want to do if
1865         you're not running 'neve'.
1866
1867         * docs/README.config (Location::$LOCATION::Suites): document.
1868
1869         * db_access.py (do_query): also print out the result of the query.
1870
1871 2004-06-10  James Troup  <james@nocrew.org>
1872
1873         * katie.py (Katie.cross_suite_version_check): post-woody versions
1874         of python-apt's apt_pkg.VersionCompare() function apparently
1875         returns variable integers for less than or greater than results -
1876         update our result checking to match.
1877         * jenna (resolve_arch_all_vs_any): likewise.
1878         * charisma (main): likewise.
1879
1880 2004-06-09  James Troup  <james@nocrew.org>
1881
1882         * jennifer (process_it): s/changes_valid/valid_changes_p/.  Add
1883         valid_dsc_p and don't run check_source() if check_dsc() failed.
1884         (check_dsc): on fatal failures return 0 so check_source() isn't
1885         run (since it makes fatal assumptions about the presence of
1886         mandatory .dsc fields).
1887         Remove unused and obsolete re_bad_diff and re_is_changes regexps.
1888
1889 2004-05-07  James Troup  <james@nocrew.org>
1890
1891         * katie.conf (Rhona::OverrideFilename): unused and obsolete, remove.
1892         * katie.conf-non-US (Rhona::OverrideFilename): likewise.
1893
1894         * katie.conf (Dir::Override): remove duplicate definition.
1895
1896         * neve (get_or_set_files_id): add an always-NULL last_used column
1897         to output.
1898
1899 2004-04-27  James Troup  <james@nocrew.org>
1900
1901         * apt.conf-security (tree "dists/stable/updates"): add
1902         ExtraOverride - noticed by Joey Hess (#246050).
1903         (tree "dists/testing/updates"): likewise.
1904
1905 2004-04-20  James Troup  <james@nocrew.org>
1906
1907         * jennifer (check_files): check for existing .changes or .katie
1908         files of the same name in the Suite::<suite>::Copy{Changes,Katie}
1909         directories.
1910
1911 2004-04-19  James Troup  <james@nocrew.org>
1912
1913         * jennifer (check_source): handle failure to remove the temporary
1914          directory (used for source tree extraction) better, specifically:
1915          if we fail with -EACCES, chmod -R u+rwx the temporary directory
1916          and try again and if that works, REJECT the package.
1917
1918 2004-04-17  James Troup  <james@nocrew.org>
1919
1920         * docs/madison.1.sgml: document -b/--binary-type,
1921         -g/--greaterorequal and -G/--greaterthan.
1922
1923         * madison (usage): -b/--binary-type only takes a single argument.
1924         Document -g/--greaterorequal and -G/--greaterthan.
1925         (main): add support for -g/--greaterorequal and -G/--greaterthan.
1926
1927 2004-04-12  Daniel Silverstone  <dsilvers@digital-scurf.org>
1928
1929         * billie: Cleaned up a load of comments, added /README.non-US to
1930           the verbatim matches list.
1931
1932 2004-04-07  Daniel Silverstone  <dsilvers@digital-scurf.org>
1933
1934         * utils.py (size_type): Make it use real binary megabytes and
1935           kilobytes, instead of the marketing terms used before.
1936
1937 2004-04-07  James Troup  <james@nocrew.org>
1938
1939         * katie.py (Katie.check_dsc_against_db): in the case we're
1940         ignoring an identical-to-existing orig.tar.gz remember the path to
1941         the existent version in pkg.orig_tar_gz.  Adjust query to grab
1942         location.path too to be able to do so.
1943
1944 2004-04-03  James Troup  <james@nocrew.org>
1945
1946         * debian/control (Depends): add python2.1-email | python (>= 2.2)
1947         needed for new utils.rfc2047_encode() function.
1948
1949         * utils.py (re_parse_maintainer): allow whitespace inside the
1950         email address.
1951         (Error): new exception base class.
1952         (ParseMaintError): new exception class.
1953         (force_to_utf8): new function.
1954         (rfc2047_encode): likewise.
1955         (fix_maintainer): rework.  use force_to_utf8() to force name and
1956         rfc822 return values to always use UTF-8.  use rfc2047_encode() to
1957         return an rfc2047 value.  Validate the address to catch missing
1958         email addresses and (some) broken ones.
1959
1960         * katie.py (nmu_p.is_an_nmu): adapt for new utils.fix_maintainer()
1961         by adopting foo2047 return value.
1962         (Katie.dump_vars): add changedby2047 and maintainer2047 as
1963         mandatory changes fields.  Promote changes and maintainer822 to
1964         mandatory fields.
1965         (Katie.update_subst): default maintainer2047 rather than
1966         maintainer822.  User foo2047 rather than foo822 when setting
1967         __MAINTAINER_TO__ or __MAINTAINER_FROM__.
1968
1969         * jennifer (check_changes): set default changes["maintainer2047"]
1970         and changes["changedby2047"] values rather than their 822
1971         equivalents.  Makes changes["changes"] a mandatory field.  Adapt
1972         to new utils.fix_maintainer() - reject on exception and adopt
1973         foo2047 return value.
1974         (check_dsc): if a mandatory field is missing don't do any further
1975         checks and as a result reduce paranoia about dsc[var] existence.
1976         Validate the maintainer field by calling new
1977         utils.fix_maintainer().
1978
1979         * ashley (main): add changedby2047 and maintainer2047 to mandatory
1980         changes fields.  Promote maintainer822 to a mandatory changes
1981         field.  add "pool name" to files fields.
1982
1983         * test/006/test.py: new file - tests for new
1984         utils.fix_maintainer().
1985
1986 2004-04-01  James Troup  <james@nocrew.org>
1987
1988         * templates/lisa.prod (To): use __MAINTAINER_TO__ not __MAINTAINER__.
1989
1990         * jennifer (get_changelog_versions): create a symlink mirror of
1991         the source files in the temporary directory.
1992         (check_source): if check_dsc_against_db() couldn't find the
1993         orig.tar.gz bail out.
1994
1995         * katie.py (Katie.check_dsc_against_db): if the orig.tar.gz is not
1996         part of the upload store the path to it in pkg.orig_tar_gz and if
1997         it can't be found set pkg.orig_tar_gz to -1.
1998
1999         Explicitly return the second value as None in the (usual) case
2000         where we don't have to reprocess.  Remove obsolete diagnostic
2001         logs.
2002
2003         * lisa (prod_maintainer): don't return anything, no one cares. (pychecker)
2004
2005         * utils.py (temp_filename): new helper function that wraps around
2006         tempfile.mktemp().
2007
2008         * katie.py (Katie.do_reject): use it and don't import tempfile.
2009         * lisa (prod_maintainer): likewise.
2010         (edit_note): likewise.
2011         (edit_new): likewise.
2012         * lauren (reject): likewise.
2013         * melanie (main): likewise.
2014         * neve (do_sources): likewise.
2015         * rene (main): likewise.
2016         * tea (validate_sources): likewise.
2017
2018 2004-03-31  James Troup  <james@nocrew.org>
2019
2020         * tea (validate_sources): remove unused 's' temporary variable.
2021
2022 2004-03-15  James Troup  <james@nocrew.org>
2023
2024         * jennifer (check_dsc): check changes["architecture"] for
2025         source before we do anything else.
2026
2027 2004-03-21  Daniel Silverstone  <dsilvers@digital-scurf.org>
2028
2029         * billie: Added
2030         * katie.conf (Billie): Added sample Billie stanza to katie.conf
2031
2032 2004-03-12  James Troup  <james@nocrew.org>
2033
2034         * docs/README.config (Dir::Queue::BTSVersionTrack): document.
2035
2036         * katie.conf (Dir::Queue::BTSVersionTrack): define.
2037
2038         * katie.py (Katie.accept): add support for DebBugs Version
2039         Tracking by writing out .versions (generated in jennifer's
2040         get_changelog_versions()) and .debinfo (mapping of binary ->
2041         source) files.
2042
2043         * ashley (main): add dsc["bts changelog"].
2044
2045         * katie.py (Katie.dump_vars): store dsc["bts changelog"] too.
2046
2047         * jennifer (check_diff): obsoleted by check_source(), removed.
2048         (check_source): new function: create a temporary directory and
2049         move into it and call get_changelog_versions().
2050         (get_changelog_versions): new function: extract the source package
2051         and optionally parse debian/changelog to obtain the version
2052         history for the BTS.
2053         (process_it): call check_source() rather than check_diff().
2054
2055 2004-03-08  James Troup  <james@nocrew.org>
2056
2057         * lisa (edit_index): Fix logic swapo from 'use "if varfoo in
2058         listbar" rather than "if listbar.count(varfoo)"' change on
2059         2004-02-24.
2060
2061 2004-03-05  James Troup  <james@nocrew.org>
2062
2063         * alicia (main): don't warn about not closing bugs - we don't
2064         manage overrides through the BTS.
2065
2066 2004-02-27  Martin Michlmayr  <tbm@cyrius.com>
2067
2068         * docs/README.config: lots of updates and corrections.
2069         * docs/README.first: likewise.
2070
2071         * docs/README.config: drop unused Dir::Queue::Root.
2072         * katie.conf-non-US: likewise.
2073         * katie.conf: likewise.
2074         * katie.conf-security: likewise.
2075
2076 2004-02-27  James Troup  <james@nocrew.org>
2077
2078         * rose (process_tree): use 'if var in [ list ]' rather than long
2079         'if var == foo or var == bar or var == baz'.  Suggested by Martin
2080         Michlmayr.
2081
2082         * jennifer (check_files): reduce 'if var != None' to 'if var' as
2083         suggested by Martin Michlmayr.
2084         * catherine (poolize): likewise.
2085         * charisma (main): likewise.
2086         * halle (check_changes): likewise.
2087         * heidi (main): likewise.
2088         (process_file): likewise.
2089         * kelly (install): likewise.
2090         (stable_install): likewise.
2091         * utils.py (fix_maintainer): likewise.
2092
2093         * apt.conf: add support for debian-installer in testing-proposed-updates.
2094         * katie.conf (Suite::Testing-Proposed-Updates::UdebComponents):
2095         add - set to main.
2096
2097         * mkmaintainers: add "-T15" option to wget of non-US packages file
2098         so that we don't hang cron.daily if non-US is down.
2099
2100         * templates/lisa.prod (Subject): Prefix with "Comments regarding".
2101
2102         * templates/jennifer.bug-close: add Source and Source-Version
2103         pseudo-headers that may be used for BTS Version Tracking someday
2104         [ajt@].
2105
2106         * rene (do_nbs): special case linux-wlan-ng like we do for pcmcia.
2107         (main): likewise.
2108
2109         * cron.unchecked: it's /org/ftp.debian.org not ftp-master.
2110
2111 2004-02-25  James Troup  <james@nocrew.org>
2112
2113         * katie.conf (SuiteMappings): don't map testing-security to
2114         proposed-updates.
2115
2116 2004-02-24  James Troup  <james@nocrew.org>
2117
2118         * katie.py (Katie.__init__): remove unused 'values' field.
2119
2120         * utils.py (extract_component_from_section): use 's.find(c) != -1'
2121         rather than 's.count(c) > 0'.
2122
2123         * katie.py (Katie.source_exists): use "if varfoo in listbar"
2124         rather than "if listbar.count(varfoo)".
2125         * halle (check_joey): likewise.
2126         * jeri (check_joey): likewise.
2127         * lisa (edit_index): likewise.
2128         * jenna (stable_dislocation_p): likewise.
2129
2130         * jennifer (main): remove unused global 'nmu'.
2131
2132 2004-02-03  Daniel Silverstone  <dsilvers@digital-scurf.org>
2133
2134         * pseudo-packages.maintainers (ftp.debian.org): Changed the maintainer
2135           to be ftpmaster@ftp-master.debian.org to bring it into line with how
2136           the dak tools close bugs.
2137
2138 2004-02-02  Daniel Silverstone  <dsilvers@digital-scurf.org>
2139
2140         * katie.conf (Alicia): Added an Alicia section with email address
2141         * templates/alicia.bug-close: Added
2142         * docs/alicia.1.sgml: Added the docs for the -d/--done argument
2143         * alicia (main): Added a -d/--done argument
2144
2145 2004-02-02  Daniel Silverstone  <dsilvers@digital-scurf.org>
2146
2147         * templates/lisa.prod: Oops, missed a BITCH->PROD conversion
2148
2149 2004-01-29  Daniel Silverstone  <dsilvers@digital-scurf.org>
2150
2151         * lisa (prod_maintainer): Added function to prod the maintainer without
2152           accepting or rejecting the package
2153         * templates/lisa.prod: Added this template for the prodding mail
2154
2155         * .cvsignore: Added neve-files which turns up in new installations
2156
2157 2004-01-30  Daniel Silverstone  <dsilvers@digital-scurf.org>
2158
2159         * alicia (usage): Fixed usage message to offer section and priority
2160           as seperately optional arguments.
2161         * alicia (main): Added a % (arg) interpolation needed when only
2162           one of section or priority is provided and it cannot be found.
2163
2164 2004-01-29  Daniel Silverstone  <dsilvers@digital-scurf.org>
2165
2166         * alicia: Added
2167         * docs/alicia.1.sgml: Added
2168         * docs/Makefile: Added alicia to the list of manpages to build
2169         * docs/README.names: Noted what alicia does
2170         * docs/README.first: Noted where alicia is useful
2171
2172 2004-01-21  James Troup  <james@nocrew.org>
2173
2174         * madison (main): add -b/--binary-type.
2175         (usage): likewise.
2176
2177         * denise (main): generate debian-installer overrides for testing
2178         too.
2179         * apt.conf: add support for debian-installer in testing.
2180         * katie.conf (Suite::Testing::UdebComponents): set to main.
2181
2182         * katie.conf (Dinstall::SigningKeyIds): 2004 key.
2183         * katie.conf-non-US (Dinstall::SigningKeyIds): likewise.
2184         * katie.conf-security (Dinstall::SigningKeyIds): likewise.
2185
2186         * utils.py (parse_changes): don't process data not inside the
2187         signed data.  Thanks to Andrew Suffield <asuffield@debian.org> for
2188         pointing this out.
2189         * test/005/test.py (main): new test to test for above.
2190
2191 2004-01-04  James Troup  <james@nocrew.org>
2192
2193         * jenna (write_filelists): correct typo, s/Components/Component/
2194         for Options.
2195
2196 2004-01-04  Ryan Murray  <rmurray@debian.org>
2197
2198         * cron.buildd: move update of overrides and Packages file...
2199         * cron.unchecked: to here.
2200         * katie.conf-non-US: (Dinstall::SingingKeyIds) update for 2003v2 key
2201         * katie.conf-security: likewise
2202
2203 2003-11-20  James Troup  <james@nocrew.org>
2204
2205         * jenna (main): don't use utils.try_with_debug(), it produces way
2206         too much output.
2207
2208         * halle (check_changes): don't error out if a .changes refers to a
2209         non-existent package, just warn and skip the file.
2210
2211         * docs/README.stable-point-release: mention halle and .changes
2212         obsoleted by removal through melanie.  Update for 3.0r2.
2213
2214         * katie.conf (Suite::Stable::Version): bump to 3.0r2.
2215         (Suite::Stable::Description): update for 3.0r2.
2216         (Lauren::MoreInfoURL): likewise.
2217         * katie.conf-non-US (Suite::Stable::Version): likewise.
2218         (Suite::Stable::Description): likewise.
2219         (Lauren::MoreInfoURL): likewise.
2220
2221         * apt.conf.stable (Default): don't define MaxContentsChange.
2222         * apt.conf.stable-non-US (Default): likewise.
2223
2224         * lauren (reject): hack to work around partial replacement of an
2225         upload, i.e. one or more binaries superseded by another source
2226         package.
2227
2228 2003-11-17  James Troup  <james@nocrew.org>
2229
2230         * pseudo-packages.maintainers: point installation-reports at
2231         debian-boot@l.d.o rather than debian-testing@l.d.o at jello@d.o's
2232         request.
2233
2234         * utils.py (parse_changes): calculate the number of lines once
2235         with len() rather than max().
2236
2237         * jennifer (check_dsc): handle the .orig.tar.gz disappearing from
2238         files, since check_dsc_against_db() deletes the .orig.tar.gz
2239         entry.
2240
2241 2003-11-13  Ryan Murray  <rmurray@debian.org>
2242
2243         * apt.conf: specify a src override file for debian-installer
2244
2245 2003-11-10  James Troup  <james@nocrew.org>
2246
2247         * fernanda.py (strip_pgp_signature): new function - strips PGP
2248         signature from a file and returns the modified contents of the
2249         file in a string.
2250         (display_changes): use it.
2251         (read_dsc): likewise.
2252
2253 2003-11-09  Ryan Murray  <rmurray@debian.org>
2254
2255         * cron.buildd: export accepted_autobuild table for unstable, and use
2256         it to generate the incoming Packages/Sources rather than having apt
2257         walk the directory.
2258         * apt.conf.buildd: use exported table from cron.buildd to generate
2259         Packages/Sources
2260
2261 2003-11-07  James Troup  <james@nocrew.org>
2262
2263         * kelly: import errno.
2264
2265         * katie.py (Katie.build_summaries): sort override disparities.
2266
2267         * kelly (install): set dsc_component based on the .dsc's component
2268         not a random binaries.
2269
2270 2003-10-29  James Troup  <james@nocrew.org>
2271
2272         * katie.py (Katie.build_summaries): don't assume changes["source"]
2273         exists since it might not.
2274
2275 2003-10-20  James Troup  <james@nocrew.org>
2276
2277         * pseudo-packages.maintainers: update security.d.o to use
2278         team@s.d.o at joy@'s request.
2279
2280 2003-10-17  James Troup  <james@nocrew.org>
2281
2282         * jennifer (check_dsc): use .startswith rather than .find() == 0.
2283
2284 2003-10-17  Martin Michlmayr  <tbm@cyrius.com>
2285
2286         * tea (chk_bd_process_dir): use .endswith rather than slice.
2287
2288 2003-10-14  James Troup  <james@nocrew.org>
2289
2290         * tea (check_build_depends): new function.
2291         (chk_bd_process_dir): likewise.  Validates build-depends in .dsc's
2292         in the archive.
2293         (main): update for new function.
2294         (usage): likewise.
2295
2296         * katie.py (Katie.do_reject): sanitize variable names,
2297         s/reject_filename/reason_filename/, s/fd/reason_fd/.  Move shared
2298         os.close() to outside if clause.
2299
2300         * jennifer (check_dsc): check build-depends and
2301         build-depends-indep by running them past apt_pkg.ParseSrcDepends.
2302         Fold the ARRAY check into the same code block and tidy up it's
2303         rejection message.
2304         (check_changes): ensure that the Files field is non-empty.
2305         Suggested by Santiago Vila <sanvila@unex.es>
2306         (check_changes): normalize reject messages.
2307         (check_dsc): instead of doing most of the checks inside a for loop
2308         and an if, find the dsc_filename in a short loop over files first
2309         and then do all the checks.  Add check for more than one .dsc in a
2310         .changes which we can't handle.  Normalize reject messages.
2311
2312 2003-10-13  James Troup  <james@nocrew.org>
2313
2314         * katie.conf (Dinstall::Reject::NoSourceOnly): set to true.
2315         * katie.conf-non-US (Dinstall::Reject::NoSourceOnly): likewise.
2316
2317         * jennifer (check_files): Set 'has_binaries' and 'has_source'
2318         variables while iterating over 'files'.  Don't regenerate it when
2319         checking for source if source is mentioned.
2320
2321         Reject source only uploads if the config variable
2322         Dinstall::Reject::NoSourceOnly is set.
2323
2324 2003-10-03  James Troup  <james@nocrew.org>
2325
2326         * rene (main): add nasty hardcoded reference to debian-installer
2327         so we detect NBS .udebs.
2328
2329 2003-09-29  James Troup  <james@nocrew.org>
2330
2331         * apt.conf (old-proposed-updates): remove.
2332         * apt.conf-non-US (old-proposed-updates): likewise.
2333
2334 2003-09-24  James Troup  <james@nocrew.org>
2335
2336         * tea (check_files_not_symlinks): new function, ensure files
2337         mentioned in the database aren't symlinks.  Includes code to
2338         update any files that are like this to their real filenames +
2339         location; commented out by though.
2340         (usage): update for new function.
2341         (main): likewise.
2342
2343 2003-09-24  Anthony Towns  <ajt@debian.org>
2344
2345         * vars: external-overrides variable added
2346         * cron.daily: Update testing/unstable Task: overrides from joeyh
2347         managed external source.
2348
2349 2003-09-22  James Troup  <james@nocrew.org>
2350
2351         * kelly (install): if we can't move the .changes into queue/done,
2352         fail don't warn and carry on.  The old behaviour pre-dates NI and
2353         doesn't make much sense now since jennifer checks both
2354         queue/accepted and queue/done for any .changes files it's
2355         processing.
2356
2357         * utils.py (move): don't throw exceptions on existing files or
2358         can't overwrite, instead just fubar out.
2359
2360         * jennifer (check_dsc): also check Build-Depends-Indep for
2361         ARRAY-lossage.  Noticed by Matt Zimmerman <mdz@debian.org>.
2362
2363 2003-09-18  James Troup  <james@nocrew.org>
2364
2365         * katie.py (Katie.close_bugs): only log the bugs we've closed
2366         once.
2367
2368         * kelly (main): log as 'kelly', not 'katie'.
2369
2370 2003-09-16  James Troup  <james@nocrew.org>
2371
2372         * katie.py (Katie.check_binary_against_db): likewise noramlize.
2373
2374         * jennifer (check_changes): normalize reject message for "changes
2375         file already exists" to be %s: <foo>.
2376         (check_dsc): add a check for 'Build-Depends: ARRAY(<hex>)'
2377         produced by broken dpkg-source in 1.10.11.  Tone down and
2378         normalize rejection message for incompatible 'Format' version
2379         numbers.
2380         (check_diff): likewise tone down and normalize.
2381
2382 2003-09-07  James Troup  <james@nocrew.org>
2383
2384         * utils.py (parse_changes): if dsc_whitespace_rules is false,
2385         don't bomb out on bogus empty lines.
2386         (build_file_list): check for changes["files"] earlier.  use Dict
2387         to create files[name] dictionary.
2388         (send_mail): don't bother validating arguments.
2389         (check_signature): minor improvements to some of the rejection
2390         messages including listing the key id of the key that wasn't found
2391         in the keyring.
2392         (wrap): new function.
2393
2394         * tea: add new check 'validate-indices' that ensures all files
2395         mentioned in indices (Packages, Sources) files do in fact exist.
2396
2397         * catherine (poolize): use a local re_isadeb which handles legacy
2398         (i.e. no architecture) style .deb filenames.
2399
2400         * rosamund: new script.
2401
2402         * rhona (check_binaries): when checking for binary packages not in
2403         a suite, don't bother selecting files that already have a
2404         last_used date.
2405         (check_sources): likewise.
2406
2407         * rhona: change all SQL EXISTS sub-query clauses to use the
2408         postgres suggested convention of "SELECT 1 FROM".
2409         * andrea (main): likewise.
2410         * tea (check_override): likewise.
2411         * catherine (main): likewise.
2412
2413         * katie.conf (Suite): remove OldStable and Old-Proposed-Updates
2414         entries and in other suites MustBeNewerThan's.
2415         (SuiteMappings): likewise
2416         * katie.conf-non-US: likewise.
2417         * katie.conf-security: likewise.
2418
2419         * apt.conf-security: remove oldstable.
2420         * apt.conf.stable: likewise.
2421         * apt.conf.stable-non-US: likewise.
2422         * cron.buildd-security: likewise.
2423         * cron.daily-security: likewise.
2424         * vars-security (suites): likewise.
2425         * wanna-build/trigger.daily: likewise.
2426
2427         * claire.py (clean_symlink): move...
2428         * utils.py (clean_symlink): here.
2429
2430         * claire.py (find_dislocated_stable): update accordingly.
2431
2432 2003-08-16  Anthony Towns  <ajt@debian.org>
2433
2434         * katie.py (source_exists): expand the list of distributions
2435         the source may exist in to include any suite that's mapped to
2436         the destination suite (even transitively (a->b->c)). This should
2437         unbreak binary uploads to *-proposed-updates.
2438
2439 2003-08-09  Randall Donald  <rdonald@debian.org>
2440
2441         * lisa (recheck): change changes["distribution"].keys() to
2442         Katie.pkg.changes...
2443
2444 2003-08-08  Randall Donald  <rdonald@debian.org>
2445
2446         * katie.py: only tag bugs as fixed-in-experimental for
2447         experimental uploads
2448
2449 2003-07-26  Anthony Towns  <ajt@debian.org>
2450
2451         * katie.py (source_exists): add an extra parameter to limit the
2452         distribution(s) the source must exist in.
2453         * kelly, lisa, jennifer: update to use the new source_exists
2454
2455 2003-07-15  Anthony Towns  <ajt@debian.org>
2456
2457         * ziyi: quick hack to support a FakeDI line in apt.conf to generate
2458         checksums for debian-installer stuff even when it's just a symlink to
2459         another suite
2460
2461         * apt.conf: add the FakeDI line
2462
2463 2003-06-09  James Troup  <james@nocrew.org>
2464
2465         * kelly (check): make sure the 'file' we're looking for in 'files'
2466         hasn't been deleted by katie.check_dsc_against_db().
2467
2468 2003-05-07  James Troup  <james@nocrew.org>
2469
2470         * helena (time_pp): fix s/years/year/ typo.
2471
2472 2003-04-29  James Troup  <james@nocrew.org>
2473
2474         * madison (usage): document -c/--component.
2475
2476         * madison (usage): Fix s/seperated/separated/.
2477         * melanie (usage): likewise.
2478         * jenna (usage): likewise.
2479
2480 2003-04-24  James Troup  <james@nocrew.org>
2481
2482         * cron.daily-non-US: if there's nothing for kelly to install, say
2483         so.
2484
2485         * jennifer (check_timestamps): print sys.exc_value as well as
2486         sys.exc_type when capturing exceptions.  Prefix 'timestamp check
2487         failed' with 'deb contents' to make it clearer what timestamp(s)
2488         are being checked.
2489
2490 2003-04-15  James Troup  <james@nocrew.org>
2491
2492         * cron.daily-non-US: only run kelly if there are some .changes
2493         files in accepted.
2494
2495         * rene: add -m/--mode argument which can be either daily (default)
2496         or full.  In daily mode only 'nviu' and 'nbs' checks are run.
2497         Various changes to make this possible including a poor attempt at
2498         splitting main() up a little.  De-hardcode suite numbers from SQL
2499         queries and return quietly from do_nviu() if experimental doesn't
2500         exist (i.e. non-US).  Hardcode pcmcia-cs as dubious NBS since it
2501         is.
2502
2503         * debian/control (Depends): remove python-zlib as it's obsolete.
2504
2505         * charisma (main): don't slice the \n off strings when we're
2506         strip()-ing it anyway.
2507         * heidi (set_suite): likewise.
2508         (process_file): likewise.
2509         * natalie (process_file): likewise.
2510
2511 2003-04-08  James Troup  <james@nocrew.org>
2512
2513         * katie.py (Katie.check_dsc_against_db): improve the speed of two
2514         slow queries by using one LIKE '%foo%' and then matching against
2515         '%s' or '/%s$' in python.  Also only join location when we need it
2516         (i.e. the .orig.tar.gz query).  On auric, this knocks ~3s of each
2517         query, so 6s for each sourceful package.
2518
2519         * cron.daily: invoke rene and send the report to ftpmaster.
2520         * cron.daily-non-US: likewise.
2521
2522 2003-03-14  James Troup  <james@nocrew.org>
2523
2524         * utils.py (send_mail): default filename to blank.
2525         * amber (make_advisory): adapt.
2526         * jennifer (acknowledge_new): likewise.
2527         * katie.py (Katie.close_bugs): likewise.
2528         (Katie.announce): likewise.
2529         (Katie.accept): likewise.
2530         (Katie.check_override): likewise.
2531         (Katie.do_reject): likewise.
2532         * kelly (do_reject): likewise.
2533         (stable_install): likewise.
2534         * lisa (do_bxa_notification): likewise.
2535         * lauren (reject): likewise.
2536         * melanie (main): likewise.
2537
2538         * rene (add_nbs): check any NBS packages against unstable to see
2539         if they haven't been removed already.
2540
2541         * templates/katie.rejected: remove paragraph about rejected files
2542         since they're o-rwx due to c-i-m and the uploader can't do
2543         anything about them and shania will take care of them anyway.
2544
2545         * madison (usage): update usage example to use comma seperation.
2546         * melanie (usage): likewise.
2547
2548         * utils.py (split_args): new function; splits command line
2549         arguments either by space or comma (whichever is used).  Also has
2550         optional-but-default DWIM spurious space detection to avoid
2551         'command -a i386, m68k' problems.
2552         (parse_args): use it.
2553         * melanie (main): likewise.
2554
2555         * melanie (main): force the admin to tell someone if we're not
2556         doing a rene-led removal (or closing a bug, which counts as
2557         telling someone).
2558
2559 2003-03-05  James Troup  <james@nocrew.org>
2560
2561         * katie.conf (Section): add embedded, gnome, kde, libdevel, perl
2562         and python sections.
2563         * katie.conf-security (Section): likewise.
2564
2565         * add_constraints.sql: add uid and uid_id_seq to grants.
2566
2567         * lisa (determine_new): also warn about adding overrides to
2568         oldstable.
2569
2570         * madison (main): make the -S/--source-and-binary query obey
2571         -s/--suite restrictions.
2572
2573 2003-03-03  James Troup  <james@nocrew.org>
2574
2575         * madison (main): if the Archive_Maintenance_In_Progress lockfile
2576         exists, warn the user that our output might seem strange.  (People
2577         get confused by multiple versions in a suite which happens
2578         post-kelly but pre-jenna.)
2579
2580 2003-02-21  James Troup  <james@nocrew.org>
2581
2582         * kelly (main): we don't need to worry about StableRejector.
2583
2584         * melanie (main): sort versions with apt_pkg.VersionCompare()
2585         prior to output.
2586
2587         * lauren: new script to manually reject packages from
2588         proposed-updates.  Updated code from pre-NI kelly (nee katie).
2589
2590 2003-02-20  James Troup  <james@nocrew.org>
2591
2592         * kelly (init): remove unused -m/--manual-reject argument.
2593
2594         * katie.py (Katie.force_reject): renamed from force_move to make
2595         it more explicit what this function does.
2596         (Katie.do_reject): update to match.
2597
2598         * utils.py (prefix_multi_line_string): add an optional argument
2599         include_blank_lines which defaults to 0.  If non-zero, blank lines
2600         will be includes in the output.
2601
2602         * katie.py (Katie.do_reject): don't add leading space to each line
2603         of the reject message.  Include blank lines when showing the
2604         message to the user.
2605
2606 2003-02-19  Martin Michlmayr  <tbm@cyrius.com>
2607
2608         * utils.py (fix_maintainer): replace pointless re.sub() with
2609         simple string format.
2610
2611 2003-02-11  James Troup  <james@nocrew.org>
2612
2613         * lisa (edit_overrides): only strip-to-one-char and upper-case
2614         non-numeric answers.  Fixes editing of items with indices >= 10;
2615         noticed by Randall.
2616         (edit_overrides): correct order of arguments to "not a valid
2617         index" error message.
2618
2619         * jenna (cleanup): call resolve_arch_all_vs_any() rather than
2620         remove_duplicate_versions(); thanks to aj for the initial
2621         diagnosis.
2622         (remove_duplicate_versions): correct how we return
2623         dominant_versions.
2624         (resolve_arch_all_vs_any): arch_all_versions needs to be a list of
2625         a tuple rather than just a tuple.
2626
2627 2003-02-10  James Troup  <james@nocrew.org>
2628
2629         * emilie: new script - sync fingerprint and uid tables with a
2630         debian.org LDAP DB.
2631
2632         * init_pool.sql: new table 'uid'; contains user ids.  Reference it
2633         in 'fingerprint'.
2634
2635         * db_access.py (get_or_set_uid_id): new function.
2636
2637         * jennifer (main): update locking to a) not used FCNTL (deprecated
2638         in python >= 2.2) and b) acknowledge upstream's broken
2639         implementation of lockf (see Debian bug #74777), c) try to acquire
2640         the lock non-blocking.
2641         * kelly (main): likewise.
2642
2643         * contrib/python_1.5.2-fcntl_lockf.diff: obsolete, removed.
2644
2645         * madison (main): only append the package to new_packages if it's
2646         not already in there; fixes -S/--source-and-binary for cases where
2647         the source builds a binary package of the same name.
2648
2649 2003-02-10  Anthony Towns  <ajt@debian.org>
2650
2651         * madison (main): use explicit JOIN syntax for
2652         -S/--source-and-binary queries to reduce the query's runtime from
2653         >10 seconds to negligible.
2654
2655 2003-02-08  James Troup  <james@nocrew.org>
2656
2657         * rene (main): in the NVIU output, append items to lists, not
2658         extend them; fixes amusing suggestion that "g n u m e r i c" (sic)
2659         should be removed.
2660
2661 2003-02-07  James Troup  <james@nocrew.org>
2662
2663         * apt.conf (tree "dists/unstable"): Add bzip2-ed Packages and
2664         Sources [aj].
2665
2666         * pseudo-packages.maintainers (bugs.debian.org): s/Darren
2667         O. Benham/Adam Heath/.
2668
2669         * katie.conf (Suite::Stable::Version): bump to 3.0r1a.
2670         (Suite::Stable::Description): update for 3.0r1a.
2671         (Dinstall::SigningKeyIds): update for 2003 key [aj].
2672
2673         * utils.py (gpgv_get_status_output): rename from
2674         get_status_output().
2675
2676         * neve (check_signature): use gpgv_get_status_output and Dict from
2677         utils().  Add missing newline to error message about duplicate tokens.
2678
2679         * saffron (per_arch_space_use): also print space used by source.
2680         (output_format): correct string.join() invocation.
2681
2682         * jennifer (check_signature): ignored duplicate EXPIRED tokens.
2683
2684 2003-02-04  James Troup  <james@nocrew.org>
2685
2686         * cron.buildd: correct generation of Packages/Sources and grep out
2687         non-US/non-free as well as non-free.
2688
2689 2003-02-03  Ryan Murray  <rmurray@debian.org>
2690
2691         * cron.buildd: generate quinn-diff output with full Packages/Sources
2692           files to get out-of-date vs. uncompiled right.
2693         * apt.conf.buildd: no longer generate uncompressed files, as they
2694           are generated in cron.buildd instead
2695         * add -i option to quinn-diff to ignore binary-all packages
2696         * apt.conf.buildd: remove and readd udeb to extensions.  If the udebs
2697           aren't in the packages file, the arch that uploaded them will build
2698           them anyways...
2699
2700 2003-01-30  James Troup  <james@nocrew.org>
2701
2702         * rene (main): only print suggested melanie command when there's
2703         some NBS to remove.
2704
2705 2003-01-30  Ryan Murray  <rmurray@debian.org>
2706
2707         * cron.buildd: fix incorrectly inverted lockfile check
2708
2709 2003-01-29  Ryan Murray  <rmurray@debian.org>
2710
2711         * cron.buildd: generate override.sid.all3.src
2712         * apt.conf.buildd: use generated override.sid.all3.src
2713
2714 2003-01-27  Martin Michlmayr  <tbm@cyrius.com>
2715
2716         * utils.py (get_status_output): moved from jennifer.
2717         (Dict): likewise.
2718         (check_signature): likewise.
2719
2720         * jennifer (get_status_output): moved to utils.py.
2721         (Dict): likewise.
2722         (check_signature): likewise.
2723
2724         * utils.py (check_signature): add an argument to specifiy which
2725         function to call when an error was found.
2726         (check_signature): document this function better.
2727
2728         * jennifer (check_files): pass the reject function as an argument
2729         to utils.check_signature.
2730         (process_it): likewise.
2731
2732 2003-01-20  James Troup  <james@nocrew.org>
2733
2734         * rene (main): lots of changes to improve the output and make it
2735         more useful.
2736
2737         * katie.py (Katie.check_override): make the override messages
2738         clearer (hopefully).
2739
2740 2002-12-26  James Troup  <james@nocrew.org>
2741
2742         * ziyi (usage): document the ability to pass suite(s) as
2743         argument(s).
2744         (main): read apt.conf after checking for -h/--help.
2745
2746         * tea (main): take the check to run as an argument.
2747
2748         * saffron.R: R script to graph daily install runs.
2749
2750         * saffron: new script; various stats functions.
2751
2752         * rhona (main): connect to the database after checking for -h/--help.
2753
2754         * neve (do_da_do_da): if no -a/--action option is given, bail out.
2755
2756         * melanie (main): sort versions with utils.arch_compare_sw().
2757
2758         * madison (usage): alphabetize order of options.
2759         * melanie (usage): likewise.
2760
2761         * kelly (usage): fix usage short description (we aren't dinstall).
2762
2763         * julia (usage): fix usage description and alphabetize order of
2764         options.
2765
2766         * jeri (usage): fix usage short description.
2767
2768         * jennifer (main): move --help and --version checks from here...
2769         (init): to here so that they work with an empty katie.conf.
2770         * kelly: likewise.
2771
2772         * alyson (usage): new function.
2773         (main): use it.
2774         * andrea: likewise.
2775         * ashley: likewise.
2776         * cindy: likewise.
2777         * denise: likewise.
2778         * helena: likewise.
2779         * neve: likewise.
2780         * rene: likewise.
2781         * rose: likewise.
2782         * tea: likewise.
2783
2784         * apt.conf.stable (tree "dists/stable"): add missing ExtraOverride
2785         entry that caused tasks to be omitted from 3.0r1.
2786
2787 2002-12-10  James Troup  <james@nocrew.org>
2788
2789         * jennifer (check_files): sanity check the Depends field to ensure
2790         it's non-empty if present since apt chokes on an empty one.
2791         Thanks to Ryan Murray for the idea.
2792
2793 2002-12-08  James Troup  <james@nocrew.org>
2794
2795         * katie.conf-security (Helena::Directories): new; include accepted
2796         in addition to byhand and new.
2797
2798         * helena (process_changes_files): use utils.arch_compare_sw().
2799         Justify things based on the longest [package, version,
2800         architecture].  Reduce '[note]' to '[N]' to save space, and remove
2801         the commas in architecture and version lists for the same reason.
2802         (main): make directories we process configurable through
2803         Helena::Directories in the config file; if that doesn't exist
2804         default to the old hardcoded values (byhand & new).
2805
2806         * utils.py (arch_compare_sw): moved here from madison.
2807         * madison (main): adjust to compensate.
2808
2809 2002-12-06  James Troup  <james@nocrew.org>
2810
2811         * ziyi (main): fix "suite foo not in apt.conf" msg to use the
2812         right filename.
2813
2814 2002-12-05  James Troup  <james@nocrew.org>
2815
2816         * katie.conf-non-US (Julia::KnownPostgres): add 'udmsearch'.
2817
2818 2002-11-28  Randall Donald  <rdonald@debian.org>
2819
2820         * fernanda.py (read_control): fix typo of 'Architecture'.
2821
2822 2002-11-26  James Troup  <james@nocrew.org>
2823
2824         * lisa (check_pkg): call less with '-R' so we see the colour from
2825         Randall's fernanda changes.
2826
2827         * neve (process_sources): if Directory points to a legacy location
2828         but the .dsc isn't there; assume it's broken and look in the pool.
2829         (update_section): new, borroed from alyson.
2830         (do_da_do_da): use it.
2831         (process_packages): add suite_it to the cache key used for
2832         arch_all_cache since otherwise we only add a package to the first
2833         suite it's in and ignore any subsequent ones.
2834
2835         * katie.conf-non-US (Location): fixed to reflect reality (all
2836         suites, except old-proposed-updates (which is legacy-mixed)) are
2837         pool.
2838
2839         * utils.py (try_with_debug): wrapper for print_exc().
2840         * jenna (main): use it.
2841         * neve (main): likewise.
2842
2843 2002-11-25  Randall Donald  <rdonald@debian.org>
2844
2845         * fernanda.py (main): added -R to less command line for raw control
2846         character support to print colours
2847         (check_deb): Instead of running dpkg -I on deb file, call
2848         output_deb_info, the new colourized control reporter.
2849         (check_dsc): add call to colourized dsc info reader, read_dsc, instead
2850         of printing out each .dsc line.
2851         (output_deb_info): new function. Outputs each key/value pair from
2852         read_control except in special cases where we highlight section,
2853         maintainer, architecture, depends and recommends.
2854         (create_depends_string): new function. Takes Depends tree and looks
2855         up it's compontent via projectb db, colourizes and constructs a
2856         depends string in original order.
2857         (read_dsc): new function. reads and parses .dsc info via
2858         utils.parse_changes. Build-Depends and Build-Depends-Indep are
2859         colourized.
2860         (read_control): new function. reads and parses control info via
2861         apt_pkg. Depends and Recommends are split in to list structures,
2862         Section and Architecture are colourized. Maintainer is colourized
2863         if it has a localhost.localdomain address.
2864         (split_depends): new function. Creates a list of lists of
2865         dictionaries of depends (package,version relation). Top list is
2866         colected from comma delimited items. Sub lists are | delimited.
2867         (get_comma_list): new function. splits string input among commas
2868         (get_or_list): new function. splits string input among | delimiters
2869         (get_depends_parts): new function. Creates dictionary of package name
2870         and version relation from dependancy string.
2871         Colours for section and depends are per component. Unfound depends
2872         are in bold. Lookups using version info is not supported yet.
2873
2874 2002-11-22  James Troup  <james@nocrew.org>
2875
2876         * katie.conf-security (Julia::KnownPostgres): add 'www-data' and
2877         'udmsearch'.
2878
2879         * amber (make_advisory): string.atol() is deprecated and hasn't
2880         been ported to string methods.  Use long() instead.
2881
2882         * init_pool.sql: explicitly specify the encoding (SQL_ASCII) when
2883         creating the database since we'll fail badly if it's created with
2884         e.g. UNICODE encoding.
2885
2886         * rose (main): AptCnf is a global.
2887
2888         * neve (get_location_path): new function determines the location
2889         from the the first (left-most) directory of a Filename/Directory.
2890         (process_sources): don't need 'location' anymore.  Use
2891         utils.warn().  Use the Directory: field for each package to find
2892         the .dsc.  Use get_location_path() to determine the location for
2893         each .dsc.
2894         (process_packages): do't need 'location' anymore.  Use
2895         utils.warn().  Use get_location_path().
2896         (do_sources): don't need 'location', drop 'prefix' in favour of
2897         being told the full path to the Sources file, like
2898         process_packages().
2899         (do_da_do_da): main() renamed, so that main can call us in a
2900         try/except.  Adapt for the changes in do_sources() and
2901         process_packages() above.  Assume Sources and Packages file are in
2902         <root>/dists/<etc.>.  Treat pool locations like we do legacy ones.
2903
2904         * katie.conf-security (Location): fixed to reflect reality (all
2905         suites are pool, not legacy).
2906
2907         * utils.py (print_exc): more useful (i.e. much more verbose)
2908         traceback; a recipe from the Python cookbook.
2909         * jenna (main): use it.
2910         * neve (main): likewise.
2911
2912 2002-11-19  James Troup  <james@nocrew.org>
2913
2914         * kelly (install): fix brain-damaged CopyChanges/CopyKatie
2915         handling which was FUBAR for multi-suite uploads.  Now we just
2916         make a dictionary of destinations to copy to and iterate over
2917         those.
2918
2919         * fernanda.py (check_deb): run linda as well as lintian.
2920
2921 2002-10-21  James Troup  <james@nocrew.org>
2922
2923         * melanie (main): change X-Melanie to X-Katie and prefix it with
2924         'melanie '.
2925
2926         * lisa (main): prefix X-Katie with 'lisa '.
2927
2928         * jennifer (clean_holding): fix typo in string method changes;
2929         s/file.find(file/file.find(/.
2930
2931         * cron.daily: invoke helena and send the report to ftpmaster.
2932         * cron.daily-non-US: likewise.
2933
2934 2002-10-16  James Troup  <james@nocrew.org>
2935
2936         * kelly (check): call reject() with a blank prefix when parsing
2937         the return of check_dsc_against_db() since it does its own
2938         prefix-ing.
2939
2940         * rose: new script; only handles directory creation initally.
2941
2942         * katie.conf (Dinstall::NewAckList): obsolete, removed.
2943         * katie.conf-non-US (Dinstall::NewAckList): likewise.
2944
2945 2002-10-06  James Troup  <james@nocrew.org>
2946
2947         * rene (main): remove bogus argument handling.
2948
2949         * kelly: katie, renamed.
2950         * cron.daily: adapt for katie being renamed to kelly.
2951         * cron.daily-non-US: likewise.
2952         * amber (main): likewise.
2953
2954         * Changes for python 2.1.
2955
2956         * kelly: time.strftime no longer requires a second argument of
2957         "time.localtime(time.time())".
2958         * logging.py: likewise.
2959         * rhona: likewise.
2960         * shania (init): likewise.
2961
2962         * amber: use augmented assignment.
2963         * catherine (poolize): likewise.
2964         * claire.py (fix_component_section): likewise.
2965         * halle (check_changes): likewise.
2966         * helena: likewise.
2967         * jenna: likewise.
2968         * jennifer: likewise.
2969         * jeri: likewise.
2970         * katie.py: likewise.
2971         * kelly: likewise.
2972         * lisa: likewise.
2973         * madison (main): likewise.
2974         * melanie: likewise.
2975         * natalie: likewise.
2976         * neve: likewise.
2977         * rhona: likewise.
2978         * tea: likewise.
2979         * utils.py: likewise.
2980         * ziyi: likewise.
2981
2982         * amber: use .endswith.
2983         * fernanda.py: likewise.
2984         * halle (main): likewise.
2985         * jennifer: likewise.
2986         * jeri: likewise.
2987         * katie.py: likewise.
2988         * kelly: likewise.
2989         * lisa: likewise.
2990         * neve: likewise.
2991         * shania (main): likewise.
2992         * utils.py: likewise.
2993
2994         * alyson: use string methods.
2995         * amber: likewise.
2996         * andrea: likewise.
2997         * ashley: likewise.
2998         * catherine: likewise.
2999         * charisma: likewise.
3000         * claire.py: likewise.
3001         * db_access.py: likewise.
3002         * denise: likewise.
3003         * halle: likewise.
3004         * heidi: likewise.
3005         * helena: likewise.
3006         * jenna: likewise.
3007         * jennifer: likewise.
3008         * jeri: likewise.
3009         * julia: likewise.
3010         * katie.py: likewise.
3011         * kelly: likewise.
3012         * lisa: likewise.
3013         * logging.py: likewise.
3014         * madison: likewise.
3015         * melanie: likewise.
3016         * natalie: likewise.
3017         * neve: likewise.
3018         * rene: likewise.
3019         * tea: likewise.
3020         * utils.py: likewise.
3021         * ziyi: likewise.
3022
3023 2002-09-20  Martin Michlmayr  <tbm@cyrius.com>
3024
3025         * utils.py (parse_changes): use <string>.startswith() rather than
3026         string.find().
3027
3028 2002-08-27  Anthony Towns  <ajt@debian.org>
3029
3030         * katie.py (in_override_p): when searching for a source override,
3031         and the dsc query misses, search for both udeb and deb overrides
3032         as well. Should fix the UNACCEPT issues with udebs.
3033
3034 2002-08-24  James Troup  <james@nocrew.org>
3035
3036         * melanie (main): remove gratuitous WHERE EXISTS sub-select from
3037         source+binary package finding code which was causing severe
3038         performance degradation with postgres 7.2.
3039
3040 2002-08-14  James Troup  <james@nocrew.org>
3041
3042         * julia (main): use the pwd.getpwall() to get system user info
3043         rather than trying to read a password file.  Add a -n/--no-action
3044         option.
3045
3046         * cron.hourly: julia no longer takes any arguments.
3047         * cron.hourly-non-US: likewise.
3048
3049 2002-08-07  James Troup  <james@nocrew.org>
3050
3051         * katie (install): handle multi-suite uploads when CopyChanges
3052         and/or CopyKatie are in use, ensuring we only copy stuff once.
3053
3054 2002-08-01  Ryan Murray  <rmurray@debian.org>
3055
3056         * wanna-build/trigger.daily: initial commit, with locking
3057         * cron.buildd: add locking against daily run
3058
3059 2002-07-30  James Troup  <james@nocrew.org>
3060
3061         * melanie (main): readd creation of suite_ids_list so melanie is
3062         remotely useful again.
3063
3064         * katie.conf: adopt for woody release; diable
3065         StableDislocationSupport, add oldstable, adjust other suites and
3066         mappings, fix up location.
3067         * katie.conf-non-US: likewise.
3068         * katie.conf-security: likewise.
3069
3070         * apt.conf.stable: adapt for woody release; add oldstable, adjust
3071         stable.
3072         * apt.conf.stable-non-US: likewise.
3073
3074         * apt.conf-security: adapt for woody release; adding oldstable,
3075         oldstable, adjust stable and testing.
3076         * cron.daily-security: likewise.
3077         * cron.buildd-security: likewise.
3078
3079         * apt.conf: adapt for woody release; rename woody-proposed-updates
3080         to testing-proposed-updates and proposed-updates to
3081         old-proposed-updates.
3082         * apt.conf-non-US: likewise.
3083
3084         * vars-non-US (copyoverrides): add sarge.
3085         * vars (copyoverrides): likewise.
3086
3087         * vars-security (suites): add oldstable.
3088
3089 2002-07-22  Ryan Murray  <rmurray@debian.org>
3090
3091         * apt.conf.security-buildd: use suite codenames instead of
3092           distnames.
3093
3094 2002-07-16  James Troup  <james@nocrew.org>
3095
3096         * denise (main): fix filenames for testing override files.
3097
3098 2002-07-14  James Troup  <james@nocrew.org>
3099
3100         * jennifer (process_it): call check_md5sums later so we can check
3101         files in the .dsc too
3102         (check_md5sums): check files in the .dsc too.  Check both md5sum
3103         and size.
3104
3105         * melanie (main): use parse_args() and join_with_commas_and() from
3106         utils.  If there's nothing to do, say so and exit, don't ask for
3107         confirmation etc.
3108
3109         * amber (join_with_commas_and): moved from here to ...
3110         * utils.py (join_with_commas_and): here.
3111
3112 2002-07-13  James Troup  <james@nocrew.org>
3113
3114         * madison (main): use parse_args() from utils.  Support
3115         -c/--component.
3116
3117         * jenna (parse_args): moved from here to ...
3118         * utils.py (parse_args): here.
3119
3120         * katie.conf (Architectures): minor corrections to the description
3121         for arm, mips and mipsel.
3122         * katie.conf-non-US (Architectures): likewise.
3123         * katie.conf-security (Architectures): likewise.
3124
3125         * cron.daily-security: use natalie's new -a/--add functionality to
3126         flesh out the security overrides.
3127
3128 2002-07-12  James Troup  <james@nocrew.org>
3129
3130         * cron.buildd (ARCHS): add arm.
3131
3132         * katie.conf: 2.2r7 was released.
3133         * katie.conf-non-US: likewise.
3134
3135         * utils.py (parse_changes): handle a multi-line field with no
3136         starting line.
3137
3138 2002-06-25  James Troup  <james@nocrew.org>
3139
3140         * templates/amber.advisory (To): add missing email address since
3141         __WHOAMI__ is only a name.
3142
3143         * katie.conf-security (Melane::LogFile): correct to go somewhere
3144         katie has write access to.
3145         (Location::/org/security.debian.org/ftp/dists/::Suites): add
3146         Testing.
3147
3148         * natalie: add support for -a/-add which adds packages only
3149         (ignoring changes and deletions).
3150
3151         * katie.py (Katie.announce): Dinstall::CloseBugs is a boolean so
3152         use FindB, not get.
3153
3154 2002-06-22  James Troup  <james@nocrew.org>
3155
3156         * jennifer (check_files): validate the package name and version
3157         field.  If 'Package', 'Version' or 'Architecture' are missing,
3158         don't try any further checks.
3159         (check_dsc): likewise.
3160
3161         * utils.py (re_taint_free): add '~' as a valid character.
3162
3163 2002-06-20  Anthony Towns  <ajt@debian.org>
3164
3165         * katie.conf-non-US: add OverrideSuite for w-p-u to allow uploads
3166
3167 2002-06-09  James Troup  <james@nocrew.org>
3168
3169         * jennifer (check_files): reduce useless code.
3170
3171         * cron.daily-security: run symlinks -dr on $ftpdir.
3172
3173         * vars-security (ftpdir): add.
3174
3175 2002-06-08  James Troup  <james@nocrew.org>
3176
3177         * neve (update_override_type): transaction is handled higher up in
3178         main().
3179         (update_priority): likewise.
3180         (process_sources): remove code that makes testing a duplicate of
3181         stable.
3182         (process_packages): likewise.
3183
3184         * templates/amber.advisory: add missing mail headers.
3185
3186         * cron.daily-security: also call apt-ftparchive clean for
3187         apt.conf.buildd-security.
3188         * cron.weekly: likewise.
3189
3190         * amber (do_upload): write out a list of source packages (and
3191         their version) uploaded for testing.
3192         (make_advisory): add more Subst mappings for the mail headers.
3193         (spawn): check for suspicious characters in the command and abort
3194         if their found.
3195
3196 2002-06-07  James Troup  <james@nocrew.org>
3197
3198         * ziyi (main): remove the 'nonus'/'security' hacks and use
3199         Dinstall::SuiteSuffix (if it exists) instead.  Always try to write
3200         the lower level Release files, even if they don't exist.  fubar
3201         out if we can't open a lower level Release file for writing.
3202
3203         * katie.conf-non-US (Dinstall): add SuiteSuffix, used to simplify
3204         ziyi.
3205         * katie.conf-security (Dinstall): likewise.
3206
3207         * amber (do_upload): renamed from get_file_list().  Determine the
3208         upload host from the original component.
3209         (init): Add a -n/--no-action option.  Fix how we get changes_files
3210         (i.e. from the return value of apt_pkg.ParseCommandLine(), not
3211         sys.argv).  Add an Options global.
3212         (make_advisory): support -n/--no-action.
3213         (spawn): likewise.
3214         (main): likewise.
3215         (usage): document -n/--no-action.
3216
3217         * cron.buildd-security: fix path to Packages-arch-specific in
3218         quinn-diff invocation.
3219
3220         * katie.conf-security (Dinstall::AcceptedAutoBuildSuites): change
3221         to proper suite names (i.e. stable, testing) rather than codenames
3222         (potato, woody).
3223         (Dinstall::DefaultSuite): likewise.
3224         (Suite): likewise.
3225         (Location::/org/security.debian.org/ftp/dists/::Suites): likewise.
3226         * vars-security (suites): likewise.
3227         * apt.conf-security: likewise.
3228
3229         * katie.conf-security (Component): add "updates/" prefix.
3230         (Suite::*::Components): likewise.
3231         (ComponentMappings): new; map all {ftp-master,non-US} components
3232         -> updates/<foo>.
3233
3234         * katie.conf-security (Natalie): removed; the options have
3235         defaults and ComponentPosition is used by alyson which doesn't
3236         work on security.d.o.
3237         (Amber): replace UploadHost and UploadDir with ComponentMappings
3238         which is a mapping of components -> URI.
3239         (Suite::*::CodeName): strip bogus "/updates" suffix hack.
3240         (SuiteMappings): use "silent-map" in preference to "map".
3241
3242         * cron.unchecked-security: fix call to cron.buildd-security.
3243
3244         * cron.daily-security: map local suite (stable) -> override suite
3245         (potato) when fixing overrides.  Correct component in natalie call
3246         to take into account "updates/" prefix.  Fix cut'n'waste in
3247         override.$dist.all3 generation, the old files weren't being
3248         removed, so they were endlessly growing.
3249
3250         * neve (main): don't use .Find for the CodeName since we require
3251         it.  Location::*::Suites is a ValueList.
3252         (check_signature): ignore duplicate SIGEXPIRED tokens.  Don't bomb
3253         out on expired keys, just warn.
3254         (update_override_type): new function; lifted from alyson.
3255         (update_priority): likewise.
3256         (main): use update_{override_type,priority}().
3257
3258         * jennifer (check_distributions): remove redunant test for
3259         SuiteMappings; ValueList("does-not-exist") returns [] which is
3260         fine.  Add support for a "silent-map" type which doesn't warn
3261         about the mapping to the user.
3262         (check_files): add support for ComponentMappings, similar to
3263         SuiteMappings, but there's no type, just a source and a
3264         destination and the original component is stored in "original
3265         component".
3266         * katie.py (Katie.dump_vars): add "original component" as an
3267         optionsal files[file] dump variable.
3268
3269         * claire.py (find_dislocated_stable): dehardcode 'potato' in SQL
3270         query.  Add support for section-less legacy locations like current
3271         security.debian.org through YetAnotherConfigBoolean
3272         'LegacyStableHasNoSections'.
3273         * katie.conf-security (Dinstall): LegacyStableHasNoSections is true.
3274
3275         * utils.py (real_arch): moved here from ziyi.
3276         * ziyi (real_arch): moved to utils.py.
3277         * ziyi (main): likewise.
3278
3279         * claire.py (find_dislocated_stable): use real_arch() with
3280         filter() to strip out source and all.
3281         * neve (main): likewise.
3282         * rene (main): likewise.
3283         * jeri (parse_packages): likewise.
3284
3285 2002-06-06  James Troup  <james@nocrew.org>
3286
3287         * tea (check_missing_tar_gz_in_dsc): modifed patch from Martin
3288         Michlmayr <tbm@cyrius.com> to be more verbose about what we're
3289         doing.
3290
3291 2002-05-23  Martin Michlmayr  <tbm@cyrius.com>
3292
3293         * jeri (check_joey): check if the line contains two elements
3294         before accessing the second.  Also, strip trailing spaces as well
3295         as the newline.
3296         * halle (check_joey): likewise.
3297
3298 2002-06-05  James Troup  <james@nocrew.org>
3299
3300         * cron.unchecked-security: new file; like cron.unchecked but if
3301         there's nothing to do exit so we don't call cron.buildd-security.
3302
3303         * apt.conf.buildd-security: new file.
3304
3305         * vars (archs): alphabetize.
3306         * vars-non-US (archs): likewise.
3307
3308         * vars-security: add unchecked.
3309
3310         * madison (main): reduce rather bizarrely verbose and purposeless
3311         code to print arches to a simple string.join.
3312
3313         * katie.conf (Suites::Unstable): add UdebComponents, a new
3314         valuelist of suites, used by jenna to flesh out the list of
3315         <suite>_main-debian-installer-binary-<arch>.list files generated.
3316         (Dinstall): add StableDislocationSupport, a new boolean used by
3317         jenna to enable or disable stable dislocation support
3318         (i.e. claire), as true.
3319
3320         * katie.conf (Dinstall): add StableDislocationSupport, a new
3321         boolean used by jenna to enable or disable stable dislocation
3322         support (i.e. claire), as true.
3323         * katie.conf-non-US: likewise.
3324         * katie.conf-security: likewise.
3325
3326         * cron.daily-security: generate .all3 overrides for the buildd
3327         support.  Freshen a local copy of Packages-arch-specific from
3328         buildd.debian.org.
3329
3330         * claire.py (find_dislocated_stable): disable the support for
3331         files in legacy-mixed locations since none of the Debian archives
3332         have any anymore.
3333
3334         * helena: new script; produces a report on NEW and BYHAND
3335         packages.
3336
3337         * jenna: rewritten from scratch to fix speed problems.  Run time
3338         on auric goes down from 31.5 minutes to 3.5 minutes.  Of that 3.5
3339         minutes, 105 seconds are the monster query and 70 odd seconds is
3340         claire.
3341
3342         * apt.conf.buildd (Default): remove MaxContentsChange as it's
3343         irrelevant.
3344
3345 2002-06-05  Ryan Murray  <rmurray@debian.org>
3346
3347         * cron.buildd-security: new file.
3348
3349 2002-06-05  Matt Kraai  <kraai@alumni.cmu.edu>
3350
3351         * denise (list): take a file argument and use it.
3352         (main): don't abuse sys.stdout, just write to the file.
3353
3354         * claire.py (usage): Fix misspelling.
3355         (clean_symlink): Simplify.
3356         (find_dislocated_stable): Avoid unnecessary work.
3357
3358 2002-05-29  James Troup  <james@nocrew.org>
3359
3360         * cameron: removed; apt-ftparchive can simply walk the directory.
3361
3362 2002-05-26  Anthony Towns  <ajt@debian.org>
3363
3364         * katie.conf{,-non-US}: Map testing to testing-proposed-updates
3365         for the autobuilders.
3366
3367 2002-05-24  Ryan Murray  <rmurray@debian.org>
3368
3369         * cron.buildd: update override files before running apt-ftparchive
3370
3371 2002-05-23  Martin Michlmayr  <tbm@cyrius.com>
3372
3373         * amber (main): remove extra space in prompt.
3374
3375         * utils.py (validate_changes_file_arg): use original filename in
3376         error messages.
3377
3378         * jeri (check_joey): close file after use.
3379         (parse_packages): likewise.
3380         (main): setup debug option properly.
3381
3382         * melanie (main): remove unused packages variable and simplify the
3383         code to build up con_packages by using repr().
3384
3385 2002-05-23  James Troup  <james@nocrew.org>
3386
3387         * lisa (recheck): when we reject, also return 0 so the package is
3388         skipped.
3389         (sg_compare): fix note sorting.
3390         (recheck): remove the .katie file after rejection.
3391
3392         * katie.py (Katie.accept): accepted auto-build support take 3;
3393         this time adding support for security.  Security needs a) non-pool
3394         files copied rather than symlinked since accepted is readable only
3395         by katie/security and www-data needs to be able to see the files,
3396         b) needs per-suite directories.  SpecialAcceptedAutoBuild becomes
3397         AcceptedAutoBuildSuites and is a ValueList containing the suites.
3398         SecurityAcceptedAutoBuild is a new boolean which controls whether
3399         or not normal or security style is used.  The unstable_accepted
3400         table was renamed to accepted_autobuild and a suite column added.
3401         Also fix a bug noticed by Ryan where an existent orig.tar.gz
3402         didn't have it's last_used/in_accepted flags correctly updated.
3403         * katie (install): likewise.
3404         * rhona (clean_accepted_autobuild): likewise.
3405
3406 2002-05-22  James Troup  <james@nocrew.org>
3407
3408         * lisa (sort_changes): new function; sorts changes properly.
3409         Finally.
3410         (sg_compare): new function; helper for sort_changes().  Sorts by
3411         have note and time of oldest upload.
3412         (indiv_sg_compare): new function; helper for sort_changes().
3413         Sorts by source version, have source and filename.
3414         (main): use sort_changes().
3415         (changes_compare): obsoleted; removed.
3416
3417 2002-05-20  James Troup  <james@nocrew.org>
3418
3419         * rhona (clean_accepted_autobuild): don't die if a file we're
3420         trying to remove doesn't exist.  Makes rhona more friendly to
3421         katie/katie.py crashes/bugs without any undue cost.
3422
3423 2002-05-19  James Troup  <james@nocrew.org>
3424
3425         * lisa (main): if sorting a large number of changes give some
3426         feedback.
3427         (recheck): new function, run the same checks (modulo NEW,
3428         obviously) as katie does, if they fail do the standard
3429         reject/skip/quit dance.
3430         (do_pkg): use it.
3431
3432         * katie (install): don't try to unlink the symlink in the
3433         AcceptedAutoBuild support if the destination is not a symlink (or
3434         doesn't exist).  Avoids unnecessary bombs on previous partial
3435         accepts and will still bomb hard if the file exists and isn't a
3436         symlink.
3437
3438         * utils.py: blah, commands _is_ used when the mail stuff isn't
3439         commented out like it is in my test environment.
3440
3441         * lisa (changes_compare): "has note" overrides everything else.
3442         Use .katie files rather than running parse_changes, faster and
3443         allows "has note" to work.  Correct version compare, it was
3444         reversed.  Ctime check should only kick in if the source packages
3445         are not the same.
3446         (print_new): print out and return any note.  Rename 'ret_code' to
3447         'broken'.
3448         (edit_new): renamed from spawn_editor.  Don't leak file
3449         descriptors.  Clean up error message if editor fails.
3450         (edit_note): new function, allows one to edit notes.
3451         (do_new): add note support, editing and removing.
3452         (init): kill -s/--sort; with notes we always want to use our
3453         sorting method.
3454         (usage): likewise.
3455
3456         * katie.py (Katie.dump_vars): add "lisa note" as an optional
3457         changes field.
3458
3459         * utils.py (build_file_list): rename 'dsc' to 'is_a_dsc' and have
3460         it default to 0.  Adapt tests to assume it's boolean.
3461         * fernanda.py (check_changes): adjust call appropriately.
3462         * halle (check_changes): likewise.
3463         * jennifer (check_changes): likewise.
3464         * jeri (check_changes): likewise.
3465         * shania (flush_orphans): likewise.
3466
3467         * jennifer (check_dsc): pass is_a_dsc by name when calling
3468         build_file_list() for clarity.
3469         * shania (flush_orphans): likewise.
3470         * tea (check_missing_tar_gz_in_dsc): likewise.
3471
3472         * jennifer (check_dsc): pass dsc_whitespace_rules by name when
3473         calling parse_changes() for clarity.
3474         * tea (check_dscs): likewise.
3475
3476         * utils.py (parse_changes): make dsc_whitespace_rules default to
3477         not true.
3478         * halle (check_changes): adjust call appropriately.
3479         * jennifer (check_changes): likewise.
3480         * jeri (check_changes): likewise.
3481         * lisa (changes_compare): likewise.
3482         * utils.py (changes_compare): likewise.
3483         * melanie (main): likewise.
3484         * shania (flush_orphans): likewise.
3485         * fernanda.py (check_changes): likewise.
3486
3487 2002-05-18  James Troup  <james@nocrew.org>
3488
3489         * katie.py (Katie.dump_vars): make the .katie file unreadable,
3490         it's not useful and by and large a duplication of information
3491         available in readable format in other files.
3492
3493 2002-05-16  Ryan Murray  <rmurray@debian.org>
3494
3495         * melanie: Dir::TemplatesDir -> Dir::Templates
3496
3497 2002-05-15  Ryan Murray  <rmurray@debian.org>
3498
3499         * cameron: correct the use of os.path.join
3500
3501 2002-05-15  Anthony Towns  <ajt@debian.org>
3502
3503         * ziyi: Update to match the new format for Architectures/Components
3504         in katie.conf.
3505
3506 2002-05-14  James Troup  <james@nocrew.org>
3507
3508         * amber: new script; 'installer' wrapper script for the security
3509         team.
3510
3511         * katie.py (Katie.announce): remove unused 'dsc' local
3512         variable. (pychecker)
3513
3514         * ziyi: pre-define AptCnf and out globals to None. (pychecker)
3515
3516         * neve: don't import sys, we don't use it. (pychecker)
3517         (check_signature): fix return type mismatch. (pychecker)
3518
3519         * utils.py: don't import commands, we don't use it.  (pychecker)
3520
3521         * katie (install): SpecialAcceptedAutoBuild is a boolean.
3522
3523         * katie.py (Katie.dump_vars): don't store "oldfiles", it's
3524         obsoleted by the change to "othercomponents" handling in jennifer
3525         detailed below.
3526         (Katie.cross_suite_version_check): new function; implements
3527         cross-suite version checking rules specified in the conf file
3528         while also enforcing the standard "must be newer than target
3529         suite" rule.
3530         (Katie.check_binary_against_db): renamed, since it's invoked once
3531         per-binary, "binaries" was inaccurate.  Use
3532         cross_suite_version_check() and don't bother with the "oldfiles"
3533         rubbish as jennifer works out "othercomponents" herself now.
3534         (Katie.check_source_against_db): use cross_suite_version_check().
3535
3536         * katie (check): the version and file overwrite checks
3537         (check_{binary,source,dsc}_against_db) are not per-suite.
3538
3539         * jennifer (check_files): less duplication of
3540         'control.Find("Architecture", "")' by putting it in a local
3541         variable.
3542         (check_files): call check_binary_against_db higher up since it's
3543         not a per-suite check.
3544         (check_files): get "othercomponents" directly rather than having
3545         check_binary_against_db do it for us.
3546
3547         * heidi (main): 'if x:', not 'if x != []:'.
3548         * katie.py (Katie.in_override_p): likewise.
3549         (Katie.check_dsc_against_db): likewise.
3550         * natalie (main): likewise.
3551         * rene (main): likewise.
3552         * ziyi (real_arch): likewise.
3553
3554         * alyson (main): Suite::%s::Architectures, Suite::%s::Components
3555         and OverrideType are now value lists, not lists.
3556         * andrea (main): likewise.
3557         * cindy (main): likewise.
3558         * claire.py (find_dislocated_stable): likewise.
3559         * denise (main): likewise.
3560         * jenna (main): likewise.
3561         * jennifer (check_distributions): likewise.
3562         (check_files): likewise.
3563         (check_urgency): likewise (Urgency::Valid).
3564         * jeri (parse_packages): likewise.
3565         * neve (main): likewise (and Location::%s::Suites).
3566         * rene (main): likewise.
3567
3568 2002-05-13  James Troup  <james@nocrew.org>
3569
3570         * katie.py (Katie.check_source_against_db): correct case of reject
3571         message to be consistent with binary checks.
3572
3573         * jennifer (get_status_output): don't leak 2 file descriptors per
3574         invocation.
3575         (check_signature): add missing '\n' to "duplicate status token"
3576         error message.
3577
3578 2002-05-09  James Troup  <james@nocrew.org>
3579
3580         * utils.py (validate_changes_file_arg): new function; validates an
3581         argument which should be a .changes file.
3582         * ashley (main): use it.
3583         * lisa (main): likewise.
3584
3585         * katie.py (Katie.check_dsc_against_db): since there can be more
3586         than one .orig.tar.gz make sure we don't assume the .orig.tar.gz
3587         entry still exists in files.
3588
3589         * jennifer (check_dsc): handle the .orig.tar.gz disappearing from
3590         files, since check_dsc_against_db() deletes the .orig.tar.gz
3591         entry.
3592
3593         * cameron: cleanups.
3594
3595         * utils.py (changes_compare): change sort order so that source
3596         name and source version trump 'have source'; this should fix
3597         UNACCEPT problems in katie where -1 hppa+source & i386, -2
3598         i386&source & hppa lead to -1 i386 unaccept.  Problem worked out
3599         by Ryan.
3600
3601         * lisa (main): allow the arguments to be .katie files too.
3602
3603 2002-05-07  Ryan Murray  <rmurray@debian.org>
3604
3605         * cron.buildd: add s390 to arch list again
3606
3607 2002-05-05  Ryan Murray  <rmurray@debian.org>
3608
3609         * cron.buildd: new script, update w-b database from unstable_accepted
3610         table
3611         * cameron: new script, take list in unstable_accepted and write out
3612         a file list for apt-ftparchive
3613         * apt.conf.buildd: new apt configuration for Packages/Sources for
3614         unstable_accepted
3615         * vars: add s390 to arch list.
3616
3617 2002-05-03  James Troup  <james@nocrew.org>
3618
3619         * neve (main): don't hard code the calling user as that doesn't
3620         work with modern postgres installs.  Fix psql invocation for
3621         init_pool.sql (database name required).  Dont' hard code the
3622         database name.
3623         (process_sources): add support for fingerprint and install_date.
3624         (process_packages): add support for fingerprint.
3625         (do_sources): pass in the directory, fingerprint support needs it.
3626         (get_status_output): borrowed from jennifer.
3627         (reject): likewise.
3628         (check_signature): likewise.
3629
3630         * katie (install): only try to log urgencies if Urgency_Logger is
3631         defined.
3632         (main): only initialize Urgency_Logger is Dir::UrgencyLog is
3633         defined; only close Urgency_Logger if it's defined.
3634
3635         * catherine (poolize): adapt for Dir rationalization.
3636         * claire.py (find_dislocated_stable): likewise.
3637         * denise (main): likewise.
3638         * halle (check_joey): likewise.
3639         * jenna: likewise.
3640         * jennifer: likewise.
3641         * jeri: likewise.
3642         * katie.py: likewise.
3643         * katie: likewise.
3644         * lisa (do_bxa_notification): likewise.
3645         * logging.py (Logger.__init__): likewise
3646         * rene (main): likewise.
3647         * rhona (clean): likewise.
3648         * shania (init): likewise.
3649         * tea: likewise.
3650         * ziyi: likewise.
3651
3652         * lisa (add_overrides): Dinstall::BXANotify is a boolean, use
3653         FindB, not FindI.
3654
3655         * rhona (clean_accepted_autobuild): SpecialAcceptedAutoBuild is a
3656         boolean, use FindB, not get.
3657
3658         * katie.py (Katie.check_dsc_against_db): ignore duplicate
3659         .orig.tar.gz's which are an exact (size/md5sum) match.
3660
3661         * ashley (main): really allow *.katie files as arguments too;
3662         noticed by aj.
3663
3664         * sql-aptvc.cpp: postgres.h moved to a "server" subdirectory.
3665
3666 2002-05-03  Anthony Towns  <ajt@debian.org>
3667
3668         * ziyi: support for security.
3669
3670 2002-05-02  James Troup  <james@nocrew.org>
3671
3672         * jennifer (accept): call Katie.check_override() unconditional as
3673         no-mail check moved into that function.
3674         (do_byhand): likewise.
3675
3676         * katie.py (Katie.check_override): don't do anything if we're a)
3677         not sending mail or b) the override disparity checks have been
3678         disbled via Dinstall::OverrideDisparityCheck.
3679
3680         * jennifer (check_files): don't hard code Unstable as the suite
3681         used to check for architecture validity; use
3682         Dinstall::DefaultSuite instead, if it exists.
3683         (accept): conditionalize
3684
3685         * katie.py (Katie.update_subst): support global maintainer
3686         override with Dinstall::OverrideMaintainer.
3687
3688         * jennifer (check_distributions): new function, Distribution
3689         validation and mapping.  Uses new SuiteMappings variable from
3690         config file to abstract suite mappings.
3691         (check_changes): call it.
3692
3693         * natalie: renamed; nothing imports or likely will for some time.
3694
3695         * denise (main): remove unused natalie import and init().
3696
3697         * natalie.py (init): removed.
3698         (main): initalize here instead and don't hardcode the database
3699         name.
3700
3701 2002-04-30  James Troup  <james@nocrew.org>
3702
3703         * katie.py (Katie.close_bugs): new function, split out from
3704         announce().
3705         (Katie.announce): only call close_bugs() if Dinstall::CloseBugs is
3706         true.
3707         (Katie.close_bugs): new function, split out
3708         (Katie.close_bugs): return immediately if there are no bugs to
3709         close.
3710
3711         * jennifer (acknowledge_new): adapt for new utils.TemplateSubst().
3712         * katie (do_reject): likewise.
3713         (stable_install): likewise.
3714         * katie.py (Katie.announce): likewise.
3715         (Katie.accept): likewise.
3716         (Katie.check_override): likewise.
3717         (Katie.do_reject): likewise.
3718         * lisa (do_bxa_notification): likewise.
3719         * melanie (main): likewise.
3720
3721         * utils.py (TemplateSubst): change second argument to be a
3722         filename rather than a template since every caller opened a file
3723         on the fly which was ugly and leaked file descriptor.
3724
3725 2002-04-29  James Troup  <james@nocrew.org>
3726
3727         * katie.py (Katie.announce): (modified) patch from Raphael Hertzog
3728         <hertzog@debian.org> to send 'accepted' announce mails to the
3729         PTS. [#128140]
3730
3731 2002-04-24  James Troup  <james@nocrew.org>
3732
3733         * init_pool.sql (unstable_accepted): add two new fields to
3734         unstable_accepted; in_accepted is a boolean indicating whether or
3735         not the file is in accepted and last_used is a timestamp used by
3736         rhona to determine when to remove symlinks for installed packages.
3737
3738         * katie.py (Katie.accept): auto-build support take 2.  Create
3739         symlinks for all files into a seperate directory.  Add files to
3740         unstable_accepted as paths to the new directory; mark them as
3741         being in accepted for cameron.  Properly conditionalize it on a
3742         configuration variable.
3743
3744         * katie (install): likewise.  Update symlinks to point into the
3745         pool; mark the files for later deletion by rhona and mark them as
3746         not being in accepted for cameron.
3747
3748         * rhona (clean_accepted_autobuild): new function.
3749
3750 2002-04-22  James Troup  <james@nocrew.org>
3751
3752         * jennifer (check_files): handle db_access.get_location_id()
3753         returning -1 properly/better.
3754
3755         * rhona (clean_fingerprints): new function.
3756
3757 2002-04-21  James Troup  <james@nocrew.org>
3758
3759         * utils.py (touch_file): unused; remove.
3760         (plural): likewise.
3761
3762         * jennifer (check_files): close file descriptor used to get the
3763         control file.
3764         (check_md5sums): likewise.
3765         (callback): likewise.
3766
3767         * katie.py (Katie.do_reject): handle manual rejects much better;
3768         call the editor first and get confirmation from the user before
3769         proceeding.
3770
3771         * jennifer (check_signature): prefix_multi_line_string() moved to
3772         utils.
3773
3774         * utils.py (prefix_multi_line_string): moved here from jennifer.
3775
3776 2002-04-20  James Troup  <james@nocrew.org>
3777
3778         * lisa (main): handle non-existent files.
3779
3780         * ashley (main): allow *.katie files as arguments too.
3781
3782 2002-04-19  James Troup  <james@nocrew.org>
3783
3784         * katie.py (Katie.accept): add stuff to help auto-building from
3785         accepted; if the .orig.tar.gz is not part of the upload (i.e. it's
3786         in the pool), create a symlink to it in the accepted directory and
3787         add the .dsc and .{u,}deb(s) to a new 'unstable_accepted' table.
3788
3789         * katie (install): undo the "auto-building from accepted" stuff
3790         (i.e. remove the .orig.tar.gz symlink and remove the files from
3791         unstable_accepted table).
3792
3793 2002-04-16  James Troup  <james@nocrew.org>
3794
3795         * jennifer (upload_too_new): fix typo which was causing all
3796         timestamp comparisons to be against the .changes file.  Also move
3797         back to the original directory so we do the comparisons against
3798         accurate timestamps.
3799
3800         * tea (check_missing_tar_gz_in_dsc): new function.
3801
3802         * jennifer (check_dsc): add a check to ensure there is a .tar.gz
3803         file mentioned in the .dsc.
3804
3805         * lisa (main): use X-Katie in the mail headers, not X-Lisa; that
3806         way mails reach debian-{devel-,}changes@l.d.o.
3807
3808 2002-04-02  Ryan Murray  <rmurray@debian.org>
3809
3810         * cron.daily: run shania after rhona
3811         * cron.daily-non-US: likewise.
3812
3813 2002-04-01  James Troup  <james@nocrew.org>
3814
3815         * katie: re-add proposed-updates/stable install support.
3816
3817         * katie.py (Katie.dump_vars): add changes["changes"] as an
3818         optional field; should be mandatory later.
3819
3820 2002-03-31  James Troup  <james@nocrew.org>
3821
3822         * katie (install): support a Suite::<foo>::CopyKatie similar to
3823         CopyChanges.  Done seperately because .katie files don't need to
3824         be mirrored and will probably be copied to another directory as a
3825         result.
3826
3827         * halle (main): add missing debug to options.
3828
3829 2002-03-29  James Troup  <james@nocrew.org>
3830
3831         * madison (main): add a -r/--regex option.
3832
3833 2002-03-26  James Troup  <james@nocrew.org>
3834
3835         * lisa: don't trample on changes["distribution"]; make a copy of
3836         it as changes["suite"] instead and use that.
3837
3838 2002-03-16  Anthony Towns  <ajt@debian.org>
3839
3840         * templates/lisa.bxa_notification: Fix some grammatical errors.
3841         Encourage contact via bxa@ftp-master email address.
3842
3843 2002-03-15  James Troup  <james@nocrew.org>
3844
3845         * jennifer (check_timestamps): remove bogus raise in except.
3846
3847 2002-03-15  Anthony Towns  <ajt@debian.org>
3848
3849         * cron.monthly: rotate mail/archive/bxamail as well as
3850         mail/archive/mail. This is for a complete archive of
3851         correspondence with the BXA.
3852
3853 2002-03-14  Anthony Towns  <ajt@debian.org>
3854
3855         * crypto-in-main changes.
3856
3857         * utils.py (move, copy): add an optional perms= parameter to let you
3858         set the resulting permissions of the moved/copied file
3859         * katie.py (force_move): rejected/morgued files should be unreadable
3860         * jennifer (do_byhand, acknowledge_new): pending new and byhand files
3861         should be unreadable.
3862
3863 2002-03-07  Ryan Murray  <rmurray@debian.org>
3864
3865         * katie (install): check for existance of "files id" key as well as
3866         it being set to a valid value.
3867         * katie (install): check for existense and valid value for location
3868         id as well
3869
3870 2002-03-05  Ryan Murray  <rmurray@debian.org>
3871
3872         * katie.py (do_reject): reread the reason file after editing it.
3873
3874 2002-02-25  James Troup  <james@nocrew.org>
3875
3876         * jennifer (check_changes): don't enforce sanity in .changes file
3877         names since it doesn't seem to be possible; pcmica-cs and similar
3878         freak show packages in particular cause real problems.
3879
3880         * katie.py (Katie.check_dsc_against_db): initialize 'found' for
3881         each dsc_file since the .orig.tar.gz checking code now uses it as
3882         a boolean.  Fixes bizarro rejections which bogusly claimed
3883         .diff.gz md5sum/size was incorrect.
3884
3885 2002-02-24  James Troup  <james@nocrew.org>
3886
3887         * katie (process_it): reset reject_message.
3888
3889 2002-02-22  James Troup  <james@nocrew.org>
3890
3891         * db_access.py(set_files_id): disable use of
3892         currval('files_id_seq') because it was taking 3 seconds on auric
3893         which is insane (most calls take < 0.01) and simply call
3894         get_files_id() for the return value instead.
3895
3896         * katie.py (Katie.do_query): convenience function; unused by
3897         default, useful for profiling.
3898         * db_access.py (do_query): likewise.
3899
3900         * katie (install): fix insert SQL call when binary has no source.
3901
3902         * lisa (determine_new): auto-correct non-US/main to non-US.
3903         (determine_new): add a warning when adding things to stable.
3904         (edit_index): use our_raw_input().
3905         (edit_overrides): likewise.
3906         (do_new): likewise.  Use re.search() not re.match() since the
3907         default answer may not be the first one.
3908         (do_byhand): likewise.
3909         (do_new): Default to 'S'kip and never 'A'dd.
3910
3911         * jennifer (action): pass prompt to our_raw_input().
3912         * melanie (game_over): likewise.
3913         * katie (action): likewise.
3914
3915         * utils.py (our_raw_input): add an optional prompt argument to
3916         make the function more usable as a drop in replacement for
3917         raw_input().
3918
3919         * jennifer (check_files): correct reject() to not double prefix
3920         when using katie.py based functions.
3921         (check_dsc): likewise.
3922
3923         * katie.py (Katie.reject): prepend a new line if appropriate
3924         rathen than appending one to avoid double new lines when caller
3925         adds one of his own.
3926
3927         * lisa (determine_new): warn if the package is also in other
3928         components.
3929
3930 2002-02-20  James Troup  <james@nocrew.org>
3931
3932         * jennifer (check_files): if .changes file lists "source" in
3933         Architecture field, there must be a .dsc.
3934
3935 2002-02-15  James Troup  <james@nocrew.org>
3936
3937         * ashley (main): add some missing fields.
3938
3939         * katie.py (Katie.check_dsc_against_db): fix to take into account
3940         the fact that the .orig.tar.gz might be in byhand, accepted or
3941         new.  Also fix calling of reject().
3942         (Katie.check_binaries_against_db): fix calling of reject().
3943         (Katie.check_source_against_db): likewise.
3944         (Katie.dump_vars): add missing variables used for bug closures.
3945
3946         * lisa (changes_compare_by_time): sort by reverse time.
3947
3948         * katie.py (Katie.accept): log.
3949         (Katie.dump_vars): missing has_key test for optional changes fields.
3950
3951         * jennifer (main): print "Accepted blah blah" to stdout, not stderr.
3952         (process_it): traceback goes to stderr, not stdout.
3953         (acknowledge_new): log.
3954         (do_byhand): likewise.
3955
3956         * katie.py (Katie.update_subst): fix typo (Cnf vs. self.Cnf).
3957
3958         * add_constraints.sql: add grants for the new fingerprint table.
3959
3960 2002-02-13  James Troup  <james@nocrew.org>
3961
3962         * katie (do_reject): basename the .changes filename before trying
3963         to use it to construct the .reason filename.
3964         (process_it): call Katie.update_subst() so do_reject() DTRT with
3965         the mail template.
3966         (do_reject): setup the mail template correctly.
3967
3968 2002-02-12  James Troup  <james@nocrew.org>
3969
3970         * tea (process_dir): renamed 'arg' to 'unused' for clarity.
3971         (check_files): don't abuse global dictionaries.
3972         (Ent): use all variables.
3973         (check_timestamps): don't abuse global dictionaries.
3974
3975         * fernanda.py: renamed to .py so lisa can import it.
3976         (check_dsc): remove unused local variables (pychecker).
3977         (display_changes): split off from check_changes.
3978
3979         * katie: rewritten; most of the functionality moves to jennifer;
3980         what's left is the code to install packages once a day from the
3981         'accepted' directory.
3982
3983         * jennifer: new program, processes packages in 'unchecked'
3984         (i.e. most of the non-install functionality of old katie).
3985
3986         * katie.py: common functions shared between the clique of
3987         jennifer, lisa and katie.
3988
3989         * lisa: new program; handles NEW and BYHAND packages.
3990
3991         * jeri (usage): new function.
3992         (main): use it.
3993         (check_package): remove unused local variable (pychecker).
3994
3995         * init_pool.sql: new table fingerprint.  Add fingerprint colums to
3996         binaries and source.  Add install_date to source.
3997
3998         * halle (usage): new function.
3999         (main): use it.  Remove unused options.
4000         (check_changes): remove unused local variable (pychecker).
4001
4002         * add_constraints.sql: add fingerprint references.
4003
4004         * db_access.py (get_or_set_fingerprint_id): new function.
4005
4006         * ashley (main): new program; dumps the contents of a .katie file
4007         to stdout.
4008
4009         * alyson (main): remove option handling since we don't actually
4010         support any.
4011         * cindy (main): likewise.
4012
4013         * remove unnecessary imports and pre-define globals (pychecker).
4014
4015 2002-02-11  Anthony Towns  <ajt@debian.org>
4016
4017         * added installation-report and upgrade-report pseudo-packages
4018
4019 2002-01-28  Martin Michlmayr  <tbm@cyrius.com>
4020
4021         * katie (update_subst): use Dinstall::TrackingServer.
4022         * melanie (main): likewise.
4023
4024 2002-01-27  James Troup  <james@nocrew.org>
4025
4026         * shania (main): it's IntLevel not IntVal; thanks to tbm@ for
4027         noticing, jgg@ for fix.
4028
4029 2002-01-19  James Troup  <james@nocrew.org>
4030
4031         * utils.py (extract_component_from_section): handle non-US
4032         non-main properly.
4033
4034 2002-01-12  James Troup  <james@nocrew.org>
4035
4036         * madison: add support for -S/--source-and-binary which displays
4037         information for the source package and all it's binary children.
4038
4039 2002-01-13  Anthony Towns  <ajt@debian.org>
4040
4041         * katie.conf: Remove Catherine Limit and bump stable to 2.2r5
4042         * katie.conf: Add Dinstall::SigningKeyIds option, set to the 2001
4043           and 2002 key ids.
4044         * katie.conf-non-US: Likewise.
4045         * ziyi: Suppoer Dinstall::SigningKeyIds to sign a Release file with
4046           multiple keys automatically. This is probably only useful for
4047           transitioning from an expired (or revoked?) key.
4048
4049 2002-01-08  Ryan Murray  <rmurray@debian.org>
4050
4051         * debian/python-dep: new file that prints out python:Depends for
4052           substvars
4053         * debian/control: use python:Depends, build-depend on python
4054           lower Depends: on postgresql to Suggests:
4055         * debian/rules: determine python version, install to the correct
4056           versioned dir
4057
4058 2001-12-18  Anthony Towns  <ajt@debian.org>
4059
4060         * ziyi: unlink Release files before overwriting them (in case they've
4061           been merged)
4062         * ziyi: always include checksums/sizes for the uncompressed versions
4063           of Sources and Packages, even if they're not present on disk
4064
4065 2001-11-26  Ryan Murray  <rmurray@debian.org>
4066
4067         * ziyi (main): add SigningPubKey config option
4068         * katie.conf: use SigningPubKey config option
4069         * katie.conf-non-US: likewise
4070
4071 2001-11-24  James Troup  <james@nocrew.org>
4072
4073         * katie (acknowledge_new): log newness.
4074
4075 2001-11-24  Anthony Towns  <ajt@debian.org>
4076
4077         * ziyi (real_arch): bail out if some moron forgot to reset
4078         untouchable on stable.
4079         (real_arch): source Release files.
4080
4081 2001-11-19  James Troup  <james@nocrew.org>
4082
4083         * claire.py (main): don't use apt_pkg.ReadConfigFileISC and
4084         utils.get_conf().
4085         * shania (main): likewise.
4086
4087         * rhona (main): add default options.
4088
4089         * db_access.py (get_archive_id): case independent.
4090
4091         * katie (action): sort files so that ordering is consistent
4092         between mails; noticed/requested by Joey.
4093
4094 2001-11-17  Ryan Murray  <rmurray@debian.org>
4095
4096         * utils.py: add get_conf function, change startup code to read all
4097           config files to the Cnf that get_conf returns
4098           use the component list from the katie conf rather than the hardcoded
4099           list.
4100         * all scripts: use new get_conf function
4101         * shania: fix try/except around changes files
4102         * jenna: only do debian-installer if it is a section in Cnf
4103
4104 2001-11-16  Ryan Murray  <rmurray@debian.org>
4105
4106         * shania (main): Initialize days to a string of a number.
4107                  (main): Initialize Cnf vars before reading in Cnf
4108
4109 2001-11-14  Ryan Murray  <rmurray@debian.org>
4110
4111         * shania (main): Initialize days to a number.
4112
4113 2001-11-04  James Troup  <james@nocrew.org>
4114
4115         * docs/Makefile: use docbook-utils' docbook2man binary.
4116
4117         * Change all "if foo == []" constructs into "if not foo".
4118
4119         * katie (check_changes): when installing into stable from
4120         proposed-updates, remove all non-stable target distributions.
4121         (check_override): don't check for override disparities on stable
4122         installs.
4123         (stable_install): update install_bytes appropriately.
4124         (reject): stable rejection support; i.e. don't remove files when
4125         rejecting files in the pool, rather remove them from the
4126         proposed-update suite instead, rhona will do the rest.
4127         (manual_reject): support for a stable specific template.
4128         (main): setup up stable rejector in subst.
4129
4130 2001-11-04  Martin Michlmayr  <tbm@cyrius.com>
4131
4132         * debian/control (Build-Depends): docbook2man has been superseded
4133         by docbook-utils.
4134
4135         * neve (main): exit with a more useful error message.
4136         (update_suites): Suite::<suite>::Version, Origin and Description
4137         are not required, so don't fail if they don't exist.
4138
4139         * db_access.py (get_archive_id): return -1 on error rather than
4140         raise an exception.
4141         (get_location_id): likewise.
4142
4143         * madison (main): don't exit on the first not-found package,
4144         rather exit with an appropriate return code after processing all
4145         packages.
4146
4147 2001-11-03  James Troup  <james@nocrew.org>
4148
4149         * claire.py (find_dislocated_stable): add per-architecture
4150         symlinks for dislocated architecture: all debs.
4151
4152 2001-10-19  Anthony Towns  <ajt@debian.org>
4153
4154         * apt.conf*, katie.conf*: add mips, mipsel, s390 to testing.
4155
4156 2001-10-10  Anthony Towns  <ajt@debian.org>
4157
4158         * claire.py (fix_component_section): do _not_ assign to None under
4159         any circumstances
4160
4161 2001-10-07  Martin Michlmayr  <tbm@cyrius.com>
4162
4163         * melanie (main): don't duplicate architectures when removing from
4164         more than one suite.
4165
4166         * heidi (main, process_file, get_list): report suite name not ID.
4167
4168         * naima (nmu_p): be case insensitive.
4169
4170         * naima (action): more list handling clean ups.
4171
4172         * melanie (main): clean up lists handling to use string.join and
4173         IN's.
4174
4175         * madison (main): clean up suite and architecture argument parsing
4176         to use slices less and string.join more.
4177
4178         * utils.py (parse_changes): Use string.find() instead of slices for
4179         string comparisons thereby avoid hardcoding the length of strings.
4180         * ziyi (main): likewise.
4181
4182 2001-10-07  James Troup  <james@nocrew.org>
4183
4184         * Remove mode argument from utils.open_files() calls if it's the
4185         default, i.e. 'r'.
4186
4187 2001-09-27  James Troup  <james@nocrew.org>
4188
4189         * katie (init): new function; options clean up.
4190         (usage): add missing options, remove obsolete ones.
4191         (main): adapt for the two changes above.  If the lock file or
4192         new-ack log file don't exist, create them.  Don't try to open the
4193         new-ack log file except running in new-ack mode.
4194
4195         * alyson (main): initialize all the tables that are based on the
4196         conf file.
4197
4198         * utils.py (touch_file): like touch(1).
4199         (where_am_i): typo.
4200
4201         * catherine (usage): new.
4202         (main): use it.  options cleanup.
4203         * claire.py: likewise.
4204         * fernanda: likewise.
4205         * heidi: likewise.
4206         * jenna: likewise.
4207         * shania: likewise.
4208         * ziyi: likewise.
4209
4210         * andrea: options cleanup.
4211         * charisma: likewise.
4212         * julia: likewise.
4213         * madison: likewise.
4214         * melanie: likewise.
4215         * natalie: likewise.
4216         * rhona: likewise.
4217         * tea: likewise.
4218
4219 2001-09-26  James Troup  <james@nocrew.org>
4220
4221         * utils.py: default to sane config file locations
4222         (/etc/katie/{apt,katie}.conf.  They can be the actual config files
4223         or they can point to the real ones through use of a new Config
4224         section.  Based on an old patch by Adam Heath.
4225         (where_am_i): use the new default config stuff.
4226         (which_conf_file): likewise.
4227         (which_apt_conf_file): likewise.
4228
4229         * charisma (main): output defaults to
4230         `Package~Version\tMaintainer'; input can be of either form.  When
4231         parsing the new format do version comparisons, when parsing the
4232         old format assume anything in the extra file wins.  This fixes the
4233         problem of newer non-US packages being overwhelmed by older
4234         versions still in stable on main.
4235
4236 2001-09-17  James Troup  <james@nocrew.org>
4237
4238         * natalie.py (list): use result_join().
4239
4240         * denise (main): result_join() moved to utils.
4241
4242         * utils.py (result_join): move to utils; add an optional seperator
4243         argument.
4244
4245 2001-09-14  James Troup  <james@nocrew.org>
4246
4247         * heidi (set_suite): new function; does --set like natalie does,
4248         i.e. turns it into a sequence of --add's and --remove's
4249         internally.  This is a major win (~20 minute run time > ~20
4250         seconds) in the common, everday (i.e. testing) case.
4251         (get_id): common code used by set_suite() and process_file().
4252         (process_file): call set_suite() and get_id().
4253         (main): add logging support.
4254
4255         * julia: new script; syncs PostgeSQL with (LDAP-generated) passwd
4256         files.
4257
4258         * utils.py (parse_changes): use slices or simple string comparison
4259         in favour of regexes where possible.
4260
4261         * sql-aptvc.cpp (versioncmp): rewritten to take into account the
4262         fact that the string VARDATA() points to are not null terminated.
4263
4264         * denise (result_join): new function; like string.join() but
4265         handles None's.
4266         (list): use it.
4267         (main): likewise.
4268
4269         * charisma (main): python-pygresql 7.1 returns None not "".
4270
4271 2001-09-14  Ryan Murray  <rmurray@debian.org>
4272
4273         * natalie.py (list): handle python-pygresql 7.1 returning None.
4274
4275 2001-09-10  Martin Michlmayr  <tbm@cyrius.com>
4276
4277         * madison (main): return 1 if no package is found.
4278
4279 2001-09-08  Martin Michlmayr  <tbm@cyrius.com>
4280
4281         * madison (main): better error handling for incorrect
4282         -a/--architecture or -s/--suite arguments.
4283         (usage): new.
4284         (main): use it.
4285
4286 2001-09-05  Ryan Murray  <rmurray@debian.org>
4287
4288         * charisma, madison, katie: remove use of ROUser
4289         * katie.conf,katie.conf-non-US: remove defintion of ROUser
4290
4291 2001-08-26  James Troup  <james@nocrew.org>
4292
4293         * katie (nmu_p.is_an_nmu): use maintaineremail to check for group
4294         maintained packages at cjwatson@'s request.
4295
4296 2001-08-21  James Troup  <james@nocrew.org>
4297
4298         * madison (main): add -a/--architecture support.
4299
4300         * jenna: use logging instead of being overly verbose on stdout.
4301
4302 2001-08-11  Ryan Murray  <rmurray@debian.org>
4303
4304         * melanie: add functional help option
4305
4306 2001-08-07  Anthony Towns  <ajt@debian.org>
4307
4308         * apt.conf, katie.conf: Add ia64 and hppa to testing.
4309
4310 2001-07-28  James Troup  <james@nocrew.org>
4311
4312         * katie (check_dsc): ensure source version is >> than existing
4313         source in target suite.
4314
4315 2001-07-25  James Troup  <james@nocrew.org>
4316
4317         * natalie.py: add logging support.
4318
4319         * utils.py (open_file): make the second argument optional and
4320         default to read-only.
4321
4322         * rene (main): work around broken source packages that duplicate
4323         arch: all packages with arch: !all packages (no longer allowed
4324         into the archive by katie).
4325
4326 2001-07-13  James Troup  <james@nocrew.org>
4327
4328         * katie (action): don't assume distribution is a dictionary.
4329         (update_subst): don't assume architecture is a dictionary and that
4330         maintainer822 is defined.
4331         (check_changes): recognise nk_format exceptions.
4332         (check_changes): reject on 'testing' only uploads.
4333         (check_files): when checking to ensure all packages are newer
4334         versions check against arch-all packages too.
4335         (check_dsc): enforce the existent of a sane set of mandatory
4336         fields.  Ensure the version number in the .dsc (modulo epoch)
4337         matches the version number in the .changes file.
4338
4339         * utils.py (changes_compare): ignore all exceptions when parsing
4340         the changes files.
4341         (build_file_list): don't UNDEF on a changes file with no format
4342         field.
4343
4344 2001-07-07  James Troup  <james@nocrew.org>
4345
4346         * katie (nmu_p.is_an_nmu): check 'changedby822' for emptiness
4347         rather than 'changedbyname' to avoid false negatives on uploads
4348         with an email-address-only Changed-By field.
4349         (check_dsc): don't overwrite reject_message; append to it.
4350         (check_signature): likewise.
4351         (check_changes): likewise.
4352         (announce): condition logging on 'action'.
4353
4354         * logging.py: new logging module.
4355
4356         * katie: Cleaned up code by putting Cnf["Dinstall::Options"]
4357         sub-tree into a separate (global) variable.
4358         (check_dsc): ensure format is 1.0 to retain backwards
4359         compatability with dpkg-source in potato.
4360         (main): only try to obtain the lock when not running in no-action
4361         mode.
4362         Use the new logging module.
4363
4364         * christina: initial version; only partially usable.
4365
4366 2001-06-28  Anthony Towns  <ajt@debian.org>
4367
4368         * apt.conf: Add ExtraOverrides to auric.
4369
4370 2001-06-25  James Troup  <james@nocrew.org>
4371
4372         * katie (nmu_p.is_an_nmu): the wonderful dpkg developers decided
4373         they preferred the name 'Uploaders'.
4374
4375 2001-06-23  James Troup  <james@nocrew.org>
4376
4377         * katie (check_files): fix typo in uncommon rejection message,
4378         s/sourceversion/source version/.
4379
4380         * denise (main): we can't use print because stdout has been
4381         redirected.
4382
4383         * katie (source_exists): new function; moved out of check_files()
4384         and added support for binary-only NMUs of earlier sourceful NMUs.
4385
4386         * rhona (clean): find_next_free has moved.
4387
4388         * utils.py (find_next_free): new function; moved here from rhona.
4389         Change too_many to be an argument with a default value, rather
4390         than a hardcoded variable.
4391
4392         * shania: rewritten to work better; REJECTion reminder mail
4393         handling got lost though.
4394
4395 2001-06-22  James Troup  <james@nocrew.org>
4396
4397         * rhona (main): remove unused override code.
4398
4399         * fernanda (main): remove extraneous \n's from utils.warn calls.
4400         * natalie.py (list): likewise.
4401
4402         * catherine, cindy, denise, heidi, jenna, katie, neve, rhona, tea:
4403         use utils.{warn,fubar} where appropriate.
4404
4405 2001-06-21  James Troup  <james@nocrew.org>
4406
4407         * katie (nmu_p): new class that encapsulates the "is a nmu?"
4408         functionality.
4409         (nmu_p.is_an_nmu): add support for multiple maintainers specified
4410         by the "Maintainers" field in the .dsc file and maintainer groups.
4411         (nmu_p.__init__): read in the list of group maintainer names.
4412         (announce): use nmu_p.
4413
4414 2001-06-20  James Troup  <james@nocrew.org>
4415
4416         * rene (main): hardcode the suite experimental is compared to by
4417         name rather than number.
4418
4419         * katie (check_files): differentiate between doesn't-exist and
4420         permission-denied in "can not read" rejections; requested by edd@.
4421         (check_dsc): use os.path.exists rather than os.access to allow the
4422         above check to kick in.
4423
4424         * heidi (process_file): read all input before doing anything and
4425         use transactions.
4426
4427 2001-06-15  James Troup  <james@nocrew.org>
4428
4429         * fernanda: new script; replaces old 'check' shell script
4430         nastiness.
4431
4432 2001-06-14  James Troup  <james@nocrew.org>
4433
4434         * katie: actually import traceback module to avoid amusing
4435         infinite loop.
4436
4437 2001-06-10  James Troup  <james@nocrew.org>
4438
4439         * utils.py (extract_component_from_section): fix to handle just
4440         'non-free' and 'contrib'.  Also fix to handle non-US in a
4441         completely case insensitive manner as a component.
4442
4443 2001-06-08  James Troup  <james@nocrew.org>
4444
4445         * madison (arch_compare): sort function that sorts 'source' first
4446         then alphabetically.
4447         (main): use it.
4448
4449 2001-06-05  Jeff Licquia  <jlicquia@progeny.com>
4450
4451         * catherine (poolize): explicitly make poolized_size a long so it
4452         doesn't overflow when poolizing e.g. entire archives.
4453
4454 2001-06-01  James Troup  <james@nocrew.org>
4455
4456         * utils.py (send_mail): throw exceptions rather than exiting.
4457
4458         * katie (process_it): catch exceptions and ignore them.
4459
4460 2001-06-01  Michael Beattie  <mjb@debian.org>
4461
4462         * added update-mailingliststxt and update-readmenonus to update
4463         those files, respectively. modified cron.daily{,-non-US} to
4464         use them.
4465
4466 2001-05-31  Anthony Towns  <ajt@debian.org>
4467
4468         * rhona: make StayOfExecution work.
4469
4470 2001-05-31  James Troup  <james@nocrew.org>
4471
4472         * rhona (find_next_free): fixes to not overwrite files but rename
4473         them by appending .<n> instead.
4474         (clean): use find_next_free and use dated sub-directories in the
4475         morgue.
4476
4477         * utils.py (move): don't overwrite files unless forced to.
4478         (copy): likewise.
4479
4480 2001-05-24  James Troup  <james@nocrew.org>
4481
4482         * katie (check_files): determine the source version here instead
4483         of during install().
4484         (check_files): check for existent source with bin-only NMU
4485         support.
4486         (main): sort the list of changes so that the source-must-exist
4487         check Does The Right Thing(tm).
4488
4489         * utils.py (changes_compare): new function; sorts a list of
4490         changes files by 'have-source', source, version.
4491         (cc_fix_changes): helper function.
4492         (parse_changes): use compiled regexes.
4493         (fix_maintainer): likewise.
4494
4495         * rene (main): warn about packages in experimental that are
4496         superseded by newer versions in unstable.
4497
4498 2001-05-21  James Troup  <james@nocrew.org>
4499
4500         * rene (main): add support for checking for ANAIS (Architecture
4501         Not Allowed In Source) packages.
4502
4503 2001-05-17  James Troup  <james@nocrew.org>
4504
4505         * katie (check_changes): initalize `architecture' dictionary in
4506         changes global so that if we can't parse the changes file for
4507         whatever reason we don't undef later on.
4508
4509         * utils.py (parse_changes): fix handling of multi-line fields
4510         where the first line did have data.
4511
4512 2001-05-05  Anthony Towns  <ajt@debian.org>
4513
4514         * ziyi: Add "NotAutomatic: yes" to experimental Release files.
4515         (It should always have been there. Ooopsy.)
4516
4517 2001-05-03  Anthony Towns  <ajt@debian.org>
4518
4519         * jenna: Cleanup packages that move from arch:any to arch:all or
4520         vice-versa.
4521
4522 2001-04-24  Anthony Towns  <ajt@debian.org>
4523
4524         * ziyi: add ``SHA1:'' info to Release files. Also hack them up to
4525         cope with debian-installer and boot-floppies' md5sum.txt.
4526
4527 2001-04-16  James Troup  <james@nocrew.org>
4528
4529         * katie (check_changes): add missing %s format string argument.
4530         (stable_install): temporary work around for morgue location to
4531         move installed changes files into.
4532         (stable_install): helps if you actually read in the template.
4533         (manual_reject): fix for editing of reject messages which was
4534         using the wrong variable name.
4535
4536         * jenna (generate_src_list): typo; s/package/source/; fixes undef crash.
4537
4538 2001-04-13  James Troup  <james@nocrew.org>
4539
4540         * katie (manual_reject): Cc the installer.
4541         (reject): don't.
4542         (check_changes): remove unused maintainer-determination code.
4543         (update_subst): add support for Changed-By when setting the
4544         *MAINTAINER* variables.
4545
4546         * rene (bar): new function to check for packages on architectures
4547         when they shouldn't be.
4548
4549         * natalie.py (main): use fubar() and warn() from utils.
4550
4551         * utils.py (whoami): new mini-function().
4552         * melanie (main): use it.
4553         * katie (manual_reject): likewise.
4554
4555 2001-04-03  James Troup  <james@nocrew.org>
4556
4557         * katie (action): ignore exceptions from os.path.getmtime() so we
4558         don't crash on non-existent changes files (e.g. when they are
4559         moved between the start of the install run in cron.daily and the
4560         time we get round to processing them).
4561
4562         * madison (main): also list source and accept -s/--suite.
4563
4564         * jenna (generate_src_list): missing \n in error message.
4565
4566         * katie (update_subst): add sane defaults for when changes is
4567         skeletal.
4568
4569 2001-03-29  James Troup  <james@nocrew.org>
4570
4571         * melanie (main): use fubar() and warn() from utils.  Remember who
4572         the maintainer for the removed packages are and display that info
4573         to the user.  Readd support for melanie-specific Bcc-ing that got
4574         lost in the TemplateSubst transition.
4575
4576         * utils.py (fubar): new function.
4577         (warn): like wise.
4578
4579         * db_access.py (get_maintainer): as below.
4580
4581         * charisma (get_maintainer): moved the bulk of this function to
4582         db_access so that melanie can use it too.
4583
4584         * claire.py (find_dislocated_stable): restrict the override join
4585         to those entries where the suite is stable; this avoids problems
4586         with packages which have moved to new sections (e.g. science)
4587         between stable and unstable.
4588
4589 2001-03-24  James Troup  <james@nocrew.org>
4590
4591         * catherine (poolize): new function; not really independent of
4592         main() fully, yet.
4593         (main): use it.
4594
4595         * katie (stable_install): __SUITE__ needs to be space prefixed
4596         because buildd's check for 'INSTALLED$'.
4597
4598 2001-03-22  James Troup  <james@nocrew.org>
4599
4600         * utils.py (regex_safe): also need to escape '.'; noticed by ajt@.
4601
4602         * jenna: rewritten; now does deletions on a per-suite level
4603         instead of a per-suite-component-architecture-type level.  This
4604         allows mutli-component packages to be auto-cleaned (and as a
4605         bonus, reduces the code size and duplication).
4606
4607 2001-03-22  Anthony Towns  <ajt@debian.org>
4608
4609         * ziyi (main): fix ziyi to overwrite existing Release.gpg files
4610         instead of just giving a gpg error.
4611
4612 2001-03-21  James Troup  <james@nocrew.org>
4613
4614         * madison (main): use apt_pkg.VersionCompare to sort versions so
4615         that output is correctly sorted for packages like debhlper.
4616         Noticed by ajt@.
4617
4618         * tea (check_source_in_one_dir): actually find problematic source
4619         packages.
4620
4621         * katie (check_dsc): remember the orig.tar.gz's location ID if
4622         it's not in a legacy suite.
4623         (check_diff): we don't use orig_tar_id.
4624         (install): add code to handle sourceful diff-only upload of
4625         packages which change components by copying the .orig.tar.gz into
4626         the new component, if it doesn't already exist there.
4627         (process_it): reset orig_tar_location (as above).
4628
4629         * melanie (main): use template substiution for the bug closing
4630         emails.
4631         (main): don't hardcode bugs.debian.org or packages.debian.org
4632         either; use configuration items.
4633
4634         * katie: likewise.
4635
4636         * natalie.py (init): use None rather than 'localhost' for the
4637         hostname given to pg.connect.
4638
4639         * utils.py (TemplateSubst): new function; lifted from
4640         userdir-ldap.
4641
4642 2001-03-21  Ryan Murray  <rmurray@debian.org>
4643
4644         * katie (announce): fix the case of non-existent
4645         Suite::$SUITE::Announce.
4646
4647 2001-03-20  Ryan Murray  <rmurray@debian.org>
4648
4649         * debian/rules (binary-indep): install melanie into /usr/bin/ not
4650         /usr/.
4651
4652         * alyson (main): use config variable for database name.
4653         * andrea (main): likewise.
4654         * catherine (main): likewise.
4655         * charisma (main): likewise.
4656         * cindy (main): likewise.
4657         * claire.py (main): likewise.
4658         * denise (main): likewise.
4659         * heidi (main): likewise.
4660         * jenna (main): likewise.
4661         * katie (main): likewise.
4662         * madison (main): likewise.
4663         * melanie (main): likewise.
4664         * neve (main): likewise.
4665         * rhona (main): likewise.
4666         * tea (main): likewise.
4667
4668 2001-03-15  James Troup  <james@nocrew.org>
4669
4670         * rhona (check_sources): fixed evil off by one (letter) error
4671         which was causing only .dsc files to be deleted when cleaning
4672         source packages.
4673
4674         * charisma (get_maintainer_from_source): remove really stupid and
4675         gratuitous IN sub-query and replace with normal inner join.
4676         (main): connect as read-only user nobody.
4677
4678         * rhona (clean_maintainers): rewritten to use SELECT and sub-query
4679         with EXISTS.
4680         (check_files): likewise; still disabled by default though.
4681         (clean_binaries): add ' seconds' to the mysterious number in the
4682         output.
4683         (clean): likewise.
4684
4685         * tea (check_files): add missing global declaration on db_files.
4686
4687 2001-03-14  James Troup  <james@nocrew.org>
4688
4689         * rhona: rewritten large chunks. Removed a lot of the silly
4690         selecting into dictionaries and replaced it with 'where exists'
4691         based sub queries.  Added support for StayOfExecution.  Fix the
4692         problem with deleting dsc_files too early and disable cleaning of
4693         unattached files.
4694
4695 2001-03-14  Anthony Towns  <ajt@debian.org>
4696
4697         * katie (announce): also check Changed-By when trying to detect
4698         NMUs.
4699
4700 2001-03-06  Anthony Towns  <ajt@debian.org>
4701
4702         * ziyi (main): Generate Release.gpg files as well, using the key from
4703         Dinstall::SigningKey in katie.conf, if present. That key has to be
4704         passwordless, and hence kept fairly secretly.
4705
4706 2001-03-02  James Troup  <james@nocrew.org>
4707
4708         * utils.py (str_isnum): new function; checks to see if the string
4709         is a number.
4710
4711         * shania (main): fix _hideous_ bug which was causing all files > 2
4712         weeks old to be deleted from incoming, even if they were part of a
4713         valid upload.
4714
4715 2001-02-27  James Troup  <james@nocrew.org>
4716
4717         * melanie (main): accept new argument -C/--carbon-copy which
4718         allows arbitarty carbon-copying of the bug closure messages.
4719         Cleaned up code by putting Cnf["Melanie::Options"] sub-tree into a
4720         separate variable.
4721
4722 2001-02-27  Anthony Towns  <ajt@debian.org>
4723
4724         * ziyi: new program; generates Release files.
4725
4726 2001-02-25  James Troup  <james@nocrew.org>
4727
4728         * katie (reject): add missing '\n' to error message.
4729         (manual_reject): likewise.
4730         (install): catch exceptions from moving the changes file into DONE
4731         and ignore them.
4732
4733         * tea (check_md5sums): new function.
4734
4735 2001-02-25  Michael Beattie  <mjb@debian.org>
4736
4737         * melanie: use $EDITOR if available.
4738
4739 2001-02-15  James Troup  <james@nocrew.org>
4740
4741         * utils.py (parse_changes): don't crash and burn on empty .changes
4742         files.  Symptoms noticed by mjb@.
4743
4744 2001-02-15  Adam Heath  <doogie@debian.org>
4745
4746         * denise (main): use an absolute path for the output filename.
4747
4748         * sql-aptvc.cpp: don't #include <utils/builtins.h> as it causes
4749         compile errors with postgresql-dev >= 7.0.
4750
4751 2001-02-12  James Troup  <james@nocrew.org>
4752
4753         * rene: initial version.
4754
4755         * andrea: initial version.
4756
4757         * catherine (main): remove obsolete assignment of arguments.
4758
4759 2001-02-09  James Troup  <james@nocrew.org>
4760
4761         * catherine: first working version.
4762
4763 2001-02-06  James Troup  <james@nocrew.org>
4764
4765         * katie (check_files): validate the priority field; i.e. ensure it
4766         doesn't contain a '/' (to catch people prepending the priority
4767         with the component rather than the section).
4768         (check_override): don't warn about source packages; the only check
4769         is on section and we have no GUI tools that would use the Section
4770         field for a Sources file.
4771         (announce): use tags rather than severities for NMUs.  Requested
4772         by Josip Rodin <joy@>. [#78035]
4773
4774 2001-02-04  James Troup  <james@nocrew.org>
4775
4776         * tea (check_override): new function; ensures packages in suites
4777         are also in the override file.  Thanks to bod@ for noticing that
4778         such packages existed.
4779
4780         * katie: move file type compiled regular expressions to utils as
4781         catherine uses them too.
4782         (check_changes): always default maintainer822 to the installer
4783         address so that any bail out won't cause undefs later.
4784         (check_files): update file type re's to match above.
4785         (stable_install): likewise.
4786         (reject): handle any except from moving the changes files.  Fixes
4787         crashes on unreadable changes files.
4788
4789         * melanie (main): add an explanation of why things are not removed
4790         from testing.
4791
4792 2001-01-31  James Troup  <james@nocrew.org>
4793
4794         * melanie (main): ignore a) no message, b) removing from stable or
4795         testing when invoked with -n/--no-action.
4796
4797         * katie (check_override): lower section before checking to see if
4798         we're whining about 'non-US' versus 'non-US/main'.
4799
4800         * sql-aptvc.cpp: new file; wrapper around apt's version comparison
4801         function so that we can use inside of PostgreSQL.
4802
4803 2001-01-28  James Troup  <james@nocrew.org>
4804
4805         * katie: updated to pass new flag to parse_changes() and deal with
4806         the exception raised on invalid .dsc's if appropriate.
4807         * shania (main): likewise.
4808         * melanie (main): likewise.
4809
4810         * tea (check_dscs): new function to validate all .dsc files in
4811         unstable.
4812
4813         * utils.py (parse_changes): if passed an additional flag, validate
4814         the .dsc file to ensure it's extractable by dpkg-source.
4815         Requested by Ben Collins <bcollins@>.
4816
4817 2001-01-27  James Troup  <james@nocrew.org>
4818
4819         * madison (main): connect to the DB as nobody.
4820
4821         * katie (check_files): remove support for -r/--no-version-check
4822         since it makes no sense under katie (jenna will automatically
4823         remove the (new) older version) and was evil in any event.
4824         (check_changes): add missing new line to rejection message.
4825         (check_dsc): likewise.
4826         (process_it): reset reject_message here.
4827         (main): not here.  Also remove support for -r.
4828
4829 2001-01-26  James Troup  <james@nocrew.org>
4830
4831         * katie (check_override): don't whine about 'non-US/main' versus
4832         'non-US'.
4833
4834 2001-01-26  Michael Beattie  <mjb@debian.org>
4835
4836         * natalie.py (usage): new function.
4837         (main): use it.
4838
4839 2001-01-25  Antti-Juhani Kaijanaho  <gaia@iki.fi>
4840
4841         * update-mirrorlists: Update README.non-US too (request from Joy).
4842
4843 2001-01-25  James Troup  <james@nocrew.org>
4844
4845         * katie (reject): catch any exception from utils.move() and just
4846         pass, we previously only caught can't-overwrite errors and not
4847         can't-read ones.
4848
4849         * jenna (generate_src_list): use ORDER BY in selects to avoid
4850         unnecessary changes to Packages files.
4851         (generate_bin_list): likewise.
4852
4853         * utils.py (extract_component_from_section): separated out from
4854         build_file_list() as it's now used by claire too.
4855
4856         * claire.py (find_dislocated_stable): rewrite the query to extract
4857         section information and handle component-less locations properly.
4858         Thanks to ajt@ for the improved queries.
4859         (fix_component_section): new function to fix components and
4860         sections.
4861
4862 2001-01-23  James Troup  <james@nocrew.org>
4863
4864         * katie (check_files): set file type for (u?)debs first thing, so
4865         that if we continue, other functions which rely on file type
4866         existing don't bomb out.  If apt_pkg or apt_inst raise an
4867         exception when parsing the control file, don't try any other
4868         checks, just drop out.
4869         (check_changes): new test to ensure there is actually a target
4870         distribution.
4871
4872 2001-01-22  James Troup  <james@nocrew.org>
4873
4874         * katie (usage): s/dry-run/no-action/.  Noticed by Peter Gervai
4875         <grin@>.
4876         (check_changes): when mapping to unstable, remember to actually
4877         add unstable to the suite list and not just remove the invalid
4878         suite.
4879
4880 2001-01-21  James Troup  <james@nocrew.org>
4881
4882         * katie (check_files): catch exceptions from debExtractControl()
4883         and reject packages which raise any.
4884
4885 2001-01-19  James Troup  <james@nocrew.org>
4886
4887         * katie (check_signature): basename() file name in rejection
4888         message.
4889
4890 2001-01-18  James Troup  <james@nocrew.org>
4891
4892         * katie (in_override_p): remember the section and priority from
4893         the override file so we can check them against the package later.
4894         (check_override): new function; checks section and priority (for
4895         binaries) from the package against the override file and mails the
4896         maintainer about any disparities.
4897         (install): call check_override after announcing the upload.
4898
4899 2001-01-16  James Troup  <james@nocrew.org>
4900
4901         * utils.py (build_file_list): catch ValueError's from splitting up
4902         the files field and translate it into a parse error.
4903
4904         * tea: add support for finding unreferenced files.
4905
4906         * katie (in_override_p): add support for suite-aliasing so that
4907         proposed-updates uploads work again.
4908         (check_changes): catch parses errors from utils.build_file_list().
4909         (check_dsc): likewise.
4910         (check_diff): yet more dpkg breakage so we require even newer a
4911         version.
4912
4913         * jenna (generate_bin_list): don't do nasty path munging that's no
4914         longer needed.
4915
4916         * denise (main): support for non-US; and rename testing's override
4917         files so they're based on testing's codename.
4918
4919 2001-01-16  Martin Michlmayr  <tbm@cyrius.com>
4920
4921         * melanie: add to the bug closing message explaining what happens
4922         (or rather doesn't) with bugs against packages that have been
4923         removed.
4924
4925 2001-01-14  James Troup  <james@nocrew.org>
4926
4927         * charisma (main): fix silly off-by-one error; suite priority
4928         checking was done using "less than" rather than "less than or
4929         equal to" which was causing weird hesienbugs with wrong Maintainer
4930         fields.
4931
4932 2001-01-10  James Troup  <james@nocrew.org>
4933
4934         * katie (in_override_p): adapted to use SQL-based overrides.
4935         read_override_file function disappears.
4936
4937         * db_access.py: add new functions get_section_id, get_priority_id
4938         and get_override_type_id.
4939         (get_architecture_id): return -1 if the architecture is not found.
4940
4941         * heidi: switch %d -> %d in all SQL queries.
4942         (get_list): Use string.join where appropriate.
4943
4944         * rhona (in_override_p): don't die if the override file doesn't
4945         exist.
4946         (main): warn if the override file doesn't exist.
4947
4948         * alyson: new script; will eventually sync the config file and the
4949         SQL database.
4950
4951         * natalie.py: new script; manipulates overrides.
4952
4953         * melanie: new script; removes packages from suites.
4954
4955 2001-01-08  James Troup  <james@nocrew.org>
4956
4957         * katie (re_bad_diff): whee; dpkg 1.8.1.1 didn't actually fix
4958         anything it just changed the symptom.  Recognise the new breakage
4959         and reject them too.
4960
4961 2001-01-07  James Troup  <james@nocrew.org>
4962
4963         * katie (check_dsc): when adding the cwd copy of the .orig.tar.gz
4964         to the .changes file, be sure to set up files[filename]["type"]
4965         too.
4966
4967 2001-01-06  James Troup  <james@nocrew.org>
4968
4969         * katie (check_diff): new function; detects bad diff files
4970         produced by dpkg 1.8.1 and rejects thems.
4971         (process_it): call check_diff().
4972         (check_dsc): gar.  Add support for multiple versions of the
4973         .orig.tar.gz file in the archive from -sa uploads.  Check md5sum
4974         and size against all versions and use one which matches if
4975         possible and exclude any that don't from being poolized to avoid
4976         file overwrites.  Thanks to broonie@ for providing the example.
4977         (install): skip any files marked as excluded as above.
4978
4979 2001-01-05  James Troup  <james@nocrew.org>
4980
4981         * heidi (process_file): add missing argument to error message.
4982
4983 2001-01-04  James Troup  <james@nocrew.org>
4984
4985         * heidi (main): fix handling of multiple files by reading all
4986         files not just the first file n times (where n = the number of
4987         files passed as arguments).
4988
4989 2001-01-04  Anthony Towns  <ajt@debian.org>
4990
4991         * katie (check_dsc): proper fix for the code which locates the
4992         .orig.tar.gz; check for '<filename>$' or '^<filename>$'.
4993
4994 2000-12-20  James Troup  <james@nocrew.org>
4995
4996         * rhona: replace IN's with EXISTS's to make DELETE time for
4997         binaries and source sane on auric.  Add a -n/--no-action flag and
4998         make it stop actions if used.  Fixed a bug in binaries deletion
4999         with no StayOfExecution (s/</<=/).  Add working -h/--help and
5000         -V/--version.  Giving timing info on deletion till I'm sure it's
5001         sane.
5002
5003         * katie (check_changes): map testing to unstable.
5004
5005         * madison: new script; shows versions in different architectures.
5006
5007         * katie (check_dsc): ensure size matches as well as md5sum;
5008         suggested by Ben Collins <bcollins@debian.org> in Debian Bug
5009         #69702.
5010
5011 2000-12-19  James Troup  <james@nocrew.org>
5012
5013         * katie (reject): ignore the "can't overwrite file" exception from
5014         utils.move() and leave the files where they are.
5015         (reject): doh! os.access() test was reversed so we only tried to
5016         move files which didn't exist... replaced with os.path.exists()
5017         test the right way round.
5018
5019         * utils.py (move): raise an exception if we can't overwrite the
5020         destination file.
5021         (copy): likewise.
5022
5023 2000-12-18  James Troup  <james@nocrew.org>
5024
5025         * rhona: first working version.
5026
5027         * db_access.py (get_files_id): force both sizes to be integers.
5028
5029         * katie (main): use size_type().
5030
5031         * utils.py (size_type): new function; pretty prints a file size.
5032
5033 2000-12-17  James Troup  <james@nocrew.org>
5034
5035         * charisma (main): do version compares so that older packages do
5036         not override newer ones and process source first as source wins
5037         over binaries in terms of who we think of as the Maintainer.
5038
5039 2000-12-15  James Troup  <james@nocrew.org>
5040
5041         * katie (install): use the files id for the .orig.tar.gz from
5042         check_dsc().
5043         (install): limit select for legacy source to a) source in legacy
5044         or legacy-mixed type locations and b) distinct on files.id.
5045         (install): rather than the bizarre insert new, delete old method
5046         for moving legacy source into the pool, use a simple update of
5047         files.
5048         (process_it): initalize some globals before each process.
5049
5050 2000-12-14  James Troup  <james@nocrew.org>
5051
5052         * katie (in_override_p): index on binary_type too since .udeb
5053         overrides are in a different file.
5054         (read_override_file): likewise.
5055         (check_files): correct filename passed to get_files_id().
5056         (check_dsc): we _have_ to preprend '/' to the filename to avoid
5057         mismatches like jabber.orig.tar.gz versus libjabber.orig.tar.gz.
5058         (check_dsc): remember the files id of the .orig.tar.gz, not the
5059         location id.
5060
5061 2000-12-13  James Troup  <james@nocrew.org>
5062
5063         * utils.py (poolify): force the component to lower case except for
5064         non-US.
5065
5066         * katie (in_override_p): handle .udeb-specific override files.
5067         (check_files): pass the binary type to in_override_p().
5068         (check_dsc): remember the location id of the old .orig.tar.gz in
5069         case it's not in the pool.
5070         (install): use location id from dsc_files; which is where
5071         check_dsc() puts it for old .orig.tar.gz files.
5072         (install): install files after all DB work is complete.
5073         (reject): basename() the changes filename.
5074         (manual_reject): likewise.
5075
5076         * shania: new progam; replaces incomingcleaner.
5077
5078 2000-12-05  James Troup  <james@nocrew.org>
5079
5080         * katie (check_changes): if inside stable and can't find files
5081         from the .changes; assume it's installed in the pool and chdir()
5082         to there.
5083         (check_files): we are not installing for stable installs, so don't
5084         check for overwriting existing files.
5085         (check_dsc): likewise.
5086         (check_dsc): reorder .orig.tar.gz handling so that we search in
5087         the pool first and only then fall back on any .orig.tar.gz in the
5088         cwd; this avoids false positives on the overwrite check when
5089         people needlessly reupoad the .orig.tar.gz in a non-sa upload.
5090         (install): if this is a stable install, bail out to
5091         stable_install() immediately.
5092         (install): dsc_files handling was horribly broken. a) we need to
5093         add files from the .dsc and not the .changes (duh), b) we need to
5094         add the .dsc file itself to dsc_files (to be consistent with neve
5095         if for no other reason).
5096         (stable_install): new function; handles installs from inside
5097         proposed-updates to stable.
5098         (acknowledge_new): basename changes_filename before doing
5099         anything.
5100         (process_it): absolutize the changes filename to avoid the
5101         requirement of being in the same directory as the .changes file.
5102         (process_it): save and restore the cwd as stable installs can
5103         potentially jump into the pool to find files.
5104
5105         * jenna: dislocated_files support using claire.
5106
5107         * heidi (process_file): select package field from binaries
5108         explicitly.
5109
5110         * db_access.py (get_files_id): fix cache key used.
5111
5112         * utils.py (build_file_list): fix 'non-US/non-free' case in
5113         section/component splitting.
5114         (move): use os.path.isdir() rather than stat.
5115         (copy): likewise.
5116
5117         * claire.py: new file; stable in non-stable munger.
5118
5119         * tea: new file; simply ensures all files in the DB exist.
5120
5121 2000-12-01  James Troup  <james@nocrew.org>
5122
5123         * katie (check_dsc): use regex_safe().
5124         (check_changes): typo in changes{} key:
5125         s/distributions/distribution/.
5126         (install): use changes["source"], not files[file]["source"] as the
5127         latter may not exist and the former is used elsewhere.  Commit the
5128         SQL transaction earlier.
5129
5130         * utils.py (regex_safe): new function; escapes characters which
5131         have meaning to SQL's regex comparison operator ('~').
5132
5133 2000-11-30  James Troup  <james@nocrew.org>
5134
5135         * katie (install): pool_location is based on source package name,
5136         not binary package.
5137
5138         * utils.py (move): if dest is a directory, append the filename
5139         before chmod-ing.
5140         (copy): ditto.
5141
5142         * katie (check_files): don't allow overwriting of existing .debs.
5143         (check_dsc): don't allow overwriting of existing source files.
5144
5145 2000-11-27  James Troup  <james@nocrew.org>
5146
5147         * katie (check_signature): don't try to load rsaref; it's
5148         obsolete.
5149         (in_override_p): don't try to lookup override entries for packages
5150         with an invalid suite name.
5151         (announce): don't assume the suite name is valid; use Find() to
5152         lookup the mailing list name for announcements.
5153
5154         * utils.py (where_am_i): typo; hostname is in the first element,
5155         not second.
5156
5157         * db_access.py (get_suite_id): return -1 on an unknown suite.
5158
5159 2000-11-26  James Troup  <james@nocrew.org>
5160
5161         * katie (install): fix CopyChanges handling; typo in in checking
5162         Cnf for CopyChanges flag and was calling non-existent function
5163         copy_file.
5164
5165         * utils.py (copy): new function; clone of move without the
5166         unlink().
5167
5168 2000-11-25  James Troup  <james@nocrew.org>
5169
5170         * utils.py (build_file_list): handle non-US prefixes properly
5171         (i.e. 'non-US' -> 'non-US/main' and 'non-US/libs' -> 'non-US/main'
5172         + 'libs' not 'non-US/libs').
5173         (send_mail): add '-odq' to sendmail invocation to avoid DNS lookup
5174         delays.  This is possibly(/probably) exim speicifc and (like other
5175         sendmail options) needs to be in the config file.
5176
5177 2000-11-24  James Troup  <james@nocrew.org>
5178
5179         * rhona (check_sources): we need file id from dsc_files; not id.
5180         Handle non .dsc source files being re-referenced in dsc_files.
5181
5182         * katie (in_override_p): strip out any 'non-US' prefix.
5183         (check_files): use utils.where_am_i() rather than hardcoding.
5184         (check_files): validate the component.
5185         (install): use utils.where_am_i() rather than hardcoding.
5186         (install): fix mail to go to actual recepient.
5187         (reject): likewise.
5188         (manual_reject): likewise.
5189         (acknowledge_new): likewise.
5190         (announce): likewise.
5191
5192         * db_access.py (get_component_id): ignore case when searching for
5193         the component and don't crash if the component can't be found, but
5194         return -1.
5195         (get_location_id): handle -1 from get_component_id().
5196
5197         * jenna (generate_src_list): don't bring 'suite' into our big
5198         multi-table-joining select as we already know the 'suite_id'.
5199         (generate_bin_list): likewise.
5200
5201         * neve (main): don't quit if not on ftp-master.
5202         (process_packages): remove unused variable 'suite_codename'.
5203
5204         * utils.py (move): actually move the file.
5205         (build_file_list): handle non-US prefixes in the section.
5206
5207         * catherine (main): use which_conf_file().
5208         * charisma (main): likewise.
5209         * heidi (main): likewise.
5210         * jenna (main): likewise.
5211         * katie (main): likewise.
5212         * neve (main): likewise.
5213         * rhona (main): likewise.
5214
5215         * utils.py (where_am_i): new routine; determines the archive as
5216         understood by other 'dak' programs.
5217         (which_conf_file): new routine; determines the conf file to read.
5218
5219 2000-11-17  James Troup  <james@nocrew.org>
5220
5221         * katie (install): fix where .changes files for proposed-updates
5222         go.
5223
5224 2000-11-04  James Troup  <james@nocrew.org>
5225
5226         * jenna (main): handle architecture properly if no
5227         -a/--architecture argument is given, i.e. reset architecture with
5228         the values for the suite for each suite.
5229
5230         * Add apt_pkg.init() to the start of all scripts as it's now
5231         required by python-apt.
5232
5233 2000-10-29  James Troup  <james@nocrew.org>
5234
5235         * jenna (generate_bin_list): take an additional argument 'type'
5236         and use it in the SELECT.
5237         (main): if processing component 'main', process udebs and debs.
5238
5239         * neve (process_packages): set up 'type' in 'binaries' (by
5240         assuming .deb).
5241
5242         * katie (re_isadeb): accept ".udeb" or ".deb" as a file ending.
5243         (check_files): set up files[file]["dbtype"].
5244         (install): use files[file]["dbtype"] to set up the 'type' field in
5245         the 'binaries' table.
5246
5247         * init_pool.sql: add a 'type' field to the 'binaries' table to
5248         distinguisgh between ".udeb" and ".deb" files.
5249
5250         * utils.py (move): scrap basename() usage; use a "dir_p(dest) :
5251         dest ? dirname(dest)" type check instead.
5252
5253         * katie (check_dsc): handle the case of an .orig.tar.gz not found
5254         in the pool without crashing.  Also handle the case of being asked
5255         to look for something other than an .orig.tar.gz in the pool.
5256
5257 2000-10-26  James Troup  <james@nocrew.org>
5258
5259         * katie (install): fix filenames put into files table during
5260         poolification of legacy source.
5261
5262         * utils.py (move): work around a bug in os.path.basename() which
5263         cunningly returns '' if there is a trailing slash on the path
5264         passed to it.
5265
5266         * katie (check_dsc): Remove more cruft.  If we find the
5267         .orig.tar.gz in the pool and it's in a legacy (or legacy-mixed)
5268         location, make a note of that so we can fix things in install().
5269         (install): as above.  Move any old source out of legacy locations
5270         so that 'apt-get source' will work.
5271         (process_it): reset the flag that indicates to install that the
5272         source needs moved.
5273
5274         * cron.daily: more.  Nowhere near complete yet though.
5275
5276         * katie (install): don't run os.makedirs, a) utils.move() does
5277         this now, b) we weren't removing the user's umask and were
5278         creating dirs with SNAFU permissions.
5279         (check_dsc): rewrite the .orig.tar.gz handling to take into
5280         account, err, package pools.  i.e. look anywhere in the pool
5281         rather than faffing around with two simple paths.
5282
5283         * neve (process_sources): add the .dsc to dsc_files too.
5284
5285 2000-10-25  James Troup  <james@nocrew.org>
5286
5287         * neve (process_sources): don't duplicate .orig.tar.gz's.
5288
5289 2000-10-23  James Troup  <james@nocrew.org>
5290
5291         * utils.py (re_extract_src_version): moved here.
5292
5293         * neve: move re_extract_src_version to utils.
5294         (process_packages): reflect change.
5295
5296         * katie (install): reflect change.
5297
5298 2000-10-19  James Troup  <james@nocrew.org>
5299
5300         * jenna (generate_src_list): handle locations with null
5301         components.
5302         (generate_bin_list): likewise.
5303