]> git.decadent.org.uk Git - dak.git/blob - TODO
sync
[dak.git] / TODO
1                                  TODO
2                                  ====
3
4 [NB: I use this as a thought record/scribble, not everything on here
5      makes sense and/or is actually ever going to get done, so IIWY I
6      wouldn't use it as gospel for the future of katie or as a TODO
7      list for random hacking.]
8
9 ================================================================================
10
11 queue/approved
12 --------------
13
14  o What to do with multi-suite uploads?  Presumably hold in unapproved
15    and warn?  Or what?  Can't accept just for unstable or reject just
16    from stable.
17
18  o Whenever we check for anything in accepted we also need to check in
19    unapproved.
20
21  o non-sourceful uploads should go straight through if they have
22    source in accepted or the archive.
23
24  o security uploads on auric should be pre-approved.
25
26 Others
27 ------
28
29   o drop map-unreleased
30
31   o check email only portions of addresses match too, iff the names
32   don't, helps with the "James Troup <james@nocrew.org>"
33   vs. "<james@nocrew.org>" case.
34
35   o ensure .dsc section/prio match .changes section/prio
36
37   o rhona's kind of crap when asked to remove a lot of files (e.g. 2k
38    or so).
39
40   o we don't handle the case where an identical orig.tar.gz is
41    mentioned in the .changes, but not in unchecked; but should we
42    care?
43
44   o madison could do better sanity checking for -g/-G (e.g. not more
45    than one suite, etc.)
46
47   o use python2.2-tarfile (once it's in stable?) to check orig.tar.gz
48    timestamps too.
49
50   o need to decide on whether we're tying for most errors at once.. if
51     so (probably) then make sure code doesn't assume variables exist and
52     either way do something about checking error code of check_dsc and
53     later functions so we skip later checks if they're bailing.
54
55   o the .katie stuff is fundamentally braindamaged, it's not versioned
56     so there's no way to change the format, yay me.  need to fix.
57     probably by putting a version var as the first thing and checking
58     that.. auto-upgrade at least from original format would be good.
59     might also be a good idea to put everything in one big dict after
60     that?
61
62   o [?, wishlist, distant future] RFC2047-ing should be extended to
63     all headers of mails sent out.
64
65   o reject sparc64 binaries in a non '*64*' package.
66
67   o katie.py(source_exists): a) we take arguments as parameters that
68     we could figure out for ourselves (we're part of the Katie class
69     after all), b) we have this 3rd argument which defaults to "any"
70     but could in fact be dropped since no one uses it like that.
71
72   o jennifer: doesn't handle bin-only NMUs of stuff still in NEW,
73     BYHAND or ACCEPTED (but not the pool) - not a big deal, upload can
74     be retried once the source is in the archive, but still.
75
76   o security global mail overrides should special case buildd stuff so
77     that buildds get ACCEPTED mails (or maybe amber (?)), that way
78     upload-security doesn't grow boundlessly.
79
80   o amber should upload sourceful packages first, otherwise with big
81     packages (e.g. X) and esp. when source is !i386, half the arches
82     can be uploaded without source, get copied into queue/unaccepted
83     and promptly rejected.
84
85   o rene's NVIU check doesn't catch cases where source package changed
86     name, should check binaries too. [debian-devel@l.d.o, 2004-02-03]
87
88   o cnf[melanie::logfile] is misnamed...
89
90 <aj> i'd be kinda inclined to go with insisting the .changes file take
91    the form ---- BEGIN PGP MESSAGE --- <non -- BEGIN/END lines> --
92    BEGIN PGP SIG -- END PGP MESSAGE -- with no lines before or after,
93    and rejecting .changes that didn't match that
94
95   o rene should check for source packages not building any binaries
96
97   o heidi should have a diff mode that accepts diff output!
98
99   o halle doesn't deal with melanie'd packages, partial replacements
100    etc. and more.
101
102   o lauren, the tramp, blindly deletes with no check that the delete
103    failed which it might well given we only look for package/version,
104    not package/version _in p-u_.  duh.
105
106   o melanie should remove obsolete changes when removing from p-u, or
107    at least warn.  or halle should handle it.
108
109   o need a testsuite _badly_
110
111   o lisa should have an Bitch-Then-Accept option
112
113   o jennifer crashes if run as a user in -n mode when orig.tar.gz is
114    in queue/new...
115
116 <elmo_home> [<random>maybe I should reject debian packages with a non-Debian origin or bugs field</>]
117 <Kamion> [<random>agreed; dunno what origin does but non-Debian bugs fields would be bad]
118
119   o rhona should make use of select..except select, temporary tables
120   etc. rather than looping and calling SQL every time so we can do
121   suite removal sanely (see potato-removal document)
122
123   o melanie will happily include packages in the Cc list that aren't
124     being removed...
125
126   o melanie doesn't remove udebs when removing the source they build from
127
128   o check_dsc_against_db's "delete an entry from files while you're
129     not looking" habit is Evil and Bad.
130
131   o lisa allows you to edit the section and change the component, but
132     really shouldn't.
133
134   o melanie needs to, when not sending bug close mails, promote Cc: to
135     To: and send the mail anyways.
136
137   o the lockfile (Archive_Maintenance_In_Progress) should probably be in a conf file
138
139   o madison should cross-check the b.source field and if it's not null
140     and s.name linked from it != the source given in
141     -S/--source-and-binary ignore.
142
143   o lauren sucks; she should a) only spam d-i for sourceful
144   rejections, b) sort stuff so she rejects sourceful stuff first.  the
145   non-sourceful should probably get a form mail, c) automate the
146   non-sourceful stuff (see b).
147
148   o jennifer should do q-d stuff for faster AA [ryan]
149
150   o split the morgue into source and binary so binaries can be purged first!
151
152   o per-architecture priorities for things like different arch'es
153     gcc's, silly BSD libftw, palo, etc.
154
155   o use postgres 7.2's built-in stat features to figure out how indices are used etc.
156
157   o neve shouldn't be using location, she should run down suites instead
158
159   o halle needs to know about udebs
160
161   o by default hamstring katie's mail sending so that she won't send
162     anything until someone edits a script; she's been used far too
163     much to send spam atm :(
164
165   o $ftpdir/indices isn't created by rose because it's not in katie.conf
166
167   o sanity check depends/recommends/suggests too?  in fact for any
168     empty field?
169
170 [minor] kelly's copychanges, copykatie handling sucks, the per-suite
171         thing is static for all packages, so work out in advance dummy.
172
173 [madison] # filenames ?
174 [madison] # maintainer, component, install date (source only?), fingerprint?
175
176   o UrgencyLog stuff should minimize it's bombing out(?)
177   o Log stuff should open the log file
178
179   o helena should footnote the actual notes, and also * the versions
180     with notes so we can see new versions since being noted...
181
182   o helena should have alternative sorting options, including reverse
183     and without or without differentiaion.
184
185   o julia should sync debadmin and ftpmaster (?)
186
187   o <drow> Can't read file.:
188   /org/security.debian.org/queue/accepted/accepted/apache-perl_1.3.9-14.1-1.21.20000309-1_sparc.katie.
189   You assume that the filenames are relative to accepted/, might want
190   to doc or fix that.
191
192   o <neuro> the orig was in NEW, the changes that caused it to be NEW
193     were pulled out in -2, and we end up with no orig in the archive
194     :(
195
196   o SecurityAcceptedAutoBuild doesn't handle the case of foo_3.3woody1
197     with a new .orig.tar.gz followed by a foo_3.3potato1 with the same
198     .orig.tar.gz; jennifer sees it and copes, but the AA code doesn't
199     and can't really easily know so the potato AA dir is left with no
200     .orig.tar.gz copy.  doh.
201
202   o orig.tar.gz in accepted not handled properly (?)
203
204   o amber doesn't include .orig.tar.gz but it should
205
206   o permissions (paranoia, group write, etc.) configurability and overhaul
207
208   o remember duplicate copyrights in lisaand skip them, per package
209
210   o <M>ove option for lisa byhand proecessing
211
212   o rene could do with overrides
213
214   o db_access.get_location_id should handle the lack of archive_id properly
215
216   o the whole versioncmp thing should be documented
217
218   o lisa doesn't do the right thing with -2 and -1 uploads, as you can
219     end up with the .orig.tar.gz not in the pool
220
221   o lisa exits if you check twice (aj)
222
223   o lisa doesn't trap signals from fernanda properly
224
225   o queued and/or perl on sparc stable sucks - reimplement it.
226
227   o aj's bin nmu changes
228
229   o Lisa:
230     * priority >> optional
231     * arch != {any,all}
232     * build-depends wrong (via andrea)
233     * suid
234     * conficlits
235     * notification/stats to admin daily
236     o trap fernanda exiting
237     o distinguish binary only versus others (neuro)
238
239   o cache changes parsed from ordering (careful tho: would be caching
240     .changes from world writable incoming, not holding)
241
242   o katie doesn't recognise binonlyNMUs correctly in terms of telling
243     who their source is; source-must-exist does, but the info is not
244     propogated down.
245
246   o Fix BTS vs. katie sync issues by queueing(via BSMTP) BTS mail so
247     that it can be released on deman (e.g. ETRN to exim).
248
249   o maintainers file needs overrides
250
251     [ change override.maintainer to override.maintainer-from +
252       override.maintainer-to and have them reference the maintainers
253       table.  Then fix charisma to use them and write some scripting
254       to handle the Santiago situation. ]
255
256   o Validate Depends (et al.) [it should match  \(\s*(<<|<|<=|=|>=|>|>>)\s*<VERSIONREGEXP>\)]
257
258   o Clean up DONE; archive to tar file every 2 weeks, update tar tvzf INDEX file.
259
260   o testing-updates suite: if binary-only and version << version in
261     unstable and source-ver ~= source-ver in testing; then map
262     unstable -> testing-updates ?
263
264   o hooks or configurability for debian specific checks (e.g. check_urgency, auto-building support)
265
266   o morgue needs auto-cleaning (?)
267
268   o saffron: two modes, all included, seperate
269   o saffron: add non-US
270   o saffron: add ability to control components, architectures, archives, suites
271   o saffron: add key to expand header
272
273 ================================================================================
274
275 Less Urgent
276 -----------
277
278   o change utils.copy to try rename() first
279
280   o [hard, long term] unchecked -> accepted should go into the db, not
281     a suite, but similar.  this would allow katie to get even faster,
282     make madison more useful, decomplexify specialacceptedautobuild
283     and generally be more sane.  may even be helpful to have e.g. new
284     in the DB, so that we avoid corner cases like the .orig.tar.gz
285     disappearing 'cos the package has been entirely removed but was
286     still on stayofexecution when it entered new.
287
288   o Logging [mostly done] (todo: rhona (hard), .. ?)
289
290   o jennifer: the tar extractor class doesn't need to be redone for each package
291
292   o reverse of source-must-exist; i.e. binary-for-source-must-not-exist
293   o REJECT reminders in shania.
294   o fernanda should check for conflicts and warn about them visavis priority [rmurray]
295   o store a list of removed/files versions; also compare against them.
296     [but be careful about scalability]
297
298   o fernanda: print_copyright should be a lot more intelligent
299      @ handle copyright.gz
300      @ handle copyright.ja and copyright
301      @ handle (detect at least) symlinks to another package's doc directory
302      @ handle and/or fall back on source files (?)
303
304   o To incorporate from utils:
305      @ unreject
306
307   o auto-purge out-of-date stuff from non-free/contrib so that testing and stuff works
308   o doogie's binary -> source index
309   o jt's web stuff, matt's changelog stuff (overlap)
310
311   o [Hard] Need to merge non-non-US and non-US DBs.
312
313   o experimental needs to auto clean (relative to unstable) [partial: rene warns about this]
314
315   o Do a checkpc(1)-a-like which sanitizes a config files.
316   o fix parse_changes()/build_file_list() to sanity check filenames
317   o saftey check and/or rename debs so they match what they should be
318
319   o Improve andrea.
320   o Need to optimize all the queries by using EXAMINE and building some INDEXs.
321     [postgresql 7.2 will help here]
322   o Need to enclose all the setting SQL stuff in transactions (mostly done).
323   o Need to finish alyson (a way to sync katie.conf and the DB)
324   o Need the ability to rebuild all other tables from dists _or_ pools (in the event of disaster) (?)
325   o Make the --help and --version options do stuff for all scripts
326
327   o charisma can't handle whitespace-only lines (for the moment, this is feature)
328
329   o generic way of saying isabinary and isadsc. (?)
330
331   o s/distribution/suite/g
332
333   o cron.weekly:
334      @ weekly postins to d-c (?)
335      @ backup of report (?)
336      @ backup of changes.tgz (?)
337
338   o --help doesn't work without /etc/katie/katie.conf (or similar) at
339     least existing.
340
341   o rename andrea (clashes with existing andrea)...
342
343  * Harder:
344
345     o interrupting of stracing jennifer causes exceptions errors from apt_inst calls
346     o dependency checking (esp. stable) (partially done)
347     o override checks sucks; it needs to track changes made by the
348       maintainer and pass them onto ftpmaster instead of warning the
349       maintainer.
350     o need to do proper rfc822 escaping of from lines (as opposed to s/\.//g)
351     o Revisit linking of binary->source in install() in katie.
352     o Fix component handling in overrides (aj)
353     o Fix lack of entires in source overrides (aj)
354     o direport misreports things as section 'devel' (? we don't use direport)
355     o vrfy check of every Maintainer+Changed-By address; valid for 3 months.
356     o binary-all should be done on a per-source, per-architecture package
357       basis to avoid, e.g. the perl-modules problem.
358     o a source-missing-diff check: if the version has a - in it, and it
359       is sourceful, it needs orig and diff, e.g. if someone uploads
360       esound_0.2.22-6, and it is sourceful, and there is no diff ->
361       REJECT (version has a dash, therefore not debian native.)
362     o check linking of .tar.gz's to .dsc's.. see proftpd 1.2.1 as an example
363     o archive needs md5sum'ed regularly, but takes too long to do all
364       in one go; make progressive or weekly.
365     o katie/jenna/rhona/whatever needs to clear out .changes
366       files from p-u when removing stuff superseded by newer versions.
367       [but for now we have halle]
368     o test sig checking stuff in test/ (stupid thing is not modularized due to global abuse)
369     o when encountering suspicous things (e.g. file tainting) do something more drastic
370
371  * Easy:
372
373     o suite mapping and component mapping are parsed per changes file,
374       they should probably be stored in a dictionary created at startup.
375     o don't stat/md5sum files you have entries for in the DB, moron
376       boy (Katie.check_source_blah_blah)
377     o promote changes["changes"] to mandatory in katie.py(dump_vars)
378       after a month or so (or all .katie files contain in the queue
379       contain it).
380     o melanie should behave better with -a and without -b; see
381       gcc-defaults removal for an example.
382     o Reject on misconfigured kernel-package uploads
383     o utils.extract_component_from_section: main/utils -> main/utils, main rather than utils, main
384     o Fix jennier to warn if run when not in incoming or p-u
385     o katie should validate multi-suite uploads; only possible valid one
386       is "stable unstable"
387     o cron.daily* should change umask (aj sucks)
388     o Rene doesn't look at debian-installer but should.
389     o Rene needs to check for binary-less source packages.
390     o Rene could accept a suite argument (?)
391     o byhand stuff should send notification
392     o catherine should udpate db; move files, not the other way around [neuro]
393     o melanie should update the stable changelog [joey]
394     o update tagdb.dia
395
396  * Bizzare/uncertain:
397
398     o drop rather dubious currval stuff (?)
399     o rationalize os.path.join() usage
400     o Rene also doesn't seem to warn about missing binary packages (??)
401     o logging: hostname + pid ?
402     o ANAIS should be done in katie (?)
403     o Add an 'add' ability to melanie (? separate prog maybe)
404     o Replicate old dinstall report stuff (? needed ?)
405     o Handle the case of 1:1.1 which would overwrite 1.1 (?)
406     o maybe drop -r/--regex in madison, make it the default and
407       implement -e/--exact (a la joey's "elmo")
408     o dsc files are not checked for existence/perms (only an issue if
409       they're in the .dsc, but not the .changes.. possible?)
410
411  * Cleanups & misc:
412
413     o db_access' get_files needs to use exceptions not this None, > 0, < 0 return val BS (?)
414     o The untouchable flag doesn't stop new packages being added to ``untouchable'' suites
415
416 ================================================================================
417
418 Packaging
419 ---------
420
421   o Fix stuff to look in sensible places for libs and config file in debian package (?)
422
423 ================================================================================
424
425            --help      manpage
426 -----------------------------------------------------------------------------
427 alyson        X
428 amber         X
429 andrea        X
430 ashley        X
431 catherine     X          X
432 charisma      X          X
433 cindy         X          X
434 claire        X
435 denise        X
436 fernanda      X
437 halle         X
438 heidi         X          X
439 helena        X
440 jenna         X
441 jennifer      X
442 jeri          X
443 julia         X          X
444 kelly         X          X
445 lisa          X          X
446 madison       X          X
447 melanie       X          X
448 natalie       X          X
449 neve          X
450 rene          X
451 rose          X
452 rhona         X          X
453 saffron       X
454 shania        X
455 tea           X
456 ziyi          X
457
458
459 ================================================================================
460
461 Random useful-at-some-point SQL
462 -------------------------------
463
464 UPDATE files SET last_used = '1980-01-01'
465   FROM binaries WHERE binaries.architecture = <x> 
466                   AND binaries.file = files.id;
467
468 DELETE FROM bin_associations 
469  WHERE EXISTS (SELECT id FROM binaries 
470                 WHERE architecture = <x> 
471                   AND id = bin_associations.bin);
472
473 ================================================================================