]> git.decadent.org.uk Git - dak.git/blob - docs/TODO
[JT] trivial typo in comment
[dak.git] / docs / TODO
1                                  TODO
2                                  ====
3
4 [NB: I use this as a thought record/scribble, not everything on here
5      makes sense and/or is actually ever going to get done, so IIWY I
6      wouldn't use it as gospel for the future of dak or as a TODO
7      list for random hacking.]
8
9 ================================================================================
10
11 Others
12 ------
13
14   o 'dak check-overrides' should remove the src-only override when a
15     binary+source override exists
16
17   o reject on > or < in a version constraint
18
19   o 'dak reject-proposed-updates' should only start an editor once to
20     capture a message; it will usually be the same message for all
21     files on the same command line.
22
23 23:07 < aba> elmo: and, how about enhancing 'dak cruft-report' to spot half-dropped
24    binaries on one arch (i.e. package used to build A and B, but B is
25    no longer built on some archs)?
26
27   o tabnanny the source
28
29   o drop map-unreleased
30
31   o check email only portions of addresses match too, iff the names
32   don't, helps with the "James Troup <james@nocrew.org>"
33   vs. "<james@nocrew.org>" case.
34
35   o ensure .dsc section/prio match .changes section/prio
36
37   o 'dak clean-suites' performance is kind of crap when asked to
38      remove a lot of files (e.g. 2k or so).
39
40   o we don't handle the case where an identical orig.tar.gz is
41     mentioned in the .changes, but not in unchecked; but should we
42     care?
43
44   o 'dak ls' could do better sanity checking for -g/-G (e.g. not more
45     than one suite, etc.)
46
47   o use python2.2-tarfile (once it's in stable?) to check orig.tar.gz
48     timestamps too.
49
50   o need to decide on whether we're tying for most errors at once.. if
51     so (probably) then make sure code doesn't assume variables exist and
52     either way do something about checking error code of check_dsc and
53     later functions so we skip later checks if they're bailing.
54
55   o the .dak stuff is fundamentally braindamaged, it's not versioned
56     so there's no way to change the format, yay me.  need to fix.
57     probably by putting a version var as the first thing and checking
58     that.. auto-upgrade at least from original format would be good.
59     might also be a good idea to put everything in one big dict after
60     that?
61
62   o [?, wishlist, distant future] RFC2047-ing should be extended to
63     all headers of mails sent out.
64
65   o reject sparc64 binaries in a non '*64*' package.
66
67   o queue.py(source_exists): a) we take arguments as parameters that
68     we could figure out for ourselves (we're part of the Upload class
69     after all), b) we have this 3rd argument which defaults to "any"
70     but could in fact be dropped since no one uses it like that.
71
72   o 'dak process-unchecked': doesn't handle bin-only NMUs of stuff
73     still in NEW, BYHAND or ACCEPTED (but not the pool) - not a big
74     deal, upload can be retried once the source is in the archive, but
75     still.
76
77   o security global mail overrides should special case buildd stuff so
78     that buildds get ACCEPTED mails (or maybe 'dak security-install' (?)), that way
79     upload-security doesn't grow boundlessly.
80
81   o 'dak security-install' should upload sourceful packages first,
82      otherwise with big packages (e.g. X) and esp. when source is !i386,
83      half the arches can be uploaded without source, get copied into
84      queue/unaccepted and promptly rejected.
85
86   o 'dak cruft-report's NVIU check doesn't catch cases where source
87      package changed name, should check binaries
88      too. [debian-devel@l.d.o, 2004-02-03]
89
90   o cnf[Rm::logfile] is misnamed...
91
92 <aj> i'd be kinda inclined to go with insisting the .changes file take
93    the form ---- BEGIN PGP MESSAGE --- <non -- BEGIN/END lines> --
94    BEGIN PGP SIG -- END PGP MESSAGE -- with no lines before or after,
95    and rejecting .changes that didn't match that
96
97   o 'dak cruft-report' should check for source packages not building any binaries
98
99   o 'dak control-suite' should have a diff mode that accepts diff output!
100
101   o 'dak clean-proposed-updates' doesn't deal with 'dak rm'-d
102      packages, partial replacements etc. and more.
103
104   o 'dak reject-proposed-updates' blindly deletes with no check that
105     the delete failed which it might well given we only look for
106     package/version, not package/version _in p-u_.  duh.
107
108   o 'dak rm' should remove obsolete changes when removing from p-u, or
109     at least warn.  or 'dak reject-proposed-updates' should handle it.
110
111   o need a testsuite _badly_
112
113   o 'dak process-unchecked' crashes if run as a user in -n mode when
114     orig.tar.gz is in queue/new...
115
116 <elmo_home> [<random>maybe I should reject debian packages with a non-Debian origin or bugs field</>]
117 <Kamion> [<random>agreed; dunno what origin does but non-Debian bugs fields would be bad]
118
119   o 'dak clean-suites' should make use of select..except select, temporary tables
120     etc. rather than looping and calling SQL every time so we can do
121     suite removal sanely (see potato-removal document)
122
123   o 'dak rm' will happily include packages in the Cc list that aren't
124     being removed...
125
126   o 'dak rm' doesn't remove udebs when removing the source they build from
127
128   o check_dsc_against_db's "delete an entry from files while you're
129     not looking" habit is Evil and Bad.
130
131   o 'dak process-new' allows you to edit the section and change the
132     component, but really shouldn't.
133
134   o 'dak rm' needs to, when not sending bug close mails, promote Cc: to
135     To: and send the mail anyways.
136
137   o the lockfile (Archive_Maintenance_In_Progress) should probably be in a conf file
138
139   o 'dak ls' should cross-check the b.source field and if it's not
140     null and s.name linked from it != the source given in
141     -S/--source-and-binary ignore.
142
143   o 'dak reject-proposed-updates' sucks; it should a) only spam d-i
144    for sourceful rejections, b) sort stuff so it rejects sourceful
145    stuff first.  the non-sourceful should probably get a form mail, c)
146    automate the non-sourceful stuff (see b).
147
148   o 'dak process-unchecked' should do q-d stuff for faster AA [ryan]
149
150   o split the morgue into source and binary so binaries can be purged first!
151
152   o per-architecture priorities for things like different arch'es
153     gcc's, silly BSD libftw, palo, etc.
154
155   o use postgres 7.2's built-in stat features to figure out how indices are used etc.
156
157   o 'dak init-archive' shouldn't be using location, it should run down suites instead
158
159   o 'dak clean-proposed-updates' needs to know about udebs
160
161   o by default hamstring dak's mail sending so that it won't send
162     anything until someone edits a script; it's been used far too
163     much to send spam atm :(
164
165   o $ftpdir/indices isn't created by 'dak init-dir' because it's not in dak.conf
166
167   o sanity check depends/recommends/suggests too?  in fact for any
168     empty field?
169
170 [minor] 'dak process-accepted's copychanges, copydotdak handling
171         sucks, the per-suite thing is static for all packages, so work out
172         in advance dummy.
173
174 [dak ls] # filenames ?
175 [dak ls] # maintainer, component, install date (source only?), fingerprint?
176
177   o UrgencyLog stuff should minimize it's bombing out(?)
178   o Log stuff should open the log file
179
180   o 'dak queue-report' should footnote the actual notes, and also *
181     the versions with notes so we can see new versions since being
182     noted...
183
184   o 'dak queue-report' should have alternative sorting options, including reverse
185     and without or without differentiaion.
186
187   o 'dak import-users-from-passwd' should sync debadmin and ftpmaster (?)
188
189   o <drow> Can't read file.:
190   /org/security.debian.org/queue/accepted/accepted/apache-perl_1.3.9-14.1-1.21.20000309-1_sparc.dak.
191   You assume that the filenames are relative to accepted/, might want
192   to doc or fix that.
193
194   o <neuro> the orig was in NEW, the changes that caused it to be NEW
195     were pulled out in -2, and we end up with no orig in the archive
196     :(
197
198   o SecurityQueueBuild doesn't handle the case of foo_3.3woody1 with a
199    new .orig.tar.gz followed by a foo_3.3potato1 with the same
200    .orig.tar.gz; 'dak process-unchecked' sees it and copes, but the AA
201    code doesn't and can't really easily know so the potato AA dir is
202    left with no .orig.tar.gz copy.  doh.
203
204   o orig.tar.gz in accepted not handled properly (?)
205
206   o 'dak security-install' doesn't include .orig.tar.gz but it should
207
208   o permissions (paranoia, group write, etc.) configurability and overhaul
209
210   o remember duplicate copyrights in 'dak process-new' and skip them, per package
211
212   o <M>ove option for 'dak process-new' byhand proecessing
213
214   o 'dak cruft-report' could do with overrides
215
216   o database.get_location_id should handle the lack of archive_id properly
217
218   o the whole versioncmp thing should be documented
219
220   o 'dak process-new' doesn't do the right thing with -2 and -1 uploads, as you can
221     end up with the .orig.tar.gz not in the pool
222
223   o 'dak process-new' exits if you check twice (aj)
224
225   o 'dak process-new' doesn't trap signals from 'dak examine-package' properly
226
227   o queued and/or perl on sparc stable sucks - reimplement it.
228
229   o aj's bin nmu changes
230
231   o 'dak process-new':
232     * priority >> optional
233     * arch != {any,all}
234     * build-depends wrong (via 'dak compare-suites')
235     * suid
236     * conflicts
237     * notification/stats to admin daily
238     o trap 'dak examine-package' exiting
239     o distinguish binary only versus others (neuro)
240
241   o cache changes parsed from ordering (careful tho: would be caching
242     .changes from world writable incoming, not holding)
243
244   o dak doesn't recognise binonlyNMUs correctly in terms of telling
245     who their source is; source-must-exist does, but the info is not
246     propogated down.
247
248   o Fix BTS vs. dak sync issues by queueing(via BSMTP) BTS mail so
249     that it can be released on deman (e.g. ETRN to exim).
250
251   o maintainers file needs overrides
252
253     [ change override.maintainer to override.maintainer-from +
254       override.maintainer-to and have them reference the maintainers
255       table.  Then fix 'dak make-maintainers' to use them and write some scripting
256       to handle the Santiago situation. ]
257
258   o Validate Depends (et al.) [it should match  \(\s*(<<|<|<=|=|>=|>|>>)\s*<VERSIONREGEXP>\)]
259
260   o Clean up DONE; archive to tar file every 2 weeks, update tar tvzf INDEX file.
261
262   o testing-updates suite: if binary-only and version << version in
263     unstable and source-ver ~= source-ver in testing; then map
264     unstable -> testing-updates ?
265
266   o hooks or configurability for debian specific checks (e.g. check_urgency, auto-building support)
267
268   o morgue needs auto-cleaning (?)
269
270   o dak stats: two modes, all included, seperate
271   o dak stats: add non-US
272   o dak stats: add ability to control components, architectures, archives, suites
273   o dak stats: add key to expand header
274
275 ================================================================================
276
277 queue/approved
278 --------------
279
280  o What to do with multi-suite uploads?  Presumably hold in unapproved
281    and warn?  Or what?  Can't accept just for unstable or reject just
282    from stable.
283
284  o Whenever we check for anything in accepted we also need to check in
285    unapproved.
286
287  o non-sourceful uploads should go straight through if they have
288    source in accepted or the archive.
289
290  o security uploads on auric should be pre-approved.
291
292 ================================================================================
293
294 Less Urgent
295 -----------
296
297   o change utils.copy to try rename() first
298
299   o [hard, long term] unchecked -> accepted should go into the db, not
300     a suite, but similar.  this would allow dak to get even faster,
301     make 'dak ls' more useful, decomplexify specialacceptedautobuild
302     and generally be more sane.  may even be helpful to have e.g. new
303     in the DB, so that we avoid corner cases like the .orig.tar.gz
304     disappearing 'cos the package has been entirely removed but was
305     still on stayofexecution when it entered new.
306
307   o Logging [mostly done] (todo: 'dak clean-suites' (hard), .. ?)
308
309   o 'dak process-unchecked': the tar extractor class doesn't need to be redone for each package
310
311   o reverse of source-must-exist; i.e. binary-for-source-must-not-exist
312   o REJECT reminders in 'dak clean-queues'.
313   o 'dak examine-package' should check for conflicts and warn about them visavis priority [rmurray]
314   o store a list of removed/files versions; also compare against them.
315     [but be careful about scalability]
316
317   o dak examine-package: print_copyright should be a lot more intelligent
318      @ handle copyright.gz
319      @ handle copyright.ja and copyright
320      @ handle (detect at least) symlinks to another package's doc directory
321      @ handle and/or fall back on source files (?)
322
323   o To incorporate from utils:
324      @ unreject
325
326   o auto-purge out-of-date stuff from non-free/contrib so that testing and stuff works
327   o doogie's binary -> source index
328   o jt's web stuff, matt's changelog stuff (overlap)
329
330   o [Hard] Need to merge non-non-US and non-US DBs.
331
332   o experimental needs to auto clean (relative to unstable) [partial:
333    'dak cruft-report' warns about this]
334
335   o Do a checkpc(1)-a-like which sanitizes a config files.
336   o fix parse_changes()/build_file_list() to sanity check filenames
337   o saftey check and/or rename debs so they match what they should be
338
339   o Improve 'dak compare-suites'.
340   o Need to optimize all the queries by using EXAMINE and building some INDEXs.
341     [postgresql 7.2 will help here]
342   o Need to enclose all the setting SQL stuff in transactions (mostly done).
343   o Need to finish 'dak init-db' (a way to sync dak.conf and the DB)
344   o Need the ability to rebuild all other tables from dists _or_ pools (in the event of disaster) (?)
345   o Make the --help and --version options do stuff for all scripts
346
347   o 'dak make-maintainers' can't handle whitespace-only lines (for the moment, this is feature)
348
349   o generic way of saying isabinary and isadsc. (?)
350
351   o s/distribution/suite/g
352
353   o cron.weekly:
354      @ weekly postins to d-c (?)
355      @ backup of report (?)
356      @ backup of changes.tgz (?)
357
358   o --help doesn't work without /etc/dak/dak.conf (or similar) at
359     least existing.
360
361   o rename 'dak compare-suites' (clashes with existing 'dak compare-suites')...
362
363  * Harder:
364
365     o interrupting of stracing 'dak process-unchecked' causes exceptions errors from apt_inst calls
366     o dependency checking (esp. stable) (partially done)
367     o override checks sucks; it needs to track changes made by the
368       maintainer and pass them onto ftpmaster instead of warning the
369       maintainer.
370     o need to do proper rfc822 escaping of from lines (as opposed to s/\.//g)
371     o Revisit linking of binary->source in install() in dak.
372     o Fix component handling in overrides (aj)
373     o Fix lack of entires in source overrides (aj)
374     o direport misreports things as section 'devel' (? we don't use direport)
375     o vrfy check of every Maintainer+Changed-By address; valid for 3 months.
376     o binary-all should be done on a per-source, per-architecture package
377       basis to avoid, e.g. the perl-modules problem.
378     o a source-missing-diff check: if the version has a - in it, and it
379       is sourceful, it needs orig and diff, e.g. if someone uploads
380       esound_0.2.22-6, and it is sourceful, and there is no diff ->
381       REJECT (version has a dash, therefore not debian native.)
382     o check linking of .tar.gz's to .dsc's.. see proftpd 1.2.1 as an example
383     o archive needs md5sum'ed regularly, but takes too long to do all
384       in one go; make progressive or weekly.
385     o something needs to clear out .changes files from p-u when
386       removing stuff superseded by newer versions.  [but for now we have
387       'dak clean-proposed-updates']
388     o test sig checking stuff in test/ (stupid thing is not modularized due to global abuse)
389     o when encountering suspicous things (e.g. file tainting) do something more drastic
390
391  * Easy:
392
393     o suite mapping and component mapping are parsed per changes file,
394       they should probably be stored in a dictionary created at startup.
395     o don't stat/md5sum files you have entries for in the DB, moron
396       boy (Dak.check_source_blah_blah)
397     o promote changes["changes"] to mandatory in dak.py(dump_vars)
398       after a month or so (or all .dak files contain in the queue
399       contain it).
400     o 'dak rm' should behave better with -a and without -b; see
401       gcc-defaults removal for an example.
402     o Reject on misconfigured kernel-package uploads
403     o utils.extract_component_from_section: main/utils -> main/utils, main rather than utils, main
404     o Fix 'dak process-unchecked' to warn if run when not in incoming or p-u
405     o dak should validate multi-suite uploads; only possible valid one
406       is "stable unstable"
407     o cron.daily* should change umask (aj sucks)
408     o 'dak cruft-report' doesn't look at debian-installer but should.
409     o 'dak cruft-report' needs to check for binary-less source packages.
410     o 'dak cruft-report' could accept a suite argument (?)
411     o byhand stuff should send notification
412     o 'dak poolize' should udpate db; move files, not the other way around [neuro]
413     o 'dak rm' should update the stable changelog [joey]
414     o update tagdb.dia
415
416  * Bizzare/uncertain:
417
418     o drop rather dubious currval stuff (?)
419     o rationalize os.path.join() usage
420     o 'dak cruft-report' also doesn't seem to warn about missing binary packages (??)
421     o logging: hostname + pid ?
422     o ANAIS should be done in dak (?)
423     o Add an 'add' ability to 'dak rm' (? separate prog maybe)
424     o Replicate old dinstall report stuff (? needed ?)
425     o Handle the case of 1:1.1 which would overwrite 1.1 (?)
426     o maybe drop -r/--regex in 'dak ls', make it the default and
427       implement -e/--exact (a la joey's "elmo")
428     o dsc files are not checked for existence/perms (only an issue if
429       they're in the .dsc, but not the .changes.. possible?)
430
431  * Cleanups & misc:
432
433     o db_access' get_files needs to use exceptions not this None, > 0, < 0 return val BS (?)
434     o The untouchable flag doesn't stop new packages being added to ``untouchable'' suites
435
436 ================================================================================
437
438 Packaging
439 ---------
440
441   o Fix stuff to look in sensible places for libs and config file in debian package (?)
442
443 ================================================================================
444
445                           --help      manpage
446 -----------------------------------------------------------------------------
447 check-archive             X
448 check-overrides           X              X
449 check-proposed-updates    X
450 clean-proposed-updates    X
451 clean-queues              X
452 clean-suites              X              X
453 compare-suites            X
454 control-overrides         X              X
455 control-suite             X              X
456 cruft-report              X
457 decode-dot-dak            X
458 examine-package           X
459 generate-releases         X
460 import-archive            X
461 import-users-from-passwd  X              X
462 init-db                   X
463 init-dirs                 X
464 ls                        X              X
465 make-maintainers          X              X
466 make-overrides            X
467 make-suite-file-list      X
468 poolize                   X              X
469 process-accepted          X              X
470 process-new               X              X
471 process-unchecked         X
472 queue-report              X
473 rm                        X              X
474 security-install          X
475 stats                     X
476 symlink-dists             X
477
478
479 ================================================================================
480
481 Random useful-at-some-point SQL
482 -------------------------------
483
484 UPDATE files SET last_used = '1980-01-01'
485   FROM binaries WHERE binaries.architecture = <x> 
486                   AND binaries.file = files.id;
487
488 DELETE FROM bin_associations 
489  WHERE EXISTS (SELECT id FROM binaries 
490                 WHERE architecture = <x> 
491                   AND id = bin_associations.bin);
492
493 ================================================================================