]> git.decadent.org.uk Git - dak.git/blob - docs/TODO.old
Use foo.iteritems() to avoid reentrancy with foo[k].
[dak.git] / docs / TODO.old
1                                  TODO
2                                  ====
3
4 [NB: I use this as a thought record/scribble, not everything on here
5      makes sense and/or is actually ever going to get done, so IIWY I
6      wouldn't use it as gospel for the future of dak or as a TODO
7      list for random hacking.]
8
9 ================================================================================
10
11 Others
12 ------
13
14   o 'dak reject-proposed-updates' should only start an editor once to
15     capture a message; it will usually be the same message for all
16     files on the same command line.
17
18   o drop map-unreleased
19
20   o check email only portions of addresses match too, iff the names
21   don't, helps with the "James Troup <james@nocrew.org>"
22   vs. "<james@nocrew.org>" case.
23
24   o ensure .dsc section/prio match .changes section/prio
25
26   o 'dak clean-suites' performance is kind of crap when asked to
27      remove a lot of files (e.g. 2k or so).
28
29   o we don't handle the case where an identical orig.tar.gz is
30     mentioned in the .changes, but not in unchecked; but should we
31     care?
32
33   o 'dak ls' could do better sanity checking for -g/-G (e.g. not more
34     than one suite, etc.)
35
36   o need to decide on whether we're tying for most errors at once.. if
37     so (probably) then make sure code doesn't assume variables exist and
38     either way do something about checking error code of check_dsc and
39     later functions so we skip later checks if they're bailing.
40
41   o [?, wishlist, distant future] RFC2047-ing should be extended to
42     all headers of mails sent out.
43
44   o reject sparc64 binaries in a non '*64*' package.
45
46   o queue.py(source_exists): a) we take arguments as parameters that
47     we could figure out for ourselves (we're part of the Upload class
48     after all), b) we have this 3rd argument which defaults to "any"
49     but could in fact be dropped since no one uses it like that.
50
51   o 'dak process-unchecked': doesn't handle bin-only NMUs of stuff
52     still in NEW, BYHAND or ACCEPTED (but not the pool) - not a big
53     deal, upload can be retried once the source is in the archive, but
54     still.
55
56   o 'dak security-install' should upload sourceful packages first,
57      otherwise with big packages (e.g. X) and esp. when source is !i386,
58      half the arches can be uploaded without source, get copied into
59      queue/unaccepted and promptly rejected.
60
61   o cnf[Rm::logfile] is misnamed...
62
63 <aj> i'd be kinda inclined to go with insisting the .changes file take
64    the form ---- BEGIN PGP MESSAGE --- <non -- BEGIN/END lines> --
65    BEGIN PGP SIG -- END PGP MESSAGE -- with no lines before or after,
66    and rejecting .changes that didn't match that
67
68   o 'dak control-suite' should have a diff mode that accepts diff output!
69
70   o 'dak clean-proposed-updates' doesn't deal with 'dak rm'-d
71      packages, partial replacements etc. and more.
72
73   o 'dak reject-proposed-updates' blindly deletes with no check that
74     the delete failed which it might well given we only look for
75     package/version, not package/version _in p-u_.  duh.
76
77   o 'dak rm' should remove obsolete changes when removing from p-u, or
78     at least warn.  or 'dak reject-proposed-updates' should handle it.
79
80   o 'dak process-unchecked' crashes if run as a user in -n mode when
81     orig.tar.gz is in queue/new...
82
83 <elmo_home> [<random>maybe I should reject debian packages with a non-Debian origin or bugs field</>]
84 <Kamion> [<random>agreed; dunno what origin does but non-Debian bugs fields would be bad]
85
86   o 'dak clean-suites' should make use of select..except select, temporary tables
87     etc. rather than looping and calling SQL every time so we can do
88     suite removal sanely (see potato-removal document)
89
90   o 'dak rm' will happily include packages in the Cc list that aren't
91     being removed...
92
93   o 'dak rm' doesn't remove udebs when removing the source they build from
94
95   o check_dsc_against_db's "delete an entry from files while you're
96     not looking" habit is Evil and Bad.
97
98   o 'dak rm' needs to, when not sending bug close mails, promote Cc: to
99     To: and send the mail anyways.
100
101   o the lockfile (Archive_Maintenance_In_Progress) should probably be in a conf file
102
103   o 'dak ls' should cross-check the b.source field and if it's not
104     null and s.name linked from it != the source given in
105     -S/--source-and-binary ignore.
106
107   o 'dak reject-proposed-updates' sucks; it should a) only spam d-i
108    for sourceful rejections, b) sort stuff so it rejects sourceful
109    stuff first.  the non-sourceful should probably get a form mail, c)
110    automate the non-sourceful stuff (see b).
111
112   o 'dak process-unchecked' should do q-d stuff for faster AA [ryan]
113
114   o split the morgue into source and binary so binaries can be purged first!
115
116   o per-architecture priorities for things like different arch'es
117     gcc's, silly BSD libftw, palo, etc.
118
119   o use postgres 7.2's built-in stat features to figure out how indices are used etc.
120
121   o 'dak init-archive' shouldn't be using location, it should run down suites instead
122
123   o 'dak clean-proposed-updates' needs to know about udebs
124
125   o by default hamstring dak's mail sending so that it won't send
126     anything until someone edits a script; it's been used far too
127     much to send spam atm :(
128
129   o $ftpdir/indices isn't created by 'dak init-dir' because it's not in dak.conf
130
131   o sanity check depends/recommends/suggests too?  in fact for any
132     empty field?
133
134 [minor] 'dak process-accepted's copychanges, copydotdak handling
135         sucks, the per-suite thing is static for all packages, so work out
136         in advance dummy.
137
138 [dak ls] # filenames ?
139 [dak ls] # maintainer, component, install date (source only?), fingerprint?
140
141   o UrgencyLog stuff should minimize it's bombing out(?)
142   o Log stuff should open the log file
143
144   o 'dak import-users-from-passwd' should sync debadmin and ftpmaster (?)
145
146   o <drow> Can't read file.:
147   /org/security.debian.org/queue/accepted/accepted/apache-perl_1.3.9-14.1-1.21.20000309-1_sparc.dak.
148   You assume that the filenames are relative to accepted/, might want
149   to doc or fix that.
150
151   o SecurityQueueBuild doesn't handle the case of foo_3.3woody1 with a
152    new .orig.tar.gz followed by a foo_3.3potato1 with the same
153    .orig.tar.gz; 'dak process-unchecked' sees it and copes, but the AA
154    code doesn't and can't really easily know so the potato AA dir is
155    left with no .orig.tar.gz copy.  doh.
156
157   o orig.tar.gz in accepted not handled properly (?)
158
159   o 'dak security-install' doesn't include .orig.tar.gz but it should
160
161   o permissions (paranoia, group write, etc.) configurability and overhaul
162
163   o database.get_location_id should handle the lack of archive_id properly
164
165   o the whole versioncmp thing should be documented
166
167   o aj's bin nmu changes
168
169   o 'dak process-new':
170     * priority >> optional
171     * arch != {any,all}
172     * build-depends wrong (via 'dak compare-suites')
173     * suid
174     * conflicts
175     * notification/stats to admin daily
176     o trap 'dak examine-package' exiting
177     o distinguish binary only versus others (neuro)
178
179   o cache changes parsed from ordering (careful tho: would be caching
180     .changes from world writable incoming, not holding)
181
182   o dak doesn't recognise binonlyNMUs correctly in terms of telling
183     who their source is; source-must-exist does, but the info is not
184     propogated down.
185
186   o maintainers file needs overrides
187
188     [ change override.maintainer to override.maintainer-from +
189       override.maintainer-to and have them reference the maintainers
190       table.  Then fix 'dak make-maintainers' to use them and write some scripting
191       to handle the Santiago situation. ]
192
193   o Validate Depends (et al.) [it should match  \(\s*(<<|<|<=|=|>=|>|>>)\s*<VERSIONREGEXP>\)]
194
195   o Clean up DONE; archive to tar file every 2 weeks, update tar tvzf INDEX file.
196
197   o testing-updates suite: if binary-only and version << version in
198     unstable and source-ver ~= source-ver in testing; then map
199     unstable -> testing-updates ?
200
201   o hooks or configurability for debian specific checks (e.g. check_urgency, auto-building support)
202
203   o morgue needs auto-cleaning (?)
204
205   o dak stats: two modes, all included, seperate
206   o dak stats: add non-US
207   o dak stats: add ability to control components, architectures, archives, suites
208   o dak stats: add key to expand header
209
210 ================================================================================
211
212 queue/approved
213 --------------
214
215  o What to do with multi-suite uploads?  Presumably hold in unapproved
216    and warn?  Or what?  Can't accept just for unstable or reject just
217    from stable.
218
219  o Whenever we check for anything in accepted we also need to check in
220    unapproved.
221
222  o non-sourceful uploads should go straight through if they have
223    source in accepted or the archive.
224
225  o security uploads on auric should be pre-approved.
226
227 ================================================================================
228
229 Less Urgent
230 -----------
231
232   o change utils.copy to try rename() first
233
234   o [hard, long term] unchecked -> accepted should go into the db, not
235     a suite, but similar.  this would allow dak to get even faster,
236     make 'dak ls' more useful, decomplexify specialacceptedautobuild
237     and generally be more sane.  may even be helpful to have e.g. new
238     in the DB, so that we avoid corner cases like the .orig.tar.gz
239     disappearing 'cos the package has been entirely removed but was
240     still on stayofexecution when it entered new.
241
242   o Logging [mostly done] (todo: 'dak clean-suites' (hard), .. ?)
243
244   o 'dak process-unchecked': the tar extractor class doesn't need to be redone for each package
245
246   o reverse of source-must-exist; i.e. binary-for-source-must-not-exist
247   o REJECT reminders in 'dak clean-queues'.
248   o 'dak examine-package' should check for conflicts and warn about them visavis priority [rmurray]
249   o store a list of removed/files versions; also compare against them.
250     [but be careful about scalability]
251
252   o dak examine-package: print_copyright should be a lot more intelligent
253      @ handle copyright.gz
254      @ handle copyright.ja and copyright
255      @ handle (detect at least) symlinks to another package's doc directory
256      @ handle and/or fall back on source files (?)
257
258   o To incorporate from utils:
259      @ unreject
260
261   o auto-purge out-of-date stuff from non-free/contrib so that testing and stuff works
262   o doogie's binary -> source index
263   o jt's web stuff, matt's changelog stuff (overlap)
264
265   o [Hard] Need to merge non-non-US and non-US DBs.
266
267   o Do a checkpc(1)-a-like which sanitizes a config files.
268   o fix parse_changes()/build_file_list() to sanity check filenames
269   o saftey check and/or rename debs so they match what they should be
270
271   o Improve 'dak compare-suites'.
272   o Need to optimize all the queries by using EXAMINE and building some INDEXs.
273     [postgresql 7.2 will help here]
274   o Need to enclose all the setting SQL stuff in transactions (mostly done).
275   o Need to finish 'dak init-db' (a way to sync dak.conf and the DB)
276   o Need the ability to rebuild all other tables from dists _or_ pools (in the event of disaster) (?)
277   o Make the --help and --version options do stuff for all scripts
278
279   o 'dak make-maintainers' can't handle whitespace-only lines (for the moment, this is feature)
280
281   o generic way of saying isabinary and isadsc. (?)
282
283   o s/distribution/suite/g
284
285   o --help doesn't work without /etc/dak/dak.conf (or similar) at
286     least existing.
287
288   o rename 'dak compare-suites' (clashes with existing 'dak compare-suites')...
289
290  * Harder:
291
292     o interrupting of stracing 'dak process-unchecked' causes exceptions errors from apt_inst calls
293     o dependency checking (esp. stable) (partially done)
294     o need to do proper rfc822 escaping of from lines (as opposed to s/\.//g)
295     o Revisit linking of binary->source in install() in dak.
296     o binary-all should be done on a per-source, per-architecture package
297       basis to avoid, e.g. the perl-modules problem.
298     o a source-missing-diff check: if the version has a - in it, and it
299       is sourceful, it needs orig and diff, e.g. if someone uploads
300       esound_0.2.22-6, and it is sourceful, and there is no diff ->
301       REJECT (version has a dash, therefore not debian native.)
302     o check linking of .tar.gz's to .dsc's.. see proftpd 1.2.1 as an example
303     o archive needs md5sum'ed regularly, but takes too long to do all
304       in one go; make progressive or weekly.
305     o something needs to clear out .changes files from p-u when
306       removing stuff superseded by newer versions.  [but for now we have
307       'dak clean-proposed-updates']
308     o test sig checking stuff in test/ (stupid thing is not modularized due to global abuse)
309     o when encountering suspicous things (e.g. file tainting) do something more drastic
310
311  * Easy:
312
313     o suite mapping and component mapping are parsed per changes file,
314       they should probably be stored in a dictionary created at startup.
315     o don't stat/md5sum files you have entries for in the DB, moron
316       boy (Dak.check_source_blah_blah)
317     o promote changes["changes"] to mandatory in dak.py(dump_vars)
318       after a month or so (or all .dak files contain in the queue
319       contain it).
320     o 'dak rm' should behave better with -a and without -b; see
321       gcc-defaults removal for an example.
322     o Reject on misconfigured kernel-package uploads
323     o utils.extract_component_from_section: main/utils -> main/utils, main rather than utils, main
324     o Fix 'dak process-unchecked' to warn if run when not in incoming or p-u
325     o dak should validate multi-suite uploads; only possible valid one
326       is "stable unstable"
327     o cron.daily* should change umask (aj sucks)
328     o byhand stuff should send notification
329     o 'dak rm' should update the stable changelog [joey]
330     o update tagdb.dia
331
332  * Bizzare/uncertain:
333
334     o drop rather dubious currval stuff (?)
335     o rationalize os.path.join() usage
336     o logging: hostname + pid ?
337     o ANAIS should be done in dak (?)
338     o Add an 'add' ability to 'dak rm' (? separate prog maybe)
339     o Handle the case of 1:1.1 which would overwrite 1.1 (?)
340     o maybe drop -r/--regex in 'dak ls', make it the default and
341       implement -e/--exact (a la joey's "elmo")
342     o dsc files are not checked for existence/perms (only an issue if
343       they're in the .dsc, but not the .changes.. possible?)
344
345  * Cleanups & misc:
346
347     o db_access' get_files needs to use exceptions not this None, > 0, < 0 return val BS (?)
348     o The untouchable flag doesn't stop new packages being added to ``untouchable'' suites
349
350 ================================================================================
351
352 Packaging
353 ---------
354
355   o Fix stuff to look in sensible places for libs and config file in debian package (?)
356
357 ================================================================================
358
359                           --help      manpage
360 -----------------------------------------------------------------------------
361 check-archive             X
362 check-overrides           X              X
363 check-proposed-updates    X
364 clean-proposed-updates    X
365 clean-queues              X
366 clean-suites              X              X
367 compare-suites            X
368 control-overrides         X              X
369 control-suite             X              X
370 cruft-report              X
371 decode-dot-dak            X
372 examine-package           X
373 generate-releases         X
374 import-archive            X
375 import-users-from-passwd  X              X
376 init-db                   X
377 init-dirs                 X
378 ls                        X              X
379 make-maintainers          X              X
380 make-overrides            X
381 make-suite-file-list      X
382 poolize                   X              X
383 process-accepted          X              X
384 process-new               X              X
385 process-unchecked         X
386 queue-report              X
387 rm                        X              X
388 security-install          X
389 stats                     X
390 symlink-dists             X
391
392
393 ================================================================================
394
395 Random useful-at-some-point SQL
396 -------------------------------
397
398 UPDATE files SET last_used = '1980-01-01'
399   FROM binaries WHERE binaries.architecture = <x>
400                   AND binaries.file = files.id;
401
402 DELETE FROM bin_associations
403  WHERE EXISTS (SELECT id FROM binaries
404                 WHERE architecture = <x>
405                   AND id = bin_associations.bin);
406
407 ================================================================================