]> git.decadent.org.uk Git - dak.git/blob - docs/TODO.old
config-security: also refresh Release for buildd archive weekly
[dak.git] / docs / TODO.old
1                                  TODO
2                                  ====
3
4 [NB: I use this as a thought record/scribble, not everything on here
5      makes sense and/or is actually ever going to get done, so IIWY I
6      wouldn't use it as gospel for the future of dak or as a TODO
7      list for random hacking.]
8
9 ================================================================================
10
11 Others
12 ------
13
14   o drop map-unreleased
15
16   o check email only portions of addresses match too, iff the names
17   don't, helps with the "James Troup <james@nocrew.org>"
18   vs. "<james@nocrew.org>" case.
19
20   o ensure .dsc section/prio match .changes section/prio
21
22   o 'dak clean-suites' performance is kind of crap when asked to
23      remove a lot of files (e.g. 2k or so).
24
25   o we don't handle the case where an identical orig.tar.gz is
26     mentioned in the .changes, but not in unchecked; but should we
27     care?
28
29   o 'dak ls' could do better sanity checking for -g/-G (e.g. not more
30     than one suite, etc.)
31
32   o need to decide on whether we're tying for most errors at once.. if
33     so (probably) then make sure code doesn't assume variables exist and
34     either way do something about checking error code of check_dsc and
35     later functions so we skip later checks if they're bailing.
36
37   o [?, wishlist, distant future] RFC2047-ing should be extended to
38     all headers of mails sent out.
39
40   o reject sparc64 binaries in a non '*64*' package.
41
42   o queue.py(source_exists): a) we take arguments as parameters that
43     we could figure out for ourselves (we're part of the Upload class
44     after all), b) we have this 3rd argument which defaults to "any"
45     but could in fact be dropped since no one uses it like that.
46
47   o 'dak process-unchecked': doesn't handle bin-only NMUs of stuff
48     still in NEW, BYHAND or ACCEPTED (but not the pool) - not a big
49     deal, upload can be retried once the source is in the archive, but
50     still.
51
52   o 'dak security-install' should upload sourceful packages first,
53      otherwise with big packages (e.g. X) and esp. when source is !i386,
54      half the arches can be uploaded without source, get copied into
55      queue/unaccepted and promptly rejected.
56
57   o cnf[Rm::logfile] is misnamed...
58
59 <aj> i'd be kinda inclined to go with insisting the .changes file take
60    the form ---- BEGIN PGP MESSAGE --- <non -- BEGIN/END lines> --
61    BEGIN PGP SIG -- END PGP MESSAGE -- with no lines before or after,
62    and rejecting .changes that didn't match that
63
64   o 'dak control-suite' should have a diff mode that accepts diff output!
65
66   o 'dak process-unchecked' crashes if run as a user in -n mode when
67     orig.tar.gz is in queue/new...
68
69 <elmo_home> [<random>maybe I should reject debian packages with a non-Debian origin or bugs field</>]
70 <Kamion> [<random>agreed; dunno what origin does but non-Debian bugs fields would be bad]
71
72   o 'dak clean-suites' should make use of select..except select, temporary tables
73     etc. rather than looping and calling SQL every time so we can do
74     suite removal sanely (see potato-removal document)
75
76   o 'dak rm' will happily include packages in the Cc list that aren't
77     being removed...
78
79   o 'dak rm' doesn't remove udebs when removing the source they build from
80
81   o check_dsc_against_db's "delete an entry from files while you're
82     not looking" habit is Evil and Bad.
83
84   o 'dak rm' needs to, when not sending bug close mails, promote Cc: to
85     To: and send the mail anyways.
86
87   o the lockfile (Archive_Maintenance_In_Progress) should probably be in a conf file
88
89   o 'dak ls' should cross-check the b.source field and if it's not
90     null and s.name linked from it != the source given in
91     -S/--source-and-binary ignore.
92
93   o 'dak process-unchecked' should do q-d stuff for faster AA [ryan]
94
95   o split the morgue into source and binary so binaries can be purged first!
96
97   o per-architecture priorities for things like different arch'es
98     gcc's, silly BSD libftw, palo, etc.
99
100   o use postgres 7.2's built-in stat features to figure out how indices are used etc.
101
102   o 'dak init-archive' shouldn't be using location, it should run down suites instead
103
104   o by default hamstring dak's mail sending so that it won't send
105     anything until someone edits a script; it's been used far too
106     much to send spam atm :(
107
108   o $ftpdir/indices isn't created by 'dak init-dir' because it's not in dak.conf
109
110   o sanity check depends/recommends/suggests too?  in fact for any
111     empty field?
112
113 [minor] 'dak process-accepted's copychanges, copydotdak handling
114         sucks, the per-suite thing is static for all packages, so work out
115         in advance dummy.
116
117 [dak ls] # filenames ?
118 [dak ls] # maintainer, component, install date (source only?), fingerprint?
119
120   o UrgencyLog stuff should minimize it's bombing out(?)
121   o Log stuff should open the log file
122
123   o 'dak import-users-from-passwd' should sync debadmin and ftpmaster (?)
124
125   o <drow> Can't read file.:
126   /org/security.debian.org/queue/accepted/accepted/apache-perl_1.3.9-14.1-1.21.20000309-1_sparc.dak.
127   You assume that the filenames are relative to accepted/, might want
128   to doc or fix that.
129
130   o SecurityQueueBuild doesn't handle the case of foo_3.3woody1 with a
131    new .orig.tar.gz followed by a foo_3.3potato1 with the same
132    .orig.tar.gz; 'dak process-unchecked' sees it and copes, but the AA
133    code doesn't and can't really easily know so the potato AA dir is
134    left with no .orig.tar.gz copy.  doh.
135
136   o orig.tar.gz in accepted not handled properly (?)
137
138   o 'dak security-install' doesn't include .orig.tar.gz but it should
139
140   o permissions (paranoia, group write, etc.) configurability and overhaul
141
142   o database.get_location_id should handle the lack of archive_id properly
143
144   o the whole versioncmp thing should be documented
145
146   o aj's bin nmu changes
147
148   o 'dak process-new':
149     * priority >> optional
150     * arch != {any,all}
151     * build-depends wrong (via 'dak compare-suites')
152     * suid
153     * conflicts
154     * notification/stats to admin daily
155     o trap 'dak examine-package' exiting
156     o distinguish binary only versus others (neuro)
157
158   o cache changes parsed from ordering (careful tho: would be caching
159     .changes from world writable incoming, not holding)
160
161   o dak doesn't recognise binonlyNMUs correctly in terms of telling
162     who their source is; source-must-exist does, but the info is not
163     propogated down.
164
165   o maintainers file needs overrides
166
167     [ change override.maintainer to override.maintainer-from +
168       override.maintainer-to and have them reference the maintainers
169       table.  Then fix 'dak make-maintainers' to use them and write some scripting
170       to handle the Santiago situation. ]
171
172   o Validate Depends (et al.) [it should match  \(\s*(<<|<|<=|=|>=|>|>>)\s*<VERSIONREGEXP>\)]
173
174   o Clean up DONE; archive to tar file every 2 weeks, update tar tvzf INDEX file.
175
176   o testing-updates suite: if binary-only and version << version in
177     unstable and source-ver ~= source-ver in testing; then map
178     unstable -> testing-updates ?
179
180   o hooks or configurability for debian specific checks (e.g. check_urgency, auto-building support)
181
182   o morgue needs auto-cleaning (?)
183
184   o dak stats: two modes, all included, seperate
185   o dak stats: add non-US
186   o dak stats: add ability to control components, architectures, archives, suites
187   o dak stats: add key to expand header
188
189 ================================================================================
190
191 queue/approved
192 --------------
193
194  o What to do with multi-suite uploads?  Presumably hold in unapproved
195    and warn?  Or what?  Can't accept just for unstable or reject just
196    from stable.
197
198  o Whenever we check for anything in accepted we also need to check in
199    unapproved.
200
201  o non-sourceful uploads should go straight through if they have
202    source in accepted or the archive.
203
204  o security uploads on auric should be pre-approved.
205
206 ================================================================================
207
208 Less Urgent
209 -----------
210
211   o change utils.copy to try rename() first
212
213   o [hard, long term] unchecked -> accepted should go into the db, not
214     a suite, but similar.  this would allow dak to get even faster,
215     make 'dak ls' more useful, decomplexify specialacceptedautobuild
216     and generally be more sane.  may even be helpful to have e.g. new
217     in the DB, so that we avoid corner cases like the .orig.tar.gz
218     disappearing 'cos the package has been entirely removed but was
219     still on stayofexecution when it entered new.
220
221   o Logging [mostly done] (todo: 'dak clean-suites' (hard), .. ?)
222
223   o 'dak process-unchecked': the tar extractor class doesn't need to be redone for each package
224
225   o reverse of source-must-exist; i.e. binary-for-source-must-not-exist
226   o REJECT reminders in 'dak clean-queues'.
227   o 'dak examine-package' should check for conflicts and warn about them visavis priority [rmurray]
228   o store a list of removed/files versions; also compare against them.
229     [but be careful about scalability]
230
231   o dak examine-package: print_copyright should be a lot more intelligent
232      @ handle copyright.gz
233      @ handle copyright.ja and copyright
234      @ handle (detect at least) symlinks to another package's doc directory
235      @ handle and/or fall back on source files (?)
236
237   o To incorporate from utils:
238      @ unreject
239
240   o auto-purge out-of-date stuff from non-free/contrib so that testing and stuff works
241   o doogie's binary -> source index
242   o jt's web stuff, matt's changelog stuff (overlap)
243
244   o [Hard] Need to merge non-non-US and non-US DBs.
245
246   o Do a checkpc(1)-a-like which sanitizes a config files.
247   o fix parse_changes()/build_file_list() to sanity check filenames
248   o saftey check and/or rename debs so they match what they should be
249
250   o Improve 'dak compare-suites'.
251   o Need to optimize all the queries by using EXAMINE and building some INDEXs.
252     [postgresql 7.2 will help here]
253   o Need to enclose all the setting SQL stuff in transactions (mostly done).
254   o Need to finish 'dak init-db' (a way to sync dak.conf and the DB)
255   o Need the ability to rebuild all other tables from dists _or_ pools (in the event of disaster) (?)
256   o Make the --help and --version options do stuff for all scripts
257
258   o 'dak make-maintainers' can't handle whitespace-only lines (for the moment, this is feature)
259
260   o generic way of saying isabinary and isadsc. (?)
261
262   o s/distribution/suite/g
263
264   o --help doesn't work without /etc/dak/dak.conf (or similar) at
265     least existing.
266
267   o rename 'dak compare-suites' (clashes with existing 'dak compare-suites')...
268
269  * Harder:
270
271     o interrupting of stracing 'dak process-unchecked' causes exceptions errors from apt_inst calls
272     o dependency checking (esp. stable) (partially done)
273     o need to do proper rfc822 escaping of from lines (as opposed to s/\.//g)
274     o Revisit linking of binary->source in install() in dak.
275     o binary-all should be done on a per-source, per-architecture package
276       basis to avoid, e.g. the perl-modules problem.
277     o a source-missing-diff check: if the version has a - in it, and it
278       is sourceful, it needs orig and diff, e.g. if someone uploads
279       esound_0.2.22-6, and it is sourceful, and there is no diff ->
280       REJECT (version has a dash, therefore not debian native.)
281     o check linking of .tar.gz's to .dsc's.. see proftpd 1.2.1 as an example
282     o archive needs md5sum'ed regularly, but takes too long to do all
283       in one go; make progressive or weekly.
284     o test sig checking stuff in test/ (stupid thing is not modularized due to global abuse)
285     o when encountering suspicous things (e.g. file tainting) do something more drastic
286
287  * Easy:
288
289     o suite mapping and component mapping are parsed per changes file,
290       they should probably be stored in a dictionary created at startup.
291     o don't stat/md5sum files you have entries for in the DB, moron
292       boy (Dak.check_source_blah_blah)
293     o promote changes["changes"] to mandatory in dak.py(dump_vars)
294       after a month or so (or all .dak files contain in the queue
295       contain it).
296     o 'dak rm' should behave better with -a and without -b; see
297       gcc-defaults removal for an example.
298     o Reject on misconfigured kernel-package uploads
299     o utils.extract_component_from_section: main/utils -> main/utils, main rather than utils, main
300     o Fix 'dak process-unchecked' to warn if run when not in incoming or p-u
301     o dak should validate multi-suite uploads; only possible valid one
302       is "stable unstable"
303     o cron.daily* should change umask (aj sucks)
304     o byhand stuff should send notification
305     o 'dak rm' should update the stable changelog [joey]
306     o update tagdb.dia
307
308  * Bizzare/uncertain:
309
310     o drop rather dubious currval stuff (?)
311     o rationalize os.path.join() usage
312     o logging: hostname + pid ?
313     o ANAIS should be done in dak (?)
314     o Add an 'add' ability to 'dak rm' (? separate prog maybe)
315     o Handle the case of 1:1.1 which would overwrite 1.1 (?)
316     o maybe drop -r/--regex in 'dak ls', make it the default and
317       implement -e/--exact (a la joey's "elmo")
318     o dsc files are not checked for existence/perms (only an issue if
319       they're in the .dsc, but not the .changes.. possible?)
320
321  * Cleanups & misc:
322
323     o db_access' get_files needs to use exceptions not this None, > 0, < 0 return val BS (?)
324     o The untouchable flag doesn't stop new packages being added to ``untouchable'' suites
325
326 ================================================================================
327
328 Packaging
329 ---------
330
331   o Fix stuff to look in sensible places for libs and config file in debian package (?)
332
333 ================================================================================
334
335                           --help      manpage
336 -----------------------------------------------------------------------------
337 check-archive             X
338 check-overrides           X              X
339 clean-queues              X
340 clean-suites              X              X
341 compare-suites            X
342 control-overrides         X              X
343 control-suite             X              X
344 cruft-report              X
345 decode-dot-dak            X
346 examine-package           X
347 generate-releases         X
348 import-archive            X
349 import-users-from-passwd  X              X
350 init-db                   X
351 init-dirs                 X
352 ls                        X              X
353 make-maintainers          X              X
354 make-overrides            X
355 make-suite-file-list      X
356 process-accepted          X              X
357 process-new               X              X
358 process-unchecked         X
359 queue-report              X
360 rm                        X              X
361 security-install          X
362 stats                     X
363 symlink-dists             X
364
365
366 ================================================================================
367
368 Random useful-at-some-point SQL
369 -------------------------------
370
371 UPDATE files SET last_used = '1980-01-01'
372   FROM binaries WHERE binaries.architecture = <x>
373                   AND binaries.file = files.id;
374
375 DELETE FROM bin_associations
376  WHERE EXISTS (SELECT id FROM binaries
377                 WHERE architecture = <x>
378                   AND id = bin_associations.bin);
379
380 ================================================================================