]> git.decadent.org.uk Git - dak.git/blob - config/debian/cron.dinstall
debianqueued: avoid removing .tar.bz2 files too early
[dak.git] / config / debian / cron.dinstall
1 #!/bin/bash
2 # No way I try to deal with a crippled sh just for POSIX foo.
3
4 # Copyright (C) 2009 Joerg Jaspert <joerg@debian.org>
5 #
6 # This program is free software; you can redistribute it and/or
7 # modify it under the terms of the GNU General Public License as
8 # published by the Free Software Foundation; version 2.
9 #
10 # This program is distributed in the hope that it will be useful, but
11 # WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13 # General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program; if not, write to the Free Software
17 # Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18
19 # Homer: Are you saying you're never going to eat any animal again? What
20 #        about bacon?
21 # Lisa: No.
22 # Homer: Ham?
23 # Lisa: No.
24 # Homer: Pork chops?
25 # Lisa: Dad, those all come from the same animal.
26 # Homer: Heh heh heh. Ooh, yeah, right, Lisa. A wonderful, magical animal.
27
28 # exit on errors
29 set -e
30 # make sure to only use defined variables
31 set -u
32 # ERR traps should be inherited from functions too. (And command
33 # substitutions and subshells and whatnot, but for us the functions is
34 # the important part here)
35 set -E
36
37 # import the general variable set.
38 export SCRIPTVARS=/srv/ftp.debian.org/dak/config/debian/vars
39 . $SCRIPTVARS
40
41 ########################################################################
42 # Functions                                                            #
43 ########################################################################
44 # common functions are "outsourced"
45 . "${configdir}/common"
46
47 # source the dinstall functions
48 . "${configdir}/dinstall.functions"
49
50 ########################################################################
51 ########################################################################
52
53 # Function to save which stage we are in, so we can restart an interrupted
54 # dinstall. Or even run actions in parallel, if we dare to, by simply
55 # backgrounding the call to this function. But that should only really be
56 # done for things we don't care much about.
57 #
58 # This should be called with the first argument being an array, with the
59 # members
60 #  - FUNC - the function name to call
61 #  - ARGS - Possible arguments to hand to the function. Can be the empty string
62 #  - TIME - The timestamp name. Can be the empty string
63 #  - ERR  - if this is the string false, then the call will be surrounded by
64 #           set +e ... set -e calls, so errors in the function do not exit
65 #           dinstall. Can be the empty string, meaning true.
66 #
67 # MAKE SURE TO KEEP THIS THE LAST FUNCTION, AFTER ALL THE VARIOUS ONES
68 # ADDED FOR DINSTALL FEATURES!
69 function stage() {
70     ARGS='GO[@]'
71     local "${!ARGS}"
72
73     error=${ERR:-"true"}
74
75     STAGEFILE="${stagedir}/${FUNC}"
76     if [ -f "${STAGEFILE}" ]; then
77         stamptime=$(/usr/bin/stat -c %Z "${STAGEFILE}")
78         unixtime=$(date +%s)
79         difference=$(( $unixtime - $stamptime ))
80         if [ ${difference} -ge 14400 ]; then
81             log_error "Did already run ${FUNC}, stagefile exists, but that was ${difference} seconds ago. Please check."
82         else
83             log "Did already run ${FUNC}, not calling again..."
84         fi
85         return
86     fi
87
88     debug "Now calling function ${FUNC}. Arguments: ${ARGS}. Timestamp: ${TIME}"
89
90     # Make sure we are always at the same place. If a function wants to be elsewhere,
91     # it has to cd first!
92     cd ${configdir}
93
94     # Now redirect the output into $STAGEFILE.log. In case it errors out somewhere our
95     # errorhandler trap can then mail the contents of $STAGEFILE.log only, instead of a whole
96     # dinstall logfile. Short error mails ftw!
97     exec >> "${STAGEFILE}.log" 2>&1
98
99     if [ -f "${LOCK_STOP}" ]; then
100         log "${LOCK_STOP} exists, exiting immediately"
101         exit 42
102     fi
103
104     if [ "${error}" = "false" ]; then
105         set +e
106     fi
107     ${FUNC} ${ARGS}
108
109     # No matter what happened in the function, we make sure we have set -e default state back
110     set -e
111
112     # Make sure we are always at the same place.
113     cd ${configdir}
114
115     # We always use the same umask. If a function wants to do different, fine, but we reset.
116     umask 022
117
118     touch "${STAGEFILE}"
119
120     if [ -n "${TIME}" ]; then
121         ts "${TIME}"
122     fi
123
124     # And the output goes back to the normal logfile
125     exec >> "$LOGFILE" 2>&1
126
127     # Now we should make sure that we have a usable dinstall.log, so append the $STAGEFILE.log
128     # to it.
129     cat "${STAGEFILE}.log" >> "${LOGFILE}"
130     rm -f "${STAGEFILE}.log"
131
132     if [ -f "${LOCK_STOP}" ]; then
133         log "${LOCK_STOP} exists, exiting immediately"
134         exit 42
135     fi
136 }
137
138 ########################################################################
139
140 # We need logs.
141 LOGFILE="$logdir/dinstall.log"
142
143 exec >> "$LOGFILE" 2>&1
144
145 # And now source our default config
146 . "${configdir}/dinstall.variables"
147
148 # Make sure we start out with a sane umask setting
149 umask 022
150
151 # And use one locale, no matter what the caller has set
152 export LANG=C
153 export LC_ALL=C
154
155 touch "${DINSTALLSTART}"
156 ts "startup"
157
158 lockfile -l 3600 "${LOCK_DAILY}"
159 trap onerror ERR
160 trap cleanup EXIT TERM HUP INT QUIT
161
162 touch "${LOCK_BRITNEY}"
163
164 GO=(
165     FUNC="savetimestamp"
166     TIME=""
167     ARGS=""
168     ERR="false"
169 )
170 stage $GO
171
172 GO=(
173     FUNC="merkel1"
174     TIME="init"
175     ARGS=""
176     ERR="false"
177 )
178 stage $GO &
179
180 GO=(
181     FUNC="pgdump_pre"
182     TIME="pg_dump1"
183     ARGS=""
184     ERR=""
185 )
186 stage $GO
187
188 GO=(
189     FUNC="updates"
190     TIME="External Updates"
191     ARGS=""
192     ERR="false"
193 )
194 stage $GO &
195
196 GO=(
197     FUNC="punew"
198     TIME="p-u-new"
199     ARGS="p-u-new"
200     ERR=""
201 )
202 ### TODO: policy-new
203 #stage $GO
204
205 GO=(
206     FUNC="opunew"
207     TIME="o-p-u-new"
208     ARGS="o-p-u-new"
209     ERR=""
210 )
211 ### TODO: policy-new
212 #stage $GO
213
214 GO=(
215     FUNC="i18n1"
216     TIME="i18n 1"
217     ARGS=""
218     ERR="false"
219 )
220 stage $GO &
221
222 lockfile "$LOCK_ACCEPTED"
223 lockfile "$LOCK_NEW"
224
225 GO=(
226     FUNC="process_unchecked"
227     TIME="unchecked"
228     ARGS=""
229     ERR=""
230 )
231 stage $GO
232
233 GO=(
234     FUNC="cruft"
235     TIME="cruft"
236     ARGS=""
237     ERR=""
238 )
239 stage $GO
240
241 rm -f "$LOCK_ACCEPTED"
242 rm -f "$LOCK_NEW"
243
244 GO=(
245     FUNC="msfl"
246     TIME="make-suite-file-list"
247     ARGS=""
248     ERR=""
249 )
250 stage $GO
251
252 GO=(
253     FUNC="fingerprints"
254     TIME="import-keyring"
255     ARGS=""
256     ERR="false"
257 )
258 stage $GO &
259
260 GO=(
261     FUNC="overrides"
262     TIME="overrides"
263     ARGS=""
264     ERR=""
265 )
266 stage $GO
267
268 GO=(
269     FUNC="mpfm"
270     TIME="pkg-file-mapping"
271     ARGS=""
272     ERR="false"
273 )
274 stage $GO
275
276 GO=(
277     FUNC="packages"
278     TIME="apt-ftparchive"
279     ARGS=""
280     ERR=""
281 )
282 stage $GO
283
284 GO=(
285     FUNC="pdiff"
286     TIME="pdiff"
287     ARGS=""
288     ERR=""
289 )
290 stage $GO
291
292 GO=(
293     FUNC="release"
294     TIME="release files"
295     ARGS=""
296     ERR=""
297 )
298 stage $GO
299
300 GO=(
301     FUNC="dakcleanup"
302     TIME="cleanup"
303     ARGS=""
304     ERR=""
305 )
306 ### TODO: clean-* fixup
307 #stage $GO
308
309 GO=(
310     FUNC="buildd"
311     TIME="buildd"
312     ARGS=""
313     ERR=""
314 )
315 stage $GO
316
317 GO=(
318     FUNC="scripts"
319     TIME="scripts"
320     ARGS=""
321     ERR=""
322 )
323 stage $GO
324
325 GO=(
326     FUNC="mirror"
327     TIME="mirror hardlinks"
328     ARGS=""
329     ERR=""
330 )
331 stage $GO
332
333 GO=(
334     FUNC="wb"
335     TIME="w-b"
336     ARGS=""
337     ERR=""
338 )
339 stage $GO &
340
341 rm -f "${LOCK_DAILY}"
342
343 ts "locked part finished"
344
345 GO=(
346     FUNC="pgdump_post"
347     TIME="pg_dump2"
348     ARGS=""
349     ERR=""
350 )
351 stage $GO &
352
353 GO=(
354     FUNC="expire"
355     TIME="expire_dumps"
356     ARGS=""
357     ERR=""
358 )
359 stage $GO &
360
361 GO=(
362     FUNC="transitionsclean"
363     TIME="transitionsclean"
364     ARGS=""
365     ERR=""
366 )
367 stage $GO &
368
369 GO=(
370     FUNC="reports"
371     TIME="reports"
372     ARGS=""
373     ERR=""
374 )
375 stage $GO &
376
377 GO=(
378     FUNC="dm"
379     TIME=""
380     ARGS=""
381     ERR=""
382 )
383 stage $GO &
384
385 GO=(
386     FUNC="bts"
387     TIME=""
388     ARGS=""
389     ERR="false"
390 )
391 stage $GO &
392
393 GO=(
394     FUNC="merkel2"
395     TIME="merkel projectb push"
396     ARGS=""
397     ERR="false"
398 )
399 stage $GO &
400
401 GO=(
402     FUNC="mirrorpush"
403     TIME="mirrorpush"
404     ARGS=""
405     ERR="false"
406 )
407 stage $GO
408
409 GO=(
410     FUNC="i18n2"
411     TIME="i18n 2"
412     ARGS=""
413     ERR="false"
414 )
415 stage $GO
416
417 GO=(
418     FUNC="stats"
419     TIME="stats"
420     ARGS=""
421     ERR="false"
422 )
423 stage $GO &
424
425 GO=(
426     FUNC="testingsourcelist"
427     TIME=""
428     ARGS=""
429     ERR="false"
430 )
431 stage $GO
432
433 rm -f ${LOCK_BRITNEY}
434
435 GO=(
436     FUNC="pgdakdev"
437     TIME="dak-dev db"
438     ARGS=""
439     ERR="false"
440 )
441 stage $GO &
442
443 GO=(
444     FUNC="merkel3"
445     TIME="merkel ddaccessible sync"
446     ARGS=""
447     ERR="false"
448 )
449 stage $GO &
450
451 GO=(
452     FUNC="compress"
453     TIME="compress"
454     ARGS=""
455     ERR=""
456 )
457 stage $GO &
458
459 GO=(
460     FUNC="aptftpcleanup"
461     TIME="apt-ftparchive cleanup"
462     ARGS=""
463     ERR="false"
464 )
465 stage $GO
466
467 log "Daily cron scripts successful, all done"
468
469 exec > "$logdir/afterdinstall.log" 2>&1
470
471 GO=(
472     FUNC="renamelogfile"
473     TIME=""
474     ARGS=""
475     ERR="false"
476 )
477 stage $GO
478
479
480 # Now, at the very (successful) end of dinstall, make sure we remove
481 # our stage files, so the next dinstall run will do it all again.
482 rm -f ${stagedir}/*
483 touch "${DINSTALLEND}"