]> git.decadent.org.uk Git - dak.git/blob - config/debian/cron.dinstall
Refactor functions getSource() and getBinaries().
[dak.git] / config / debian / cron.dinstall
1 #!/bin/bash
2 # No way I try to deal with a crippled sh just for POSIX foo.
3
4 # Copyright (C) 2009 Joerg Jaspert <joerg@debian.org>
5 #
6 # This program is free software; you can redistribute it and/or
7 # modify it under the terms of the GNU General Public License as
8 # published by the Free Software Foundation; version 2.
9 #
10 # This program is distributed in the hope that it will be useful, but
11 # WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13 # General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program; if not, write to the Free Software
17 # Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18
19 # Homer: Are you saying you're never going to eat any animal again? What
20 #        about bacon?
21 # Lisa: No.
22 # Homer: Ham?
23 # Lisa: No.
24 # Homer: Pork chops?
25 # Lisa: Dad, those all come from the same animal.
26 # Homer: Heh heh heh. Ooh, yeah, right, Lisa. A wonderful, magical animal.
27
28 # exit on errors
29 set -e
30 # make sure to only use defined variables
31 set -u
32 # ERR traps should be inherited from functions too. (And command
33 # substitutions and subshells and whatnot, but for us the functions is
34 # the important part here)
35 set -E
36
37 # import the general variable set.
38 export SCRIPTVARS=/srv/ftp-master.debian.org/dak/config/debian/vars
39 . $SCRIPTVARS
40
41 ########################################################################
42 # Functions                                                            #
43 ########################################################################
44 # common functions are "outsourced"
45 . "${configdir}/common"
46
47 # source the dinstall functions
48 . "${configdir}/dinstall.functions"
49
50 ########################################################################
51 ########################################################################
52
53 # Function to save which stage we are in, so we can restart an interrupted
54 # dinstall. Or even run actions in parallel, if we dare to, by simply
55 # backgrounding the call to this function. But that should only really be
56 # done for things we don't care much about.
57 #
58 # This should be called with the first argument being an array, with the
59 # members
60 #  - FUNC - the function name to call
61 #  - ARGS - Possible arguments to hand to the function. Can be the empty string
62 #  - TIME - The timestamp name. Can be the empty string
63 #  - ERR  - if this is the string false, then the call will be surrounded by
64 #           set +e ... set -e calls, so errors in the function do not exit
65 #           dinstall. Can be the empty string, meaning true.
66 #
67 # MAKE SURE TO KEEP THIS THE LAST FUNCTION, AFTER ALL THE VARIOUS ONES
68 # ADDED FOR DINSTALL FEATURES!
69 function stage() {
70     ARGS='GO[@]'
71     local "${!ARGS}"
72
73     error=${ERR:-"true"}
74
75     STAGEFILE="${stagedir}/${FUNC}"
76     if [ -f "${STAGEFILE}" ]; then
77         stamptime=$(/usr/bin/stat -c %Z "${STAGEFILE}")
78         unixtime=$(date +%s)
79         difference=$(( $unixtime - $stamptime ))
80         if [ ${difference} -ge 14400 ]; then
81             log_error "Did already run ${FUNC}, stagefile exists, but that was ${difference} seconds ago. Please check."
82         else
83             log "Did already run ${FUNC}, not calling again..."
84         fi
85         return
86     fi
87
88     debug "Now calling function ${FUNC}. Arguments: ${ARGS}. Timestamp: ${TIME}"
89
90     # Make sure we are always at the same place. If a function wants to be elsewhere,
91     # it has to cd first!
92     cd ${configdir}
93
94     # Now redirect the output into $STAGEFILE.log. In case it errors out somewhere our
95     # errorhandler trap can then mail the contents of $STAGEFILE.log only, instead of a whole
96     # dinstall logfile. Short error mails ftw!
97     exec >> "${STAGEFILE}.log" 2>&1
98
99     if [ -f "${LOCK_STOP}" ]; then
100         log "${LOCK_STOP} exists, exiting immediately"
101         exit 42
102     fi
103
104     if [ "${error}" = "false" ]; then
105         set +e
106     fi
107     ${FUNC} ${ARGS}
108
109     # No matter what happened in the function, we make sure we have set -e default state back
110     set -e
111
112     # Make sure we are always at the same place.
113     cd ${configdir}
114
115     # We always use the same umask. If a function wants to do different, fine, but we reset.
116     umask 022
117
118     touch "${STAGEFILE}"
119
120     if [ -n "${TIME}" ]; then
121         ts "${TIME}"
122     fi
123
124     # And the output goes back to the normal logfile
125     exec >> "$LOGFILE" 2>&1
126
127     # Now we should make sure that we have a usable dinstall.log, so append the $STAGEFILE.log
128     # to it.
129     cat "${STAGEFILE}.log" >> "${LOGFILE}"
130     rm -f "${STAGEFILE}.log"
131
132     if [ -f "${LOCK_STOP}" ]; then
133         log "${LOCK_STOP} exists, exiting immediately"
134         exit 42
135     fi
136 }
137
138 ########################################################################
139
140 # We need logs.
141 LOGFILE="$logdir/dinstall.log"
142
143 exec >> "$LOGFILE" 2>&1
144
145 # And now source our default config
146 . "${configdir}/dinstall.variables"
147
148 # Make sure we start out with a sane umask setting
149 umask 022
150
151 # And use one locale, no matter what the caller has set
152 export LANG=C
153 export LC_ALL=C
154
155 touch "${DINSTALLSTART}"
156 ts "startup"
157 DINSTALLBEGIN="$(date -u +"%a %b %d %T %Z %Y (%s)")"
158 state "Startup"
159
160 lockfile -l 3600 "${LOCK_DAILY}"
161 trap onerror ERR
162 trap remove_daily_lock EXIT TERM HUP INT QUIT
163
164 touch "${LOCK_BRITNEY}"
165
166 GO=(
167     FUNC="savetimestamp"
168     TIME=""
169     ARGS=""
170     ERR="false"
171 )
172 stage $GO
173
174 GO=(
175     FUNC="qa1"
176     TIME="init"
177     ARGS=""
178     ERR="false"
179 )
180 stage $GO &
181
182 GO=(
183     FUNC="pg_timestamp"
184     TIME="pg_dump1"
185     ARGS="predinstall"
186     ERR=""
187 )
188 stage $GO
189
190 GO=(
191     FUNC="updates"
192     TIME="External Updates"
193     ARGS=""
194     ERR="false"
195 )
196 stage $GO
197
198 GO=(
199     FUNC="i18n1"
200     TIME="i18n 1"
201     ARGS=""
202     ERR="false"
203 )
204 stage $GO
205
206 lockfile "$LOCK_ACCEPTED"
207 lockfile "$LOCK_NEW"
208 trap remove_all_locks EXIT TERM HUP INT QUIT
209
210 GO=(
211     FUNC="punew"
212     TIME="p-u-new"
213     ARGS="proposedupdates"
214     ERR="false"
215 )
216 stage $GO
217
218 GO=(
219     FUNC="opunew"
220     TIME="o-p-u-new"
221     ARGS="oldproposedupdates"
222     ERR="false"
223 )
224 stage $GO
225
226 GO=(
227     FUNC="newstage"
228     TIME="newstage"
229     ARGS=""
230     ERR=""
231 )
232 stage $GO
233
234 GO=(
235     FUNC="cruft"
236     TIME="cruft"
237     ARGS=""
238     ERR=""
239 )
240 stage $GO
241
242 state "indices"
243
244 GO=(
245     FUNC="dominate"
246     TIME="dominate"
247     ARGS=""
248     ERR=""
249 )
250 stage $GO
251
252 GO=(
253     FUNC="filelist"
254     TIME="generate-filelist"
255     ARGS=""
256     ERR=""
257 )
258 stage $GO
259
260 GO=(
261     FUNC="fingerprints"
262     TIME="import-keyring"
263     ARGS=""
264     ERR="false"
265 )
266 stage $GO
267
268 GO=(
269     FUNC="overrides"
270     TIME="overrides"
271     ARGS=""
272     ERR=""
273 )
274 stage $GO
275
276 GO=(
277     FUNC="mpfm"
278     TIME="pkg-file-mapping"
279     ARGS=""
280     ERR="false"
281 )
282 stage $GO
283
284 state "packages/contents"
285 GO=(
286     FUNC="packages"
287     TIME="apt-ftparchive"
288     ARGS=""
289     ERR=""
290 )
291 # Careful: When we ever go and remove this monster-long thing, we have to check the backgrounded
292 # functions before it. We no longer have a 1.5hour sync point then.
293 stage $GO
294
295 state "dists/"
296 GO=(
297     FUNC="pdiff"
298     TIME="pdiff"
299     ARGS=""
300     ERR=""
301 )
302 stage $GO
303
304 GO=(
305     FUNC="release"
306     TIME="release files"
307     ARGS=""
308     ERR=""
309 )
310 stage $GO
311
312 GO=(
313     FUNC="dakcleanup"
314     TIME="cleanup"
315     ARGS=""
316     ERR=""
317 )
318 stage $GO
319
320 GO=(
321     FUNC="buildd_dir"
322     TIME="buildd_dir"
323     ARGS=""
324     ERR=""
325 )
326 stage $GO
327
328 state "scripts"
329 GO=(
330     FUNC="mkmaintainers"
331     TIME="mkmaintainers"
332     ARGS=""
333     ERR=""
334 )
335 stage $GO
336
337 GO=(
338     FUNC="mkuploaders"
339     TIME="mkuploaders"
340     ARGS=""
341     ERR=""
342 )
343 stage $GO
344
345 GO=(
346     FUNC="copyoverrides"
347     TIME="copyoverrides"
348     ARGS=""
349     ERR=""
350 )
351 stage $GO
352
353 GO=(
354     FUNC="mklslar"
355     TIME="mklslar"
356     ARGS=""
357     ERR=""
358 )
359 stage $GO
360
361 GO=(
362     FUNC="mkfilesindices"
363     TIME="mkfilesindices"
364     ARGS=""
365     ERR=""
366 )
367 stage $GO
368
369 GO=(
370     FUNC="mkchecksums"
371     TIME="mkchecksums"
372     ARGS=""
373     ERR=""
374 )
375 stage $GO
376
377 GO=(
378     FUNC="mirror"
379     TIME="mirror hardlinks"
380     ARGS=""
381     ERR=""
382 )
383 stage $GO
384
385 remove_all_locks
386 trap - EXIT TERM HUP INT QUIT
387
388 ts "locked part finished"
389 state "postlock"
390
391 GO=(
392     FUNC="changelogs"
393     TIME="changelogs"
394     ARGS=""
395     ERR="false"
396 )
397 stage $GO &
398
399 GO=(
400     FUNC="pg_timestamp"
401     TIME="pg_dump2"
402     ARGS="postdinstall"
403     ERR=""
404 )
405 stage $GO
406
407 GO=(
408     FUNC="expire"
409     TIME="expire_dumps"
410     ARGS=""
411     ERR=""
412 )
413 stage $GO &
414
415 GO=(
416     FUNC="transitionsclean"
417     TIME="transitionsclean"
418     ARGS=""
419     ERR=""
420 )
421 stage $GO &
422
423 GO=(
424     FUNC="dm"
425     TIME=""
426     ARGS=""
427     ERR=""
428 )
429 stage $GO &
430
431 GO=(
432     FUNC="bts"
433     TIME=""
434     ARGS=""
435     ERR="false"
436 )
437 stage $GO &
438
439 GO=(
440     FUNC="mirrorpush"
441     TIME="mirrorpush"
442     ARGS=""
443     ERR="false"
444 )
445 stage $GO &
446
447 GO=(
448     FUNC="i18n2"
449     TIME="i18n 2"
450     ARGS=""
451     ERR="false"
452 )
453 stage $GO &
454
455 GO=(
456     FUNC="stats"
457     TIME="stats"
458     ARGS=""
459     ERR="false"
460 )
461 stage $GO &
462
463 GO=(
464     FUNC="testingsourcelist"
465     TIME=""
466     ARGS=""
467     ERR="false"
468 )
469 stage $GO &
470
471 rm -f "${LOCK_BRITNEY}"
472
473 GO=(
474     FUNC="ddaccess"
475     TIME="ddaccessible sync"
476     ARGS=""
477     ERR="false"
478 )
479 stage $GO &
480
481 GO=(
482     FUNC="cleantransactions"
483     TIME=""
484     ARGS=""
485     ERR=""
486 )
487 stage $GO
488
489 GO=(
490     FUNC="aptftpcleanup"
491     TIME="apt-ftparchive cleanup"
492     ARGS=""
493     ERR="false"
494 )
495 stage $GO
496
497 # we need to wait for the background processes before the end of dinstall
498 wait
499
500 log "Daily cron scripts successful, all done"
501
502 exec > "$logdir/afterdinstall.log" 2>&1
503
504 GO=(
505     FUNC="renamelogfile"
506     TIME=""
507     ARGS=""
508     ERR="false"
509 )
510 stage $GO
511 state "all done"
512
513
514 # Now, at the very (successful) end of dinstall, make sure we remove
515 # our stage files, so the next dinstall run will do it all again.
516 rm -f ${stagedir}/*
517 touch "${DINSTALLEND}"