config/debian/cron.dinstall

   1 #!/bin/bash
   2 # No way I try to deal with a crippled sh just for POSIX foo.
   3
   4 # Copyright (C) 2009 Joerg Jaspert <joerg@debian.org>
   5 #
   6 # This program is free software; you can redistribute it and/or
   7 # modify it under the terms of the GNU General Public License as
   8 # published by the Free Software Foundation; version 2.
   9 #
  10 # This program is distributed in the hope that it will be useful, but
  11 # WITHOUT ANY WARRANTY; without even the implied warranty of
  12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13 # General Public License for more details.
  14 #
  15 # You should have received a copy of the GNU General Public License
  16 # along with this program; if not, write to the Free Software
  17 # Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  18
  19 # Homer: Are you saying you're never going to eat any animal again? What
  20 #        about bacon?
  21 # Lisa: No.
  22 # Homer: Ham?
  23 # Lisa: No.
  24 # Homer: Pork chops?
  25 # Lisa: Dad, those all come from the same animal.
  26 # Homer: Heh heh heh. Ooh, yeah, right, Lisa. A wonderful, magical animal.
  27
  28 # exit on errors
  29 set -e
  30 # make sure to only use defined variables
  31 set -u
  32 # ERR traps should be inherited from functions too. (And command
  33 # substitutions and subshells and whatnot, but for us the functions is
  34 # the important part here)
  35 set -E
  36
  37 # import the general variable set.
  38 export SCRIPTVARS=/srv/ftp.debian.org/dak/config/debian/vars
  39 . $SCRIPTVARS
  40
  41 ########################################################################
  42 # Functions                                                            #
  43 ########################################################################
  44 # common functions are "outsourced"
  45 . "${configdir}/common"
  46
  47 # source the dinstall functions
  48 . "${configdir}/dinstall.functions"
  49
  50 ########################################################################
  51 ########################################################################
  52
  53 # Function to save which stage we are in, so we can restart an interrupted
  54 # dinstall. Or even run actions in parallel, if we dare to, by simply
  55 # backgrounding the call to this function. But that should only really be
  56 # done for things we don't care much about.
  57 #
  58 # This should be called with the first argument being an array, with the
  59 # members
  60 #  - FUNC - the function name to call
  61 #  - ARGS - Possible arguments to hand to the function. Can be the empty string
  62 #  - TIME - The timestamp name. Can be the empty string
  63 #  - ERR  - if this is the string false, then the call will be surrounded by
  64 #           set +e ... set -e calls, so errors in the function do not exit
  65 #           dinstall. Can be the empty string, meaning true.
  66 #
  67 # MAKE SURE TO KEEP THIS THE LAST FUNCTION, AFTER ALL THE VARIOUS ONES
  68 # ADDED FOR DINSTALL FEATURES!
  69 function stage() {
  70     ARGS='GO[@]'
  71     local "${!ARGS}"
  72
  73     error=${ERR:-"true"}
  74
  75     STAGEFILE="${stagedir}/${FUNC}"
  76     if [ -f "${STAGEFILE}" ]; then
  77         stamptime=$(/usr/bin/stat -c %Z "${STAGEFILE}")
  78         unixtime=$(date +%s)
  79         difference=$(( $unixtime - $stamptime ))
  80         if [ ${difference} -ge 14400 ]; then
  81             log_error "Did already run ${FUNC}, stagefile exists, but that was ${difference} seconds ago. Please check."
  82         else
  83             log "Did already run ${FUNC}, not calling again..."
  84         fi
  85         return
  86     fi
  87
  88     debug "Now calling function ${FUNC}. Arguments: ${ARGS}. Timestamp: ${TIME}"
  89
  90     # Make sure we are always at the same place. If a function wants to be elsewhere,
  91     # it has to cd first!
  92     cd ${configdir}
  93
  94     # Now redirect the output into $STAGEFILE.log. In case it errors out somewhere our
  95     # errorhandler trap can then mail the contents of $STAGEFILE.log only, instead of a whole
  96     # dinstall logfile. Short error mails ftw!
  97     exec >> "${STAGEFILE}.log" 2>&1
  98
  99     if [ -f "${LOCK_STOP}" ]; then
 100         log "${LOCK_STOP} exists, exiting immediately"
 101         exit 42
 102     fi
 103
 104     if [ "${error}" = "false" ]; then
 105         set +e
 106     fi
 107     ${FUNC} ${ARGS}
 108
 109     # No matter what happened in the function, we make sure we have set -e default state back
 110     set -e
 111
 112     # Make sure we are always at the same place.
 113     cd ${configdir}
 114
 115     # We always use the same umask. If a function wants to do different, fine, but we reset.
 116     umask 022
 117
 118     touch "${STAGEFILE}"
 119
 120     if [ -n "${TIME}" ]; then
 121         ts "${TIME}"
 122     fi
 123
 124     # And the output goes back to the normal logfile
 125     exec >> "$LOGFILE" 2>&1
 126
 127     # Now we should make sure that we have a usable dinstall.log, so append the $STAGEFILE.log
 128     # to it.
 129     cat "${STAGEFILE}.log" >> "${LOGFILE}"
 130     rm -f "${STAGEFILE}.log"
 131
 132     if [ -f "${LOCK_STOP}" ]; then
 133         log "${LOCK_STOP} exists, exiting immediately"
 134         exit 42
 135     fi
 136 }
 137
 138 ########################################################################
 139
 140 # We need logs.
 141 LOGFILE="$logdir/dinstall.log"
 142
 143 exec >> "$LOGFILE" 2>&1
 144
 145 # And now source our default config
 146 . "${configdir}/dinstall.variables"
 147
 148 # Make sure we start out with a sane umask setting
 149 umask 022
 150
 151 # And use one locale, no matter what the caller has set
 152 export LANG=C
 153 export LC_ALL=C
 154
 155 touch "${DINSTALLSTART}"
 156 ts "startup"
 157
 158 lockfile -l 3600 "${LOCK_DAILY}"
 159 trap onerror ERR
 160 trap cleanup EXIT TERM HUP INT QUIT
 161
 162 touch "${LOCK_BRITNEY}"
 163
 164 GO=(
 165     FUNC="savetimestamp"
 166     TIME=""
 167     ARGS=""
 168     ERR="false"
 169 )
 170 stage $GO
 171
 172 GO=(
 173     FUNC="merkel1"
 174     TIME="init"
 175     ARGS=""
 176     ERR="false"
 177 )
 178 stage $GO &
 179
 180 GO=(
 181     FUNC="pgdump_pre"
 182     TIME="pg_dump1"
 183     ARGS=""
 184     ERR=""
 185 )
 186 stage $GO
 187
 188 GO=(
 189     FUNC="updates"
 190     TIME="External Updates"
 191     ARGS=""
 192     ERR="false"
 193 )
 194 stage $GO &
 195
 196 GO=(
 197     FUNC="punew"
 198     TIME="p-u-new"
 199     ARGS="p-u-new"
 200     ERR=""
 201 )
 202 ### TODO: policy-new
 203 #stage $GO
 204
 205 GO=(
 206     FUNC="opunew"
 207     TIME="o-p-u-new"
 208     ARGS="o-p-u-new"
 209     ERR=""
 210 )
 211 ### TODO: policy-new
 212 #stage $GO
 213
 214 GO=(
 215     FUNC="i18n1"
 216     TIME="i18n 1"
 217     ARGS=""
 218     ERR="false"
 219 )
 220 stage $GO &
 221
 222 lockfile "$LOCK_ACCEPTED"
 223 lockfile "$LOCK_NEW"
 224
 225 GO=(
 226     FUNC="process_unchecked"
 227     TIME="unchecked"
 228     ARGS=""
 229     ERR=""
 230 )
 231 # disabled until p-u is faster than now. it runs often enough, so wont hurt to save
 232 # the time here.
 233 #stage $GO
 234
 235 GO=(
 236     FUNC="cruft"
 237     TIME="cruft"
 238     ARGS=""
 239     ERR=""
 240 )
 241 stage $GO
 242
 243 rm -f "$LOCK_ACCEPTED"
 244 rm -f "$LOCK_NEW"
 245
 246 GO=(
 247     FUNC="dominate"
 248     TIME="dominate"
 249     ARGS=""
 250     ERR=""
 251 )
 252 stage $GO
 253
 254 GO=(
 255     FUNC="filelist"
 256     TIME="generate-filelist"
 257     ARGS=""
 258     ERR=""
 259 )
 260 stage $GO
 261
 262 GO=(
 263     FUNC="fingerprints"
 264     TIME="import-keyring"
 265     ARGS=""
 266     ERR="false"
 267 )
 268 stage $GO &
 269
 270 GO=(
 271     FUNC="overrides"
 272     TIME="overrides"
 273     ARGS=""
 274     ERR=""
 275 )
 276 stage $GO
 277
 278 GO=(
 279     FUNC="mpfm"
 280     TIME="pkg-file-mapping"
 281     ARGS=""
 282     ERR="false"
 283 )
 284 stage $GO &
 285
 286 GO=(
 287     FUNC="packages"
 288     TIME="apt-ftparchive"
 289     ARGS=""
 290     ERR=""
 291 )
 292 # Careful: When we ever go and remove this monster-long thing, we have to check the backgrounded
 293 # functions before it. We no longer have a 1.5hour sync point then.
 294 stage $GO
 295
 296 GO=(
 297     FUNC="pdiff"
 298     TIME="pdiff"
 299     ARGS=""
 300     ERR=""
 301 )
 302 stage $GO
 303
 304 GO=(
 305     FUNC="release"
 306     TIME="release files"
 307     ARGS=""
 308     ERR=""
 309 )
 310 stage $GO
 311
 312 GO=(
 313     FUNC="dakcleanup"
 314     TIME="cleanup"
 315     ARGS=""
 316     ERR=""
 317 )
 318 stage $GO
 319
 320 GO=(
 321     FUNC="buildd_dir"
 322     TIME="buildd_dir"
 323     ARGS=""
 324     ERR=""
 325 )
 326 stage $GO
 327
 328 GO=(
 329     FUNC="mkmaintainers"
 330     TIME="mkmaintainers"
 331     ARGS=""
 332     ERR=""
 333 )
 334 stage $GO
 335
 336 GO=(
 337     FUNC="copyoverrides"
 338     TIME="copyoverrides"
 339     ARGS=""
 340     ERR=""
 341 )
 342 stage $GO
 343
 344 GO=(
 345     FUNC="mklslar"
 346     TIME="mklslar"
 347     ARGS=""
 348     ERR=""
 349 )
 350 stage $GO
 351
 352 GO=(
 353     FUNC="mkfilesindices"
 354     TIME="mkfilesindices"
 355     ARGS=""
 356     ERR=""
 357 )
 358 stage $GO
 359
 360 GO=(
 361     FUNC="mkchecksums"
 362     TIME="mkchecksums"
 363     ARGS=""
 364     ERR=""
 365 )
 366 stage $GO
 367
 368 GO=(
 369     FUNC="mirror"
 370     TIME="mirror hardlinks"
 371     ARGS=""
 372     ERR=""
 373 )
 374 stage $GO
 375
 376 GO=(
 377     FUNC="wb"
 378     TIME="w-b"
 379     ARGS=""
 380     ERR=""
 381 )
 382 stage $GO &
 383
 384 rm -f "${LOCK_DAILY}"
 385
 386 ts "locked part finished"
 387
 388 GO=(
 389     FUNC="pgdump_post"
 390     TIME="pg_dump2"
 391     ARGS=""
 392     ERR=""
 393 )
 394 stage $GO &
 395
 396 GO=(
 397     FUNC="expire"
 398     TIME="expire_dumps"
 399     ARGS=""
 400     ERR=""
 401 )
 402 stage $GO &
 403
 404 GO=(
 405     FUNC="transitionsclean"
 406     TIME="transitionsclean"
 407     ARGS=""
 408     ERR=""
 409 )
 410 stage $GO &
 411
 412 GO=(
 413     FUNC="reports"
 414     TIME="reports"
 415     ARGS=""
 416     ERR=""
 417 )
 418 stage $GO &
 419
 420 GO=(
 421     FUNC="dm"
 422     TIME=""
 423     ARGS=""
 424     ERR=""
 425 )
 426 stage $GO &
 427
 428 GO=(
 429     FUNC="bts"
 430     TIME=""
 431     ARGS=""
 432     ERR="false"
 433 )
 434 stage $GO &
 435
 436 GO=(
 437     FUNC="merkel2"
 438     TIME="merkel projectb push"
 439     ARGS=""
 440     ERR="false"
 441 )
 442 stage $GO &
 443
 444 GO=(
 445     FUNC="mirrorpush"
 446     TIME="mirrorpush"
 447     ARGS=""
 448     ERR="false"
 449 )
 450 stage $GO &
 451
 452 GO=(
 453     FUNC="i18n2"
 454     TIME="i18n 2"
 455     ARGS=""
 456     ERR="false"
 457 )
 458 stage $GO &
 459
 460 GO=(
 461     FUNC="stats"
 462     TIME="stats"
 463     ARGS=""
 464     ERR="false"
 465 )
 466 stage $GO &
 467
 468 GO=(
 469     FUNC="testingsourcelist"
 470     TIME=""
 471     ARGS=""
 472     ERR="false"
 473 )
 474 stage $GO &
 475
 476 rm -f "${LOCK_BRITNEY}"
 477
 478 GO=(
 479     FUNC="pgdakdev"
 480     TIME="dak-dev db"
 481     ARGS=""
 482     ERR="false"
 483 )
 484 stage $GO &
 485
 486 GO=(
 487     FUNC="merkel3"
 488     TIME="merkel ddaccessible sync"
 489     ARGS=""
 490     ERR="false"
 491 )
 492 stage $GO &
 493
 494 GO=(
 495     FUNC="compress"
 496     TIME="compress"
 497     ARGS=""
 498     ERR=""
 499 )
 500 stage $GO &
 501
 502 GO=(
 503     FUNC="aptftpcleanup"
 504     TIME="apt-ftparchive cleanup"
 505     ARGS=""
 506     ERR="false"
 507 )
 508 stage $GO
 509
 510 log "Daily cron scripts successful, all done"
 511
 512 exec > "$logdir/afterdinstall.log" 2>&1
 513
 514 GO=(
 515     FUNC="renamelogfile"
 516     TIME=""
 517     ARGS=""
 518     ERR="false"
 519 )
 520 stage $GO
 521
 522
 523 # Now, at the very (successful) end of dinstall, make sure we remove
 524 # our stage files, so the next dinstall run will do it all again.
 525 rm -f ${stagedir}/*
 526 touch "${DINSTALLEND}"