config/debian/cron.dinstall

   1 #!/bin/bash
   2 # No way I try to deal with a crippled sh just for POSIX foo.
   3
   4 # Copyright (C) 2009 Joerg Jaspert <joerg@debian.org>
   5 #
   6 # This program is free software; you can redistribute it and/or
   7 # modify it under the terms of the GNU General Public License as
   8 # published by the Free Software Foundation; version 2.
   9 #
  10 # This program is distributed in the hope that it will be useful, but
  11 # WITHOUT ANY WARRANTY; without even the implied warranty of
  12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13 # General Public License for more details.
  14 #
  15 # You should have received a copy of the GNU General Public License
  16 # along with this program; if not, write to the Free Software
  17 # Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  18
  19 # exit on errors
  20 set -e
  21 # make sure to only use defined variables
  22 set -u
  23
  24 # import the general variable set.
  25 export SCRIPTVARS=/srv/ftp.debian.org/dak/config/debian/vars
  26 . $SCRIPTVARS
  27
  28 ########################################################################
  29 # Functions                                                            #
  30 ########################################################################
  31 # common functions are "outsourced"
  32 . "${configdir}/common"
  33
  34 # Timestamp. Used for dinstall stat graphs
  35 function ts() {
  36         TS=$(($TS+1));
  37         echo "Archive maintenance timestamp $TS ($1): $(date +%H:%M:%S)"
  38 }
  39
  40 # Cleanup actions
  41 function cleanup() {
  42         rm -f ${LOCK_DAILY}
  43         rm -f ${LOCK_ACCEPTED}
  44 }
  45
  46 # If we error out this one is called, *FOLLOWED* by cleanup above
  47 function onerror() {
  48     ERRDATE=$(date "+%Y.%m.%d-%H:%M:%S")
  49     cat "$LOGFILE" | mail -s "ATTENTION ATTENTION! dinstall error at ${ERRDATE} (Be quiet, Brain, or I'll stab you with a Q-tip)" cron@ftp-master.debian.org
  50 }
  51
  52 ########################################################################
  53 # the actual dinstall functions follow                                 #
  54 ########################################################################
  55
  56 # Setup the notice file to tell bad mirrors they used the wrong time
  57 function notice() {
  58     rm -f "$NOTICE"
  59     cat > "$NOTICE" <<EOF
  60 Packages are currently being installed and indices rebuilt.
  61 Maintenance is automatic, starting at 01|07|13|19:52 UTC,
  62 and ending about an hour later.  This file is then removed.
  63
  64 You should not mirror the archive during this period.
  65 EOF
  66 }
  67
  68 # pushing merkels QA user, part one
  69 function merkel1() {
  70     log "Telling merkels QA user that we start dinstall"
  71     ssh -2 -i ~dak/.ssh/push_merkel_qa  -o BatchMode=yes -o SetupTimeOut=90 -o ConnectTimeout=90 qa@merkel.debian.org sleep 1
  72 }
  73
  74 # Create the postgres dump files
  75 function pgdump_pre() {
  76     log "Creating pre-daily-cron-job backup of projectb database..."
  77     pg_dump projectb > $base/backup/dump_pre_$(date +%Y.%m.%d-%H:%M:%S)
  78 }
  79
  80 function pgdump_post() {
  81     log "Creating post-daily-cron-job backup of projectb database..."
  82     cd $base/backup
  83     POSTDUMP=$(date +%Y.%m.%d-%H:%M:%S)
  84     pg_dump projectb > $base/backup/dump_$POSTDUMP
  85     pg_dumpall --globals-only > $base/backup/dumpall_$POSTDUMP
  86     ln -sf $base/backup/dump_$POSTDUMP current
  87     ln -sf $base/backup/dumpall_$POSTDUMP currentall
  88 }
  89
  90 # Load the dak-dev projectb
  91 function pgdakdev() {
  92     cd $base/backup
  93     echo "drop database projectb" | psql -p 5433 template1
  94         cat currentall | psql -p 5433 template1
  95     createdb -p 5433 -T template0 projectb
  96     fgrep -v '\connect' current | psql -p 5433 projectb
  97 }
  98
  99 # Updating various files
 100 function updates() {
 101     log "Updating Bugs docu, Mirror list and mailing-lists.txt"
 102     cd $configdir
 103     $scriptsdir/update-bugdoctxt
 104     $scriptsdir/update-mirrorlists
 105     $scriptsdir/update-mailingliststxt
 106     $scriptsdir/update-pseudopackages.sh
 107 }
 108
 109 # Process (oldstable)-proposed-updates "NEW" queue
 110 function punew_do() {
 111     cd "${queuedir}/${1}"
 112     date -u -R >> REPORT
 113     dak process-new -a -C COMMENTS >> REPORT || true
 114     echo >> REPORT
 115 }
 116 function punew() {
 117     log "Doing automated p-u-new processing"
 118     punew_do "$1"
 119 }
 120 function opunew() {
 121     log "Doing automated o-p-u-new processing"
 122     punew_do "$1"
 123 }
 124
 125 # The first i18n one, syncing new descriptions
 126 function i18n1() {
 127     log "Synchronizing i18n package descriptions"
 128     # First sync their newest data
 129     cd ${scriptdir}/i18nsync
 130     rsync -aq --delete --delete-after ddtp-sync:/does/not/matter . || true
 131
 132     # Now check if we still know about the packages for which they created the files
 133     # is the timestamp signed by us?
 134     if $(gpgv --keyring /srv/ftp.debian.org/s3kr1t/dot-gnupg/pubring.gpg timestamp.gpg timestamp); then
 135         # now read it. As its signed by us we are sure the content is what we expect, no need
 136         # to do more here. And we only test -d a directory on it anyway.
 137         TSTAMP=$(cat timestamp)
 138         # do we have the dir still?
 139         if [ -d ${scriptdir}/i18n/${TSTAMP} ]; then
 140             # Lets check!
 141             if ${scriptsdir}/ddtp-i18n-check.sh . ${scriptdir}/i18n/${TSTAMP}; then
 142                 # Yay, worked, lets copy around
 143                 for dir in squeeze sid; do
 144                     if [ -d dists/${dir}/ ]; then
 145                         cd dists/${dir}/main/i18n
 146                         rsync -aq --delete --delete-after  . ${ftpdir}/dists/${dir}/main/i18n/.
 147                     fi
 148                     cd ${scriptdir}/i18nsync
 149                 done
 150             else
 151                 echo "ARRRR, bad guys, wrong files, ARRR"
 152                 echo "Arf, Arf, Arf, bad guys, wrong files, arf, arf, arf" | mail -s "Don't you kids take anything. I'm watching you. I've got eye implants in the back of my head." debian-l10n-devel@lists.alioth.debian.org
 153             fi
 154         else
 155             echo "ARRRR, missing the timestamp ${TSTAMP} directory, not updating i18n, ARRR"
 156             echo "Arf, Arf, Arf, missing the timestamp ${TSTAMP} directory, not updating i18n, arf, arf, arf" | mail -s "Lisa, if you don't like your job you don't strike. You just go in every day and do it really half-assed. That's the American way." debian-l10n-devel@lists.alioth.debian.org
 157         fi
 158     else
 159         echo "ARRRRRRR, could not verify our timestamp signature, ARRR. Don't mess with our files, i18n guys, ARRRRR."
 160         echo "Arf, Arf, Arf, could not verify our timestamp signature, arf. Don't mess with our files, i18n guys, arf, arf, arf" | mail -s "You can't keep blaming yourself. Just blame yourself once, and move on." debian-l10n-devel@lists.alioth.debian.org
 161     fi
 162 }
 163
 164 # Process the accepted queue
 165 function accepted() {
 166     log "Processing queue/accepted"
 167     rm -f "$accepted/REPORT"
 168     dak process-accepted -pa -d "$accepted" > "$accepted/REPORT"
 169     cat "$accepted/REPORT" | mail -s "Install for $(date +"%D - %R")" ftpmaster@ftp-master.debian.org
 170     chgrp debadmin "$accepted/REPORT"
 171     chmod 664 "$accepted/REPORT"
 172 }
 173
 174 function cruft() {
 175     log "Checking for cruft in overrides"
 176     dak check-overrides
 177
 178     log "Fixing symlinks in $ftpdir"
 179     symlinks -d -r $ftpdir
 180 }
 181
 182 function msfl() {
 183     log "Generating suite file lists for apt-ftparchive"
 184     dak make-suite-file-list
 185 }
 186
 187 function fingerprints() {
 188     log "Updating fingerprints"
 189     dak import-keyring -L /srv/keyring.debian.org/keyrings/debian-keyring.gpg
 190 }
 191
 192 function overrides() {
 193     log "Writing overrides into text files"
 194     cd $overridedir
 195     dak make-overrides
 196
 197     # FIXME
 198     rm -f override.sid.all3
 199     for i in main contrib non-free main.debian-installer; do cat override.sid.$i >> override.sid.all3; done
 200 }
 201
 202 function mpfm() {
 203     log "Generating package / file mapping"
 204     dak make-pkg-file-mapping | bzip2 -9 > $base/ftp/indices/package-file.map.bz2
 205 }
 206
 207 function packages() {
 208     log "Generating Packages and Sources files"
 209     cd $configdir
 210     apt-ftparchive generate apt.conf
 211 }
 212
 213 function pdiff() {
 214     log "Generating pdiff files"
 215     dak generate-index-diffs
 216 }
 217
 218 function release() {
 219     log "Generating Release files"
 220     dak generate-releases
 221 }
 222
 223 function dakcleanup() {
 224     log "Cleanup old packages/files"
 225     dak clean-suites -m 10000
 226     dak clean-queues
 227 }
 228
 229 function buildd() {
 230     # Needs to be rebuilt, as files have moved.  Due to unaccepts, we need to
 231     # update this before wanna-build is updated.
 232     log "Regenerating wanna-build/buildd information"
 233     psql projectb -A -t -q -c "SELECT filename FROM queue_build WHERE suite = 5 AND queue = 0 AND in_queue = true AND filename ~ 'd(sc|eb)$'" > $dbdir/dists/unstable_accepted.list
 234     symlinks -d /srv/incoming.debian.org/buildd > /dev/null
 235     apt-ftparchive generate apt.conf.buildd
 236 }
 237
 238 function buildd_dir() {
 239     # Rebuilt the buildd dir to avoid long times of 403
 240     log "Regenerating the buildd incoming dir"
 241     STAMP=$(date "+%Y%m%d%H%M")
 242     make_buildd_dir
 243 }
 244
 245 function scripts() {
 246     log "Running various scripts from $scriptsdir"
 247     cd $scriptsdir
 248     ./mkmaintainers
 249     ./copyoverrides
 250     ./mklslar
 251     ./mkfilesindices
 252     ./mkchecksums
 253 }
 254
 255 function mirror() {
 256     echo "Regenerating \"public\" mirror/ hardlink fun"
 257     cd ${mirrordir}
 258     rsync -aH --link-dest ${ftpdir} --delete --delete-after --ignore-errors ${ftpdir}/. .
 259 }
 260
 261 function wb() {
 262     log "Trigger daily wanna-build run"
 263     ssh -o BatchMode=yes -o SetupTimeOut=90 -o ConnectTimeout=90 wbadm@buildd /org/wanna-build/trigger.daily || echo "W-B trigger.daily failed" | mail -s "W-B Daily trigger failed" ftpmaster@ftp-master.debian.org
 264 }
 265
 266 function expire() {
 267     log "Expiring old database dumps..."
 268     cd $base/backup
 269     $scriptsdir/expire_dumps -d . -p -f "dump_*"
 270 }
 271
 272 function transitionsclean() {
 273     log "Removing out of date transitions..."
 274     cd $base
 275     dak transitions -c -a
 276 }
 277
 278 function reports() {
 279     # Send a report on NEW/BYHAND packages
 280     log "Nagging ftpteam about NEW/BYHAND packages"
 281     dak queue-report | mail -e -s "NEW and BYHAND on $(date +%D)" ftpmaster@ftp-master.debian.org
 282     # and one on crufty packages
 283     log "Sending information about crufty packages"
 284     dak cruft-report > $webdir/cruft-report-daily.txt
 285     dak cruft-report -s experimental >> $webdir/cruft-report-daily.txt
 286     cat $webdir/cruft-report-daily.txt | mail -e -s "Debian archive cruft report for $(date +%D)" ftpmaster@ftp-master.debian.org
 287 }
 288
 289 function dm() {
 290     log "Updating DM html page"
 291     $scriptsdir/dm-monitor >$webdir/dm-uploaders.html
 292 }
 293
 294 function bts() {
 295     log "Categorizing uncategorized bugs filed against ftp.debian.org"
 296     dak bts-categorize
 297 }
 298
 299 function merkel2() {
 300     # Push dak@merkel so it syncs the projectb there. Returns immediately, the sync runs detached
 301     log "Trigger merkel/flotows projectb sync"
 302     ssh -2 -o BatchMode=yes -o SetupTimeOut=30 -o ConnectTimeout=30 -i ~/.ssh/push_merkel_projectb dak@merkel.debian.org sleep 1
 303     # Also trigger flotow, the ftpmaster test box
 304     ssh -2 -o BatchMode=yes -o SetupTimeOut=30 -o ConnectTimeout=30 -i ~/.ssh/push_flotow_projectb dak@flotow.debconf.org sleep 1
 305 }
 306
 307 function merkel3() {
 308     # Push dak@merkel to tell it to sync the dd accessible parts. Returns immediately, the sync runs detached
 309     log "Trigger merkels dd accessible parts sync"
 310     ssh -2 -o BatchMode=yes -o SetupTimeOut=30 -o ConnectTimeout=30 -i ~/.ssh/push_merkel_ddaccess dak@merkel.debian.org sleep 1
 311 }
 312
 313 function runparts() {
 314     log "Using run-parts to run scripts in $base/scripts/distmnt"
 315     run-parts --report $base/scripts/distmnt
 316 }
 317
 318 function i18n2() {
 319     log "Exporting package data foo for i18n project"
 320     STAMP=$(date "+%Y%m%d%H%M")
 321     mkdir -p ${scriptdir}/i18n/${STAMP}
 322     cd ${scriptdir}/i18n/${STAMP}
 323     dak control-suite -l stable > lenny
 324     dak control-suite -l testing > squeeze
 325     dak control-suite -l unstable > sid
 326     echo "${STAMP}" > timestamp
 327     gpg --secret-keyring /srv/ftp.debian.org/s3kr1t/dot-gnupg/secring.gpg --keyring /srv/ftp.debian.org/s3kr1t/dot-gnupg/pubring.gpg --no-options --batch --no-tty --armour --default-key 6070D3A1 --detach-sign -o timestamp.gpg timestamp
 328     rm -f md5sum
 329     md5sum * > md5sum
 330     cd ${webdir}/
 331     ln -sfT ${scriptdir}/i18n/${STAMP} i18n
 332
 333     cd ${scriptdir}
 334     find ./i18n -mindepth 1 -maxdepth 1 -mtime +2 -not -name "${STAMP}" -type d -print0 | xargs --no-run-if-empty -0 rm -rf
 335 }
 336
 337 function stats() {
 338     log "Updating stats data"
 339     cd $configdir
 340     $scriptsdir/update-ftpstats $base/log/* > $base/misc/ftpstats.data
 341     R --slave --vanilla < $base/misc/ftpstats.R
 342     dak stats arch-space > $webdir/arch-space
 343     dak stats pkg-nums > $webdir/pkg-nums
 344 }
 345
 346 function aptftpcleanup() {
 347     log "Clean up apt-ftparchive's databases"
 348     cd $configdir
 349     apt-ftparchive -q clean apt.conf
 350 }
 351
 352 function compress() {
 353     log "Compress old psql backups"
 354     cd $base/backup/
 355     find -maxdepth 1 -mindepth 1 -type f -name 'dump_pre_*' -mtime +2 -print0 | xargs -0 --no-run-if-empty rm
 356
 357     find -maxdepth 1 -mindepth 1 -type f -name 'dump_*' \! -name '*.bz2' \! -name '*.gz' -mmin 720 |
 358     while read dumpname; do
 359         echo "Compressing $dumpname"
 360         bzip2 -9v "$dumpname"
 361     done
 362     find -maxdepth 1 -mindepth 1 -type f -name "dumpall_*" \! -name '*.bz2' \! -name '*.gz' -mmin 720 |
 363     while read dumpname; do
 364         echo "Compressing $dumpname"
 365         bzip2 -9v "$dumpname"
 366     done
 367     finddup -l -d $base/backup
 368 }
 369
 370 function logstats() {
 371     $masterdir/tools/logs.py "$1"
 372 }
 373
 374 # save timestamp when we start
 375 function savetimestamp() {
 376         NOW=`date "+%Y.%m.%d-%H:%M:%S"`
 377         echo ${NOW} > "${dbdir}/dinstallstart"
 378 }
 379
 380 function maillogfile() {
 381     cat "$LOGFILE" | mail -s "Log for dinstall run of ${NOW}" cron@ftp-master.debian.org
 382 }
 383
 384 function renamelogfile() {
 385     if [ -f "${dbdir}/dinstallstart" ]; then
 386         NOW=$(cat "${dbdir}/dinstallstart")
 387         maillogfile
 388     mv "$LOGFILE" "$logdir/dinstall_${NOW}.log"
 389         logstats "$logdir/dinstall_${NOW}.log"
 390         bzip2 -9 "$logdir/dinstall_${NOW}.log"
 391     else
 392         error "Problem, I don't know when dinstall started, unable to do log statistics."
 393         NOW=`date "+%Y.%m.%d-%H:%M:%S"`
 394         maillogfile
 395         mv "$LOGFILE" "$logdir/dinstall_${NOW}.log"
 396         bzip2 -9 "$logdir/dinstall_${NOW}.log"
 397     fi
 398 }
 399
 400 function testingsourcelist() {
 401     dak ls -s testing -f heidi -r .| egrep 'source$' > ${webdir}/testing.list
 402 }
 403 ########################################################################
 404 ########################################################################
 405
 406 # Function to save which stage we are in, so we can restart an interrupted
 407 # dinstall. Or even run actions in parallel, if we dare to, by simply
 408 # backgrounding the call to this function. But that should only really be
 409 # done for things we dont care much about.
 410 #
 411 # This should be called with the first argument being an array, with the
 412 # members
 413 #  - FUNC - the function name to call
 414 #  - ARGS - Possible arguments to hand to the function. Can be the empty string
 415 #  - TS   - The timestamp name. Can be the empty string
 416 #  - ERR  - if this is the string false, then the call will be surrounded by
 417 #           set +e ... set -e calls, so errors in the function do not exit
 418 #           dinstall. Can be the empty string, meaning true.
 419 #
 420 # MAKE SURE TO KEEP THIS THE LAST FUNCTION, AFTER ALL THE VARIOUS ONES
 421 # ADDED FOR DINSTALL FEATURES!
 422 function stage() {
 423     ARGS='GO[@]'
 424     local "${!ARGS}"
 425
 426     if [ -f "${stagedir}/${FUNC}" ]; then
 427         stamptime=$(/usr/bin/stat -c %Z "${stagedir}/${FUNC}")
 428         unixtime=$(date +%s)
 429         difference=$(( $unixtime - $stamptime ))
 430         if [ ${difference} -ge 14400 ]; then
 431             log_error "Did already run ${FUNC}, stagefile exists, but that was ${difference} seconds ago. Please check."
 432         else
 433             log "Did already run ${FUNC}, not calling again..."
 434         fi
 435         return
 436     fi
 437
 438     debug "Now calling function ${FUNC}. Arguments: ${ARGS}. Timestamp: ${TS}"
 439
 440     # Make sure we are always at the same place. If a function wants to be elsewhere,
 441     # it has to cd first!
 442     cd ${configdir}
 443
 444     if [ -f "${LOCK_STOP}" ]; then
 445         log "${LOCK_STOP} exists, exiting immediately"
 446         exit 42
 447     fi
 448
 449     if [ "${ERR}" = "false" ]; then
 450         set +e
 451     fi
 452     ${FUNC} ${ARGS}
 453
 454     # No matter what happened in the function, we make sure we have set -e default state back
 455     set -e
 456
 457     # Make sure we are always at the same place.
 458     cd ${configdir}
 459
 460     touch "${stagedir}/${FUNC}"
 461
 462     if [ -n "${TIME}" ]; then
 463         ts "${TIME}"
 464     fi
 465
 466     if [ -f "${LOCK_STOP}" ]; then
 467         log "${LOCK_STOP} exists, exiting immediately"
 468         exit 42
 469     fi
 470 }
 471
 472 ########################################################################
 473
 474 # We need logs.
 475 LOGFILE="$logdir/dinstall.log"
 476
 477 exec >> "$LOGFILE" 2>&1
 478
 479 # usually we are not using debug logs. Set to 1 if you want them.
 480 DEBUG=0
 481
 482 # our name
 483 PROGRAM="dinstall"
 484
 485 # where do we want mails to go? For example log entries made with error()
 486 if [ "x$(hostname -s)x" != "xriesx" ]; then
 487     # Not our ftpmaster host
 488     MAILTO=${MAILTO:-"root"}
 489 else
 490     # Yay, ftpmaster
 491     MAILTO=${MAILTO:-"ftpmaster@debian.org"}
 492 fi
 493
 494 # How many logfiles to keep
 495 LOGROTATE=${LOGROTATE:-400}
 496
 497 # Marker for dinstall start
 498 DINSTALLSTART="${lockdir}/dinstallstart"
 499 # Marker for dinstall end
 500 DINSTALLEND="${lockdir}/dinstallend"
 501
 502 # Timestamps start at -1. so first gets 0
 503 TS=-1
 504 touch "${DINSTALLSTART}"
 505 ts "startup"
 506
 507 # Tell everyone we are doing some work
 508 NOTICE="$ftpdir/Archive_Maintenance_In_Progress"
 509
 510 # lock cron.unchecked (it immediately exits when this exists)
 511 LOCK_DAILY="$lockdir/daily.lock"
 512
 513 # Lock process-new and cron.unchecked from doing work
 514 LOCK_ACCEPTED="$lockdir/unchecked.lock"
 515
 516 # This file is simply used to indicate to britney whether or not
 517 # the Packages file updates completed sucessfully.  It's not a lock
 518 # from our point of view
 519 LOCK_BRITNEY="$lockdir/britney.lock"
 520
 521 # If this file exists we exit immediately after the currently running
 522 # function is done
 523 LOCK_STOP="$lockdir/archive.stop"
 524
 525 lockfile -l 3600 "${LOCK_DAILY}"
 526 trap onerror ERR
 527 trap cleanup EXIT TERM HUP INT QUIT
 528
 529 touch "${LOCK_BRITNEY}"
 530
 531 GO=(
 532     FUNC="savetimestamp"
 533     TIME=""
 534     ARGS=""
 535     ERR="false"
 536 )
 537 stage $GO
 538
 539 GO=(
 540     FUNC="notice"
 541     TIME=""
 542     ARGS=""
 543     ERR="false"
 544 )
 545 stage $GO
 546
 547 GO=(
 548     FUNC="merkel1"
 549     TIME="init"
 550     ARGS=""
 551     ERR="false"
 552 )
 553 stage $GO
 554
 555 GO=(
 556     FUNC="pgdump_pre"
 557     TIME="pg_dump1"
 558     ARGS=""
 559     ERR=""
 560 )
 561 stage $GO
 562
 563 GO=(
 564     FUNC="updates"
 565     TIME="External Updates"
 566     ARGS=""
 567     ERR="false"
 568 )
 569 stage $GO
 570
 571 GO=(
 572     FUNC="punew"
 573     TIME="p-u-new"
 574     ARGS="p-u-new"
 575     ERR=""
 576 )
 577 stage $GO
 578
 579 GO=(
 580     FUNC="opunew"
 581     TIME="o-p-u-new"
 582     ARGS="o-p-u-new"
 583     ERR=""
 584 )
 585 stage $GO
 586
 587 GO=(
 588     FUNC="i18n1"
 589     TIME="i18n 1"
 590     ARGS=""
 591     ERR="false"
 592 )
 593 stage $GO
 594
 595 lockfile "$LOCK_ACCEPTED"
 596
 597 GO=(
 598     FUNC="accepted"
 599     TIME="accepted"
 600     ARGS=""
 601     ERR=""
 602 )
 603 stage $GO
 604
 605 GO=(
 606     FUNC="buildd_dir"
 607     TIME="buildd_dir"
 608     ARGS=""
 609     ERR="false"
 610 )
 611 stage $GO
 612
 613 GO=(
 614     FUNC="cruft"
 615     TIME="cruft"
 616     ARGS=""
 617     ERR=""
 618 )
 619 stage $GO
 620
 621 rm -f "$LOCK_ACCEPTED"
 622
 623 GO=(
 624     FUNC="msfl"
 625     TIME="make-suite-file-list"
 626     ARGS=""
 627     ERR=""
 628 )
 629 stage $GO
 630
 631 GO=(
 632     FUNC="fingerprints"
 633     TIME="import-keyring"
 634     ARGS=""
 635     ERR="false"
 636 )
 637 stage $GO
 638
 639 GO=(
 640     FUNC="overrides"
 641     TIME="overrides"
 642     ARGS=""
 643     ERR=""
 644 )
 645 stage $GO
 646
 647 GO=(
 648     FUNC="mpfm"
 649     TIME="pkg-file-mapping"
 650     ARGS=""
 651     ERR="false"
 652 )
 653 stage $GO
 654
 655 GO=(
 656     FUNC="packages"
 657     TIME="apt-ftparchive"
 658     ARGS=""
 659     ERR=""
 660 )
 661 stage $GO
 662
 663 GO=(
 664     FUNC="pdiff"
 665     TIME="pdiff"
 666     ARGS=""
 667     ERR=""
 668 )
 669 stage $GO
 670
 671 GO=(
 672     FUNC="release"
 673     TIME="release files"
 674     ARGS=""
 675     ERR=""
 676 )
 677 stage $GO
 678
 679 GO=(
 680     FUNC="dakcleanup"
 681     TIME="cleanup"
 682     ARGS=""
 683     ERR=""
 684 )
 685 stage $GO
 686
 687 GO=(
 688     FUNC="buildd"
 689     TIME="buildd"
 690     ARGS=""
 691     ERR=""
 692 )
 693 stage $GO
 694
 695 GO=(
 696     FUNC="scripts"
 697     TIME="scripts"
 698     ARGS=""
 699     ERR=""
 700 )
 701 stage $GO
 702
 703 GO=(
 704     FUNC="mirror"
 705     TIME="mirror hardlinks"
 706     ARGS=""
 707     ERR=""
 708 )
 709 stage $GO
 710
 711 GO=(
 712     FUNC="wb"
 713     TIME="w-b"
 714     ARGS=""
 715     ERR=""
 716 )
 717 stage $GO
 718
 719 rm -f "${NOTICE}"
 720 rm -f "${LOCK_DAILY}"
 721
 722 ts "locked part finished"
 723
 724 GO=(
 725     FUNC="pgdump_post"
 726     TIME="pg_dump2"
 727     ARGS=""
 728     ERR=""
 729 )
 730 stage $GO
 731
 732 GO=(
 733     FUNC="expire"
 734     TIME="expire_dumps"
 735     ARGS=""
 736     ERR=""
 737 )
 738 stage $GO
 739
 740 GO=(
 741     FUNC="transitionsclean"
 742     TIME="transitionsclean"
 743     ARGS=""
 744     ERR=""
 745 )
 746 stage $GO
 747
 748 GO=(
 749     FUNC="reports"
 750     TIME="reports"
 751     ARGS=""
 752     ERR=""
 753 )
 754 stage $GO
 755
 756 GO=(
 757     FUNC="dm"
 758     TIME=""
 759     ARGS=""
 760     ERR=""
 761 )
 762 stage $GO
 763
 764 GO=(
 765     FUNC="bts"
 766     TIME=""
 767     ARGS=""
 768     ERR="false"
 769 )
 770 stage $GO
 771
 772 GO=(
 773     FUNC="merkel2"
 774     TIME="merkel projectb push"
 775     ARGS=""
 776     ERR="false"
 777 )
 778 stage $GO
 779
 780 GO=(
 781     FUNC="runparts"
 782     TIME="run-parts"
 783     ARGS=""
 784     ERR="false"
 785 )
 786 stage $GO
 787
 788 GO=(
 789     FUNC="i18n2"
 790     TIME="i18n 2"
 791     ARGS=""
 792     ERR="false"
 793 )
 794 stage $GO
 795
 796 GO=(
 797     FUNC="stats"
 798     TIME="stats"
 799     ARGS=""
 800     ERR="false"
 801 )
 802 stage $GO
 803
 804 GO=(
 805     FUNC="testingsourcelist"
 806     TIME=""
 807     ARGS=""
 808     ERR="false"
 809 )
 810 stage $GO
 811
 812 rm -f ${LOCK_BRITNEY}
 813
 814 GO=(
 815     FUNC="pgdakdev"
 816     TIME="dak-dev db"
 817     ARGS=""
 818     ERR="false"
 819 )
 820 stage $GO
 821
 822 GO=(
 823     FUNC="aptftpcleanup"
 824     TIME="apt-ftparchive cleanup"
 825     ARGS=""
 826     ERR="false"
 827 )
 828 stage $GO
 829
 830 GO=(
 831     FUNC="merkel3"
 832     TIME="merkel ddaccessible sync"
 833     ARGS=""
 834     ERR="false"
 835 )
 836 stage $GO
 837
 838 GO=(
 839     FUNC="compress"
 840     TIME="compress"
 841     ARGS=""
 842     ERR=""
 843 )
 844 stage $GO
 845
 846 log "Daily cron scripts successful, all done"
 847
 848 exec > "$logdir/afterdinstall.log" 2>&1
 849
 850 GO=(
 851     FUNC="renamelogfile"
 852     TIME=""
 853     ARGS=""
 854     ERR="false"
 855 )
 856 stage $GO
 857
 858
 859 # Now, at the very (successful) end of dinstall, make sure we remove
 860 # our stage files, so the next dinstall run will do it all again.
 861 rm -f ${stagedir}/*
 862 touch "${DINSTALLEND}"