config/debian/cron.daily

   1 #! /bin/bash
   2 #
   3 # Run daily via cron, out of dak's crontab.
   4
   5 set -e
   6 set -o pipefail
   7 set -u
   8 export SCRIPTVARS=/srv/ftp-master.debian.org/dak/config/debian/vars
   9 . $SCRIPTVARS
  10
  11 # common functions are "outsourced"
  12 . "${configdir}/common"
  13
  14 ################################################################################
  15
  16 TMPFILE=$( mktemp -p ${TMPDIR} )
  17
  18 function cleanup {
  19     ERRVAL=$?
  20     rm -f ${TMPFILE}
  21     exit ${ERRVAL}
  22 }
  23 trap cleanup SIGHUP SIGINT SIGPIPE SIGTERM EXIT ERR
  24
  25 # log to dinstall's logfile instead of sending email
  26 PROGRAM="cron.daily"
  27 LOGFILE="$logdir/dinstall.log"
  28 exec >> "$LOGFILE" 2>&1
  29
  30 # get the latest list of wnpp bugs and their source packages
  31 wget -q -O${TMPFILE} http://qa.debian.org/data/bts/wnpp_rm
  32 chmod go+r ${TMPFILE}
  33 mv ${TMPFILE} /srv/ftp-master.debian.org/scripts/masterfiles/wnpp_rm
  34
  35 # Push files over to security
  36 # The key over there should have the following set for the ssh key:
  37 #  command="/usr/bin/xzcat | /usr/bin/psql -f - -1 obscurity"
  38 pg_dump -a -F p -t files | \
  39             sed -e "s,^COPY files (,DELETE FROM external_files; COPY external_files (," | \
  40             xz -3 | \
  41             ssh -o BatchMode=yes -o ConnectTimeout=30 -o SetupTimeout=30 -2 \
  42                 -i ${base}/s3kr1t/push_external_files dak@security-master.debian.org sync
  43
  44 # Update wanna-build dump
  45 echo "Update wanna-build database dump"
  46 $base/dak/scripts/nfu/get-w-b-db
  47
  48 reports
  49
  50 clean_debbugs
  51
  52 # Generate list of override disparities
  53 dak override-disparity | gzip -9 > ${webdir}/override-disparity.gz
  54
  55 # Generate stats about the new queue
  56 dak stats new ${webdir}/NEW-stats.yaml 2> /dev/null
  57
  58 # Generate the contributor data
  59 # FIXME: In a day or three, when this worked from cron without
  60 # failure, redirect its output to dev/null. Alternatively until then
  61 # enrico added a --quiet and we use that.
  62 dc-tool --mine="${configdir}/contributor.source" --auth-token @"${base}/s3kr1t/contributor.auth" --source ftp.debian.org --post
  63
  64 ${scriptsdir}/link_morgue.sh
  65
  66 ################################################################################