]> git.decadent.org.uk Git - dak.git/blob - config/debian/dinstall.functions
add security apache.conf
[dak.git] / config / debian / dinstall.functions
1 # -*- mode:sh -*-
2 # Timestamp. Used for dinstall stat graphs
3 function ts() {
4         echo "Archive maintenance timestamp ($1): $(date +%H:%M:%S)"
5 }
6
7 # Remove daily lock
8 function remove_daily_lock() {
9     rm -f $LOCK_DAILY
10 }
11
12 # Remove all locks
13 function remove_all_locks() {
14     rm -f $LOCK_DAILY $LOCK_ACCEPTED $LOCK_NEW
15 }
16
17 # If we error out this one is called, *FOLLOWED* by cleanup above
18 function onerror() {
19     ERRDATE=$(date "+%Y.%m.%d-%H:%M:%S")
20
21     subject="ATTENTION ATTENTION!"
22     if [ "${error}" = "false" ]; then
23         subject="${subject} (continued)"
24     else
25         subject="${subject} (interrupted)"
26     fi
27     subject="${subject} dinstall error at ${ERRDATE} in ${STAGEFILE} - (Be quiet, Brain, or I'll stab you with a Q-tip)"
28
29     if [ -r "${STAGEFILE}.log" ]; then
30         cat "${STAGEFILE}.log"
31     else
32         echo "file ${STAGEFILE}.log does not exist, sorry"
33     fi | mail -s "${subject}" -a "X-Debian: DAK" cron@ftp-master.debian.org -- -F "Debian FTP Masters" -f ftpmaster@ftp-master.debian.org
34 }
35
36 ########################################################################
37 # the actual dinstall functions follow                                 #
38 ########################################################################
39
40 # pushing merkels QA user, part one
41 function merkel1() {
42     log "Telling merkels QA user that we start dinstall"
43     ssh -2 -i ~dak/.ssh/push_merkel_qa  -o BatchMode=yes -o SetupTimeOut=90 -o ConnectTimeout=90 qa@qa.debian.org sleep 1
44 }
45
46 # Create the postgres dump files
47 function pgdump_pre() {
48     log "Creating pre-daily-cron-job backup of $PGDATABASE database..."
49     pg_dump > $base/backup/dump_pre_$(date +%Y.%m.%d-%H:%M:%S)
50 }
51
52 function pgdump_post() {
53     log "Creating post-daily-cron-job backup of $PGDATABASE database..."
54     cd $base/backup
55     POSTDUMP=$(date +%Y.%m.%d-%H:%M:%S)
56     pg_dump > $base/backup/dump_$POSTDUMP
57     #pg_dumpall --globals-only > $base/backup/dumpall_$POSTDUMP
58     ln -sf $base/backup/dump_$POSTDUMP current
59     #ln -sf $base/backup/dumpall_$POSTDUMP currentall
60 }
61
62 # Load the dak-dev projectb
63 function pgdakdev() {
64     # Make sure to unset any possible psql variables so we don't drop the wrong
65     # f****** database by accident
66     local PGDATABASE
67     unset PGDATABASE
68     local PGHOST
69     unset PGHOST
70     local PGPORT
71     unset PGPORT
72     local PGUSER
73     unset PGUSER
74     cd $base/backup
75     echo "drop database projectb" | psql -p 5434 template1
76         #cat currentall | psql -p 5433 template1
77     createdb -p 5434 -T template1 projectb
78     fgrep -v '\connect' current | psql -p 5434 projectb
79 }
80
81 # Updating various files
82 function updates() {
83     log "Updating Bugs docu, Mirror list and mailing-lists.txt"
84     cd $configdir
85     $scriptsdir/update-bugdoctxt
86     $scriptsdir/update-mirrorlists
87     $scriptsdir/update-mailingliststxt
88     $scriptsdir/update-pseudopackages.sh
89 }
90
91 # Process (oldstable)-proposed-updates "NEW" queue
92 function punew_do() {
93     date -u -R >> REPORT
94     dak process-policy $1 | tee -a REPORT | mail -a "X-Debian: DAK" -e -s "NEW changes in $1" debian-release@lists.debian.org -- -F "Debian FTP Masters" -f ftpmaster@ftp-master.debian.org
95     echo >> REPORT
96 }
97 function punew() {
98     log "Doing automated p-u-new processing"
99     cd "${queuedir}/p-u-new"
100     punew_do "$1"
101 }
102 function opunew() {
103     log "Doing automated o-p-u-new processing"
104     cd "${queuedir}/o-p-u-new"
105     punew_do "$1"
106 }
107
108 # The first i18n one, syncing new descriptions
109 function i18n1() {
110     log "Synchronizing i18n package descriptions"
111     # First sync their newest data
112     cd ${scriptdir}/i18nsync
113     rsync -aq --delete --delete-after ddtp-sync:/does/not/matter . || true
114
115     # Now check if we still know about the packages for which they created the files
116     # is the timestamp signed by us?
117     if $(gpgv --keyring /srv/ftp-master.debian.org/s3kr1t/dot-gnupg/pubring.gpg timestamp.gpg timestamp); then
118         # now read it. As its signed by us we are sure the content is what we expect, no need
119         # to do more here. And we only test -d a directory on it anyway.
120         TSTAMP=$(cat timestamp)
121         # do we have the dir still?
122         if [ -d ${scriptdir}/i18n/${TSTAMP} ]; then
123             # Lets check!
124             if ${scriptsdir}/ddtp-i18n-check.sh . ${scriptdir}/i18n/${TSTAMP}; then
125                 # Yay, worked, lets copy around
126                 for dir in wheezy sid; do
127                     if [ -d dists/${dir}/ ]; then
128                         cd dists/${dir}/main/i18n
129                         rsync -aq --delete --delete-after  . ${ftpdir}/dists/${dir}/main/i18n/.
130                     fi
131                     cd ${scriptdir}/i18nsync
132                 done
133             else
134                 echo "ARRRR, bad guys, wrong files, ARRR"
135                 echo "Arf, Arf, Arf, bad guys, wrong files, arf, arf, arf" | mail -a "X-Debian: DAK" -s "Don't you kids take anything. I'm watching you. I've got eye implants in the back of my head." debian-l10n-devel@lists.alioth.debian.org -- -F "Debian FTP Masters" -f ftpmaster@ftp-master.debian.org
136             fi
137         else
138             echo "ARRRR, missing the timestamp ${TSTAMP} directory, not updating i18n, ARRR"
139             echo "Arf, Arf, Arf, missing the timestamp ${TSTAMP} directory, not updating i18n, arf, arf, arf" | mail -a "X-Debian: DAK" -s "Lisa, if you don't like your job you don't strike. You just go in every day and do it really half-assed. That's the American way." debian-l10n-devel@lists.alioth.debian.org -- -F "Debian FTP Masters" -f ftpmaster@ftp-master.debian.org
140         fi
141     else
142         echo "ARRRRRRR, could not verify our timestamp signature, ARRR. Don't mess with our files, i18n guys, ARRRRR."
143         echo "Arf, Arf, Arf, could not verify our timestamp signature, arf. Don't mess with our files, i18n guys, arf, arf, arf" | mail -a "X-Debian: DAK" -s "You can't keep blaming yourself. Just blame yourself once, and move on." debian-l10n-devel@lists.alioth.debian.org -- -F "Debian FTP Masters" -f ftpmaster@ftp-master.debian.org
144     fi
145 }
146
147 function cruft() {
148     log "Checking for cruft in overrides"
149     dak check-overrides
150 }
151
152 function dominate() {
153     log "Removing obsolete source and binary associations"
154     dak dominate
155 }
156
157 function filelist() {
158     log "Generating file lists for apt-ftparchive"
159     dak generate-filelist
160 }
161
162 function fingerprints() {
163     log "Not updating fingerprints - scripts needs checking"
164
165     log "Updating fingerprints"
166     dak import-keyring -L /srv/keyring.debian.org/keyrings/debian-keyring.gpg
167
168     OUTFILE=$(mktemp)
169     dak import-keyring --generate-users "%s" /srv/keyring.debian.org/keyrings/debian-maintainers.gpg >"${OUTFILE}"
170
171     if [ -s "${OUTFILE}" ]; then
172         /usr/sbin/sendmail -odq -oi -t -f envelope@ftp-master.debian.org <<EOF
173 From: Debian FTP Masters <ftpmaster@ftp-master.debian.org>
174 To: <debian-project@lists.debian.org>
175 Subject: Debian Maintainers Keyring changes
176 Content-Type: text/plain; charset=utf-8
177 X-Debian: DAK
178 MIME-Version: 1.0
179
180 The following changes to the debian-maintainers keyring have just been activated:
181
182 $(cat $OUTFILE)
183
184 Debian distribution maintenance software,
185 on behalf of the Keyring maintainers
186
187 EOF
188     fi
189     rm -f "$OUTFILE"
190 }
191
192 function overrides() {
193     log "Writing overrides into text files"
194     cd $overridedir
195     dak make-overrides
196
197     # FIXME
198     rm -f override.sid.all3
199     for i in main contrib non-free main.debian-installer; do cat override.sid.$i >> override.sid.all3; done
200 }
201
202 function mpfm() {
203     log "Generating package / file mapping"
204     dak make-pkg-file-mapping | bzip2 -9 > $base/ftp/indices/package-file.map.bz2
205 }
206
207 function packages() {
208     log "Generating Packages and Sources files"
209     cd $configdir
210     #apt-ftparchive generate apt.conf
211     dak generate-packages-sources
212 }
213
214 function pdiff() {
215     log "Generating pdiff files"
216     dak generate-index-diffs
217 }
218
219 function release() {
220     log "Generating Release files"
221     dak generate-releases
222 }
223
224 function dakcleanup() {
225     log "Cleanup old packages/files"
226     dak clean-suites -m 10000
227     dak clean-queues
228 }
229
230 function buildd_dir() {
231     # Rebuilt the buildd dir to avoid long times of 403
232     log "Regenerating the buildd incoming dir"
233     STAMP=$(date "+%Y%m%d%H%M")
234     make_buildd_dir
235 }
236
237 function mklslar() {
238     cd $ftpdir
239
240     FILENAME=ls-lR
241
242     log "Removing any core files ..."
243     find -type f -name core -print0 | xargs -0r rm -v
244
245     log "Checking permissions on files in the FTP tree ..."
246     find -type f \( \! -perm -444 -o -perm +002 \) -ls
247     find -type d \( \! -perm -555 -o -perm +002 \) -ls
248
249     log "Checking symlinks ..."
250     symlinks -rd .
251
252     log "Creating recursive directory listing ... "
253     rm -f .${FILENAME}.new
254     TZ=UTC ls -lR > .${FILENAME}.new
255
256     if [ -r ${FILENAME}.gz ] ; then
257         mv -f ${FILENAME}.gz ${FILENAME}.old.gz
258         mv -f .${FILENAME}.new ${FILENAME}
259         rm -f ${FILENAME}.patch.gz
260         zcat ${FILENAME}.old.gz | diff -u - ${FILENAME} | gzip -9cfn - >${FILENAME}.patch.gz
261         rm -f ${FILENAME}.old.gz
262     else
263         mv -f .${FILENAME}.new ${FILENAME}
264     fi
265
266     gzip -9cfN ${FILENAME} >${FILENAME}.gz
267     rm -f ${FILENAME}
268 }
269
270 function mkmaintainers() {
271     log 'Creating Maintainers index ... '
272
273     cd $indices
274     dak make-maintainers ${scriptdir}/masterfiles/pseudo-packages.maintainers | \
275         sed -e "s/~[^  ]*\([   ]\)/\1/"  | \
276         awk '{printf "%-20s ", $1; for (i=2; i<=NF; i++) printf "%s ", $i; printf "\n";}' > .new-maintainers
277
278     if ! cmp -s .new-maintainers Maintainers || [ ! -f Maintainers ]; then
279             log "installing Maintainers ... "
280             mv -f .new-maintainers Maintainers
281             gzip -9v <Maintainers >.new-maintainers.gz
282             mv -f .new-maintainers.gz Maintainers.gz
283     else
284         rm -f .new-maintainers
285     fi
286 }
287
288 function mkuploaders() {
289     log 'Creating Uploaders index ... '
290
291     cd $indices
292     dak make-maintainers -u ${scriptdir}/masterfiles/pseudo-packages.maintainers | \
293         sed -e "s/~[^  ]*\([   ]\)/\1/"  | \
294         awk '{printf "%-20s ", $1; for (i=2; i<=NF; i++) printf "%s ", $i; printf "\n";}' > .new-uploaders
295
296     if ! cmp -s .new-uploaders Uploaders || [ ! -f Uploaders ]; then
297             log "installing Uploaders ... "
298             mv -f .new-uploaders Uploaders
299             gzip -9v <Uploaders >.new-uploaders.gz
300             mv -f .new-uploaders.gz Uploaders.gz
301     else
302         rm -f .new-uploaders
303     fi
304 }
305
306 function copyoverrides() {
307     log 'Copying override files into public view ...'
308
309     for ofile in $copyoverrides ; do
310             cd $overridedir
311             chmod g+w override.$ofile
312
313             cd $indices
314
315             newofile=override.$ofile.gz
316             rm -f .newover-$ofile.gz
317             pc="`gzip 2>&1 -9nv <$overridedir/override.$ofile >.newover-$ofile.gz`"
318         if ! cmp -s .newover-$ofile.gz $newofile || [ ! -f $newofile ]; then
319                     log "   installing new $newofile $pc"
320                     mv -f .newover-$ofile.gz $newofile
321                     chmod g+w $newofile
322         else
323                     rm -f .newover-$ofile.gz
324             fi
325     done
326 }
327
328 function mkfilesindices() {
329     umask 002
330     cd $base/ftp/indices/files/components
331
332     ARCHLIST=$(tempfile)
333
334     log "Querying $PGDATABASE..."
335     echo 'SELECT l.path, f.filename, a.arch_string FROM location l JOIN files f ON (f.location = l.id) LEFT OUTER JOIN (binaries b JOIN architecture a ON (b.architecture = a.id)) ON (f.id = b.file)' | psql -At | sed 's/|//;s,^/srv/ftp-master.debian.org/ftp,.,' | sort >$ARCHLIST
336
337     includedirs () {
338         perl -ne 'print; while (m,/[^/]+$,) { $_=$`; print $_ . "\n" unless $d{$_}++; }'
339     }
340     poolfirst () {
341         perl -e '@nonpool=(); while (<>) { if (m,^\./pool/,) { print; } else { push @nonpool, $_; } } print for (@nonpool);'
342     }
343
344     log "Generating sources list"
345     (
346         sed -n 's/|$//p' $ARCHLIST
347         cd $base/ftp
348         find ./dists -maxdepth 1 \! -type d
349         find ./dists \! -type d | grep "/source/"
350     ) | sort -u | gzip -9 > source.list.gz
351
352     log "Generating arch lists"
353
354     ARCHES=$( (<$ARCHLIST sed -n 's/^.*|//p'; echo amd64) | grep . | grep -v all | sort -u)
355     for a in $ARCHES; do
356         (sed -n "s/|$a$//p" $ARCHLIST
357             sed -n 's/|all$//p' $ARCHLIST
358
359             cd $base/ftp
360             find ./dists -maxdepth 1 \! -type d
361             find ./dists \! -type d | grep -E "(proposed-updates.*_$a.changes$|/main/disks-$a/|/main/installer-$a/|/Contents-$a|/binary-$a/)"
362         ) | sort -u | gzip -9 > arch-$a.list.gz
363     done
364
365     log "Generating suite lists"
366
367     suite_list () {
368         printf 'SELECT DISTINCT l.path, f.filename FROM (SELECT sa.source AS source FROM src_associations sa WHERE sa.suite = %d UNION SELECT b.source AS source FROM bin_associations ba JOIN binaries b ON (ba.bin = b.id) WHERE ba.suite = %d) s JOIN dsc_files df ON (s.source = df.source) JOIN files f ON (df.file = f.id) JOIN location l ON (f.location = l.id)\n' $1 $1 | psql -F' ' -A -t
369
370         printf 'SELECT l.path, f.filename FROM bin_associations ba JOIN binaries b ON (ba.bin = b.id) JOIN files f ON (b.file = f.id) JOIN location l ON (f.location = l.id) WHERE ba.suite = %d\n' $1 | psql -F' ' -A -t
371     }
372
373     printf 'SELECT id, suite_name FROM suite\n' | psql -F' ' -At |
374     while read id suite; do
375         [ -e $base/ftp/dists/$suite ] || continue
376         (
377             (cd $base/ftp
378                 distname=$(cd dists; readlink $suite || echo $suite)
379                 find ./dists/$distname \! -type d
380                 for distdir in ./dists/*; do
381                     [ "$(readlink $distdir)" != "$distname" ] || echo $distdir
382                 done
383             )
384             suite_list $id | tr -d ' ' | sed 's,^/srv/ftp-master.debian.org/ftp,.,'
385         ) | sort -u | gzip -9 > suite-${suite}.list.gz
386     done
387
388     log "Finding everything on the ftp site to generate sundries"
389     (cd $base/ftp; find . \! -type d \! -name 'Archive_Maintenance_In_Progress' | sort) >$ARCHLIST
390
391     rm -f sundries.list
392     zcat *.list.gz | cat - *.list | sort -u |
393     diff - $ARCHLIST | sed -n 's/^> //p' > sundries.list
394
395     log "Generating files list"
396
397     for a in $ARCHES; do
398         (echo ./project/trace; zcat arch-$a.list.gz source.list.gz) |
399         cat - sundries.list dists.list project.list docs.list indices.list |
400         sort -u | poolfirst > ../arch-$a.files
401     done
402
403     (cd $base/ftp/
404             for dist in sid wheezy; do
405                     find ./dists/$dist/main/i18n/ \! -type d | sort -u | gzip -9 > $base/ftp/indices/files/components/translation-$dist.list.gz
406             done
407     )
408
409     (cat ../arch-i386.files ../arch-amd64.files; zcat suite-proposed-updates.list.gz ; zcat translation-sid.list.gz ; zcat translation-wheezy.list.gz) |
410     sort -u | poolfirst > ../typical.files
411
412     rm -f $ARCHLIST
413     log "Done!"
414 }
415
416 function mkchecksums() {
417     dsynclist=$dbdir/dsync.list
418     md5list=$indices/md5sums
419
420     log -n "Creating md5 / dsync index file ... "
421
422     cd "$ftpdir"
423     ${bindir}/dsync-flist -q generate $dsynclist --exclude $dsynclist --md5
424     ${bindir}/dsync-flist -q md5sums $dsynclist | gzip -9n > ${md5list}.gz
425     ${bindir}/dsync-flist -q link-dups $dsynclist || true
426 }
427
428 function mirror() {
429     log "Regenerating \"public\" mirror/ hardlink fun"
430     DATE_SERIAL=$(date +"%Y%m%d01")
431     FILESOAPLUS1=$(awk '/serial/ { print $3+1 }' ${TRACEFILE} )
432     if [ "$DATE_SERIAL" -gt "$FILESOAPLUS1" ]; then
433         SERIAL="$DATE_SERIAL"
434     else
435         SERIAL="$FILESOAPLUS1"
436     fi
437     date -u > ${TRACEFILE}
438     echo "Using dak v1" >> ${TRACEFILE}
439     echo "Running on host: $(hostname -f)" >> ${TRACEFILE}
440     echo "Archive serial: ${SERIAL}" >> ${TRACEFILE}
441     cd ${mirrordir}
442     rsync -aH --link-dest ${ftpdir} --delete --delete-after --ignore-errors ${ftpdir}/. .
443 }
444
445 function expire() {
446     log "Expiring old database dumps..."
447     cd $base/backup
448     $scriptsdir/expire_dumps -d . -p -f "dump_*"
449 }
450
451 function transitionsclean() {
452     log "Removing out of date transitions..."
453     cd $base
454     dak transitions -c -a
455 }
456
457 function dm() {
458     log "Updating DM html page"
459     $scriptsdir/dm-monitor >$webdir/dm-uploaders.html
460 }
461
462 function bts() {
463     log "Categorizing uncategorized bugs filed against ftp.debian.org"
464     dak bts-categorize
465 }
466
467 function merkel2() {
468     # Push dak@merkel so it syncs the projectb there. Returns immediately, the sync runs detached
469     log "Trigger merkel/flotows $PGDATABASE sync"
470     ssh -2 -o BatchMode=yes -o SetupTimeOut=30 -o ConnectTimeout=30 -i ~/.ssh/push_merkel_projectb dak@merkel.debian.org sleep 1
471     # Also trigger flotow, the ftpmaster test box
472     ssh -2 -o BatchMode=yes -o SetupTimeOut=30 -o ConnectTimeout=30 -i ~/.ssh/push_flotow_projectb dak@flotow.debconf.org sleep 1
473 }
474
475 function merkel3() {
476     # Push dak@merkel to tell it to sync the dd accessible parts. Returns immediately, the sync runs detached
477     log "Trigger merkels dd accessible parts sync"
478     ssh -2 -o BatchMode=yes -o SetupTimeOut=30 -o ConnectTimeout=30 -i ~/.ssh/push_merkel_ddaccess dak@merkel.debian.org sleep 1
479 }
480
481 function mirrorpush() {
482     log "Starting the mirrorpush"
483     date -u > /srv/ftp.debian.org/web/mirrorstart
484     echo "Using dak v1" >> /srv/ftp.debian.org/web/mirrorstart
485     echo "Running on host $(hostname -f)" >> /srv/ftp.debian.org/web/mirrorstart
486     sudo -H -u archvsync /home/archvsync/runmirrors > ~dak/runmirrors.log 2>&1 &
487 }
488
489 function i18n2() {
490     log "Exporting package data foo for i18n project"
491     STAMP=$(date "+%Y%m%d%H%M")
492     mkdir -p ${scriptdir}/i18n/${STAMP}
493     cd ${scriptdir}/i18n/${STAMP}
494     dak control-suite -l stable > squeeze
495     dak control-suite -l testing > wheezy
496     dak control-suite -l unstable > sid
497     echo "${STAMP}" > timestamp
498     gpg --secret-keyring /srv/ftp-master.debian.org/s3kr1t/dot-gnupg/secring.gpg --keyring /srv/ftp-master.debian.org/s3kr1t/dot-gnupg/pubring.gpg --no-options --batch --no-tty --armour --default-key 55BE302B --detach-sign -o timestamp.gpg timestamp
499     rm -f md5sum
500     md5sum * > md5sum
501     cd ${webdir}/
502     ln -sfT ${scriptdir}/i18n/${STAMP} i18n
503
504     cd ${scriptdir}
505     find ./i18n -mindepth 1 -maxdepth 1 -mtime +2 -not -name "${STAMP}" -type d -print0 | xargs --no-run-if-empty -0 rm -rf
506 }
507
508 function stats() {
509     log "Updating stats data"
510     cd $configdir
511     $scriptsdir/update-ftpstats $base/log/* > $base/misc/ftpstats.data
512     R --slave --vanilla < $base/misc/ftpstats.R
513     dak stats arch-space > $webdir/arch-space
514     dak stats pkg-nums > $webdir/pkg-nums
515 }
516
517 function aptftpcleanup() {
518     log "Clean up apt-ftparchive's databases"
519     cd $configdir
520     apt-ftparchive -q clean apt.conf
521 }
522
523 function compress() {
524     log "Compress old psql backups"
525     cd $base/backup/
526     find -maxdepth 1 -mindepth 1 -type f -name 'dump_pre_*' -mtime +2 -print0 | xargs -0 --no-run-if-empty rm
527
528     find -maxdepth 1 -mindepth 1 -type f -name 'dump_*' \! -name '*.bz2' \! -name '*.gz' -mmin +720 |
529     while read dumpname; do
530         echo "Compressing $dumpname"
531         bzip2 -9fv "$dumpname"
532     done
533     find -maxdepth 1 -mindepth 1 -type f -name "dumpall_*" \! -name '*.bz2' \! -name '*.gz' -mmin +720 |
534     while read dumpname; do
535         echo "Compressing $dumpname"
536         bzip2 -9fv "$dumpname"
537     done
538     finddup -l -d $base/backup
539 }
540
541 function logstats() {
542     $masterdir/tools/logs.py "$1"
543 }
544
545 # save timestamp when we start
546 function savetimestamp() {
547         NOW=`date "+%Y.%m.%d-%H:%M:%S"`
548         echo ${NOW} > "${dbdir}/dinstallstart"
549 }
550
551 function maillogfile() {
552     cat "$LOGFILE" | mail -a "X-Debian: DAK" -s "Log for dinstall run of ${NOW}" cron@ftp-master.debian.org -- -F "Debian FTP Masters" -f ftpmaster@ftp-master.debian.org
553 }
554
555 function renamelogfile() {
556     if [ -f "${dbdir}/dinstallstart" ]; then
557         NOW=$(cat "${dbdir}/dinstallstart")
558 #        maillogfile
559         mv "$LOGFILE" "$logdir/dinstall_${NOW}.log"
560         logstats "$logdir/dinstall_${NOW}.log"
561         bzip2 -9 "$logdir/dinstall_${NOW}.log"
562     else
563         error "Problem, I don't know when dinstall started, unable to do log statistics."
564         NOW=`date "+%Y.%m.%d-%H:%M:%S"`
565 #        maillogfile
566         mv "$LOGFILE" "$logdir/dinstall_${NOW}.log"
567         bzip2 -9 "$logdir/dinstall_${NOW}.log"
568     fi
569 }
570
571 function testingsourcelist() {
572     dak ls -s testing -f heidi -r .| egrep 'source$' > ${webdir}/testing.list
573 }
574
575 # do a last run of process-unchecked before dinstall is on.
576 function process_unchecked() {
577     log "Processing the unchecked queue"
578     UNCHECKED_WITHOUT_LOCK="-p"
579     do_unchecked
580     sync_debbugs
581 }
582
583 # do a run of newstage only before dinstall is on.
584 function newstage() {
585     log "Processing the newstage queue"
586     UNCHECKED_WITHOUT_LOCK="-p"
587     do_newstage
588 }
589
590 # Function to update a "statefile" telling people what we are doing
591 # (more or less).
592 #
593 # This should be called with the argument(s)
594 #  - Status name we want to show.
595 #
596 function state() {
597     RIGHTNOW="$(date -u +"%a %b %d %T %Z %Y (%s)")"
598     cat >"${DINSTALLSTATE}" <<EOF
599 Dinstall start: ${DINSTALLBEGIN}
600 Current action: ${1}
601 Action start: ${RIGHTNOW}
602 EOF
603 }
604
605 # extract changelogs and stuff
606 function changelogs() {
607     log "Extracting changelogs"
608     dak make-changelog -e
609     mkdir -p ${exportpublic}/changelogs
610     cd ${exportpublic}/changelogs
611     rsync -aHW --delete --delete-after --ignore-errors ${exportdir}/changelogs/. .
612     sudo -H -u archvsync /home/archvsync/runmirrors metaftpdo > ~dak/runmirrors-metadata.log 2>&1 &
613 }