]> git.decadent.org.uk Git - dak.git/blob - config/debian/dinstall.functions
debianqueued: avoid removing .tar.bz2 files too early
[dak.git] / config / debian / dinstall.functions
1 # Timestamp. Used for dinstall stat graphs
2 function ts() {
3         echo "Archive maintenance timestamp ($1): $(date +%H:%M:%S)"
4 }
5
6 # Cleanup actions
7 function cleanup() {
8         rm -f ${LOCK_DAILY}
9         rm -f ${LOCK_ACCEPTED}
10 }
11
12 # If we error out this one is called, *FOLLOWED* by cleanup above
13 function onerror() {
14     ERRDATE=$(date "+%Y.%m.%d-%H:%M:%S")
15
16     subject="ATTENTION ATTENTION!"
17     if [ "${error}" = "false" ]; then
18         subject="${subject} (continued)"
19     else
20         subject="${subject} (interrupted)"
21     fi
22     subject="${subject} dinstall error at ${ERRDATE} in ${STAGEFILE} - (Be quiet, Brain, or I'll stab you with a Q-tip)"
23
24     cat "${STAGEFILE}.log" | mail -s "${subject}" -a "X-Debian: DAK" cron@ftp-master.debian.org
25 }
26
27 ########################################################################
28 # the actual dinstall functions follow                                 #
29 ########################################################################
30
31 # pushing merkels QA user, part one
32 function merkel1() {
33     log "Telling merkels QA user that we start dinstall"
34     ssh -2 -i ~dak/.ssh/push_merkel_qa  -o BatchMode=yes -o SetupTimeOut=90 -o ConnectTimeout=90 qa@merkel.debian.org sleep 1
35 }
36
37 # Create the postgres dump files
38 function pgdump_pre() {
39     log "Creating pre-daily-cron-job backup of projectb database..."
40     pg_dump projectb > $base/backup/dump_pre_$(date +%Y.%m.%d-%H:%M:%S)
41 }
42
43 function pgdump_post() {
44     log "Creating post-daily-cron-job backup of projectb database..."
45     cd $base/backup
46     POSTDUMP=$(date +%Y.%m.%d-%H:%M:%S)
47     pg_dump projectb > $base/backup/dump_$POSTDUMP
48     pg_dumpall --globals-only > $base/backup/dumpall_$POSTDUMP
49     ln -sf $base/backup/dump_$POSTDUMP current
50     ln -sf $base/backup/dumpall_$POSTDUMP currentall
51 }
52
53 # Load the dak-dev projectb
54 function pgdakdev() {
55     cd $base/backup
56     echo "drop database projectb" | psql -p 5433 template1
57         cat currentall | psql -p 5433 template1
58     createdb -p 5433 -T template0 projectb
59     fgrep -v '\connect' current | psql -p 5433 projectb
60 }
61
62 # Updating various files
63 function updates() {
64     log "Updating Bugs docu, Mirror list and mailing-lists.txt"
65     cd $configdir
66     $scriptsdir/update-bugdoctxt
67     $scriptsdir/update-mirrorlists
68     $scriptsdir/update-mailingliststxt
69     $scriptsdir/update-pseudopackages.sh
70 }
71
72 # Process (oldstable)-proposed-updates "NEW" queue
73 function punew_do() {
74     cd "${queuedir}/${1}"
75     date -u -R >> REPORT
76     dak process-new -a -C COMMENTS >> REPORT || true
77     echo >> REPORT
78 }
79 function punew() {
80     log "Doing automated p-u-new processing"
81     punew_do "$1"
82 }
83 function opunew() {
84     log "Doing automated o-p-u-new processing"
85     punew_do "$1"
86 }
87
88 # The first i18n one, syncing new descriptions
89 function i18n1() {
90     log "Synchronizing i18n package descriptions"
91     # First sync their newest data
92     cd ${scriptdir}/i18nsync
93     rsync -aq --delete --delete-after ddtp-sync:/does/not/matter . || true
94
95     # Now check if we still know about the packages for which they created the files
96     # is the timestamp signed by us?
97     if $(gpgv --keyring /srv/ftp.debian.org/s3kr1t/dot-gnupg/pubring.gpg timestamp.gpg timestamp); then
98         # now read it. As its signed by us we are sure the content is what we expect, no need
99         # to do more here. And we only test -d a directory on it anyway.
100         TSTAMP=$(cat timestamp)
101         # do we have the dir still?
102         if [ -d ${scriptdir}/i18n/${TSTAMP} ]; then
103             # Lets check!
104             if ${scriptsdir}/ddtp-i18n-check.sh . ${scriptdir}/i18n/${TSTAMP}; then
105                 # Yay, worked, lets copy around
106                 for dir in squeeze sid; do
107                     if [ -d dists/${dir}/ ]; then
108                         cd dists/${dir}/main/i18n
109                         rsync -aq --delete --delete-after  . ${ftpdir}/dists/${dir}/main/i18n/.
110                     fi
111                     cd ${scriptdir}/i18nsync
112                 done
113             else
114                 echo "ARRRR, bad guys, wrong files, ARRR"
115                 echo "Arf, Arf, Arf, bad guys, wrong files, arf, arf, arf" | mail -s "Don't you kids take anything. I'm watching you. I've got eye implants in the back of my head." debian-l10n-devel@lists.alioth.debian.org
116             fi
117         else
118             echo "ARRRR, missing the timestamp ${TSTAMP} directory, not updating i18n, ARRR"
119             echo "Arf, Arf, Arf, missing the timestamp ${TSTAMP} directory, not updating i18n, arf, arf, arf" | mail -s "Lisa, if you don't like your job you don't strike. You just go in every day and do it really half-assed. That's the American way." debian-l10n-devel@lists.alioth.debian.org
120         fi
121     else
122         echo "ARRRRRRR, could not verify our timestamp signature, ARRR. Don't mess with our files, i18n guys, ARRRRR."
123         echo "Arf, Arf, Arf, could not verify our timestamp signature, arf. Don't mess with our files, i18n guys, arf, arf, arf" | mail -s "You can't keep blaming yourself. Just blame yourself once, and move on." debian-l10n-devel@lists.alioth.debian.org
124     fi
125 }
126
127 function cruft() {
128     log "Checking for cruft in overrides"
129     dak check-overrides
130 }
131
132 function msfl() {
133     log "Generating suite file lists for apt-ftparchive"
134     dak make-suite-file-list
135 }
136
137 function fingerprints() {
138     log "Not updating fingerprints - scripts needs checking"
139
140 #    log "Updating fingerprints"
141 #    dak import-keyring -L /srv/keyring.debian.org/keyrings/debian-keyring.gpg
142
143 #    OUTFILE=$(mktemp)
144 #    dak import-keyring --generate-users "%s" /srv/keyring.debian.org/keyrings/debian-maintainers.gpg >"${OUTFILE}"
145
146 #    if [ -s "${OUTFILE}" ]; then
147 #        /usr/sbin/sendmail -odq -oi -t -f envelope@ftp-master.debian.org <<EOF
148 #From: Debian FTP Masters <ftpmaster@ftp-master.debian.org>
149 #To: <debian-project@lists.debian.org>
150 #Subject: Debian Maintainers Keyring changes
151 #Content-Type: text/plain; charset=utf-8
152 #MIME-Version: 1.0
153 #
154 #The following changes to the debian-maintainers keyring have just been activated:
155 #
156 #$(cat $OUTFILE)
157 #
158 #Debian distribution maintenance software,
159 #on behalf of the Keyring maintainers
160 #
161 #EOF
162 #    fi
163 #    rm -f "$OUTFILE"
164 }
165
166 function overrides() {
167     log "Writing overrides into text files"
168     cd $overridedir
169     dak make-overrides
170
171     # FIXME
172     rm -f override.sid.all3
173     for i in main contrib non-free main.debian-installer; do cat override.sid.$i >> override.sid.all3; done
174 }
175
176 function mpfm() {
177     log "Generating package / file mapping"
178     dak make-pkg-file-mapping | bzip2 -9 > $base/ftp/indices/package-file.map.bz2
179 }
180
181 function packages() {
182     log "Generating Packages and Sources files"
183     cd $configdir
184     GZIP='--rsyncable' ; export GZIP
185     apt-ftparchive generate apt.conf
186 }
187
188 function pdiff() {
189     log "Generating pdiff files"
190     dak generate-index-diffs
191 }
192
193 function release() {
194     log "Generating Release files"
195     dak generate-releases
196 }
197
198 function dakcleanup() {
199     log "Cleanup old packages/files"
200     dak clean-suites -m 10000
201     dak clean-queues
202 }
203
204 function buildd() {
205     # Needs to be rebuilt, as files have moved.  Due to unaccepts, we need to
206     # update this before wanna-build is updated.
207     log "Regenerating wanna-build/buildd information"
208     psql projectb -A -t -q -c "SELECT build_queue.path || '/' || build_queue_files.filename FROM build_queue_files LEFT JOIN build_queue ON (build_queue.id =build_queue_files.build_queue_id) WHERE queue_name = 'buildd' AND filename ~ 'd(sc|eb)$'"  > $dbdir/dists/unstable_accepted.list
209     symlinks -d /srv/incoming.debian.org/buildd > /dev/null
210     apt-ftparchive generate apt.conf.buildd
211 }
212
213 function buildd_dir() {
214     # Rebuilt the buildd dir to avoid long times of 403
215     log "Regenerating the buildd incoming dir"
216     STAMP=$(date "+%Y%m%d%H%M")
217     make_buildd_dir
218 }
219
220 function mklslar() {
221     cd $ftpdir
222
223     FILENAME=ls-lR
224
225     log "Removing any core files ..."
226     find -type f -name core -print0 | xargs -0r rm -v
227
228     log "Checking permissions on files in the FTP tree ..."
229     find -type f \( \! -perm -444 -o -perm +002 \) -ls
230     find -type d \( \! -perm -555 -o -perm +002 \) -ls
231
232     log "Checking symlinks ..."
233     symlinks -rd .
234
235     log "Creating recursive directory listing ... "
236     rm -f .${FILENAME}.new
237     TZ=UTC ls -lR > .${FILENAME}.new
238
239     if [ -r ${FILENAME}.gz ] ; then
240         mv -f ${FILENAME}.gz ${FILENAME}.old.gz
241         mv -f .${FILENAME}.new ${FILENAME}
242         rm -f ${FILENAME}.patch.gz
243         zcat ${FILENAME}.old.gz | diff -u - ${FILENAME} | gzip --rsyncable -9cfn - >${FILENAME}.patch.gz
244         rm -f ${FILENAME}.old.gz
245     else
246         mv -f .${FILENAME}.new ${FILENAME}
247     fi
248
249     gzip --rsyncable -9cfN ${FILENAME} >${FILENAME}.gz
250     rm -f ${FILENAME}
251 }
252
253 function mkmaintainers() {
254     log -n 'Creating Maintainers index ... '
255
256     cd $indices
257     dak make-maintainers ${scriptdir}/masterfiles/pseudo-packages.maintainers | \
258         sed -e "s/~[^  ]*\([   ]\)/\1/"  | awk '{printf "%-20s ", $1; for (i=2; i<=NF; i++) printf "%s ", $i; printf "\n";}' > .new-maintainers
259
260     set +e
261     cmp .new-maintainers Maintainers >/dev/null
262     rc=$?
263     set -e
264     if [ $rc = 1 ] || [ ! -f Maintainers ] ; then
265             log -n "installing Maintainers ... "
266             mv -f .new-maintainers Maintainers
267             gzip --rsyncable -9v <Maintainers >.new-maintainers.gz
268             mv -f .new-maintainers.gz Maintainers.gz
269     elif [ $rc = 0 ] ; then
270             log '(same as before)'
271             rm -f .new-maintainers
272     else
273             log cmp returned $rc
274             false
275     fi
276 }
277
278 function copyoverrides() {
279     log 'Copying override files into public view ...'
280
281     for f in $copyoverrides ; do
282             cd $overridedir
283             chmod g+w override.$f
284
285             cd $indices
286             rm -f .newover-$f.gz
287             pc="`gzip 2>&1 -9nv <$overridedir/override.$f >.newover-$f.gz`"
288             set +e
289             nf=override.$f.gz
290             cmp -s .newover-$f.gz $nf
291             rc=$?
292             set -e
293         if [ $rc = 0 ]; then
294                     rm -f .newover-$f.gz
295             elif [ $rc = 1 -o ! -f $nf ]; then
296                     log "   installing new $nf $pc"
297                     mv -f .newover-$f.gz $nf
298                     chmod g+w $nf
299             else
300                     log $? $pc
301                     exit 1
302             fi
303     done
304 }
305
306 function mkfilesindices() {
307     umask 002
308     cd $base/ftp/indices/files/components
309
310     ARCHLIST=$(tempfile)
311
312     log "Querying projectb..."
313     echo 'SELECT l.path, f.filename, a.arch_string FROM location l JOIN files f ON (f.location = l.id) LEFT OUTER JOIN (binaries b JOIN architecture a ON (b.architecture = a.id)) ON (f.id = b.file)' | psql projectb -At | sed 's/|//;s,^/srv/ftp.debian.org/ftp,.,' | sort >$ARCHLIST
314
315     includedirs () {
316         perl -ne 'print; while (m,/[^/]+$,) { $_=$`; print $_ . "\n" unless $d{$_}++; }'
317     }
318     poolfirst () {
319         perl -e '@nonpool=(); while (<>) { if (m,^\./pool/,) { print; } else { push @nonpool, $_; } } print for (@nonpool);'
320     }
321
322     log "Generating sources list
323     (
324         sed -n 's/|$//p' $ARCHLIST
325         cd $base/ftp
326         find ./dists -maxdepth 1 \! -type d
327         find ./dists \! -type d | grep "/source/"
328     ) | sort -u | gzip --rsyncable -9 > source.list.gz
329
330     log "Generating arch lists
331
332     ARCHES=$( (<$ARCHLIST sed -n 's/^.*|//p'; echo amd64) | grep . | grep -v all | sort -u)
333     for a in $ARCHES; do
334         (sed -n "s/|$a$//p" $ARCHLIST
335             sed -n 's/|all$//p' $ARCHLIST
336
337             cd $base/ftp
338             find ./dists -maxdepth 1 \! -type d
339             find ./dists \! -type d | grep -E "(proposed-updates.*_$a.changes$|/main/disks-$a/|/main/installer-$a/|/Contents-$a|/binary-$a/)"
340         ) | sort -u | gzip --rsyncable -9 > arch-$a.list.gz
341     done
342
343     log "Generating suite lists"
344
345     suite_list () {
346         printf 'SELECT DISTINCT l.path, f.filename FROM (SELECT sa.source AS source FROM src_associations sa WHERE sa.suite = %d UNION SELECT b.source AS source FROM bin_associations ba JOIN binaries b ON (ba.bin = b.id) WHERE ba.suite = %d) s JOIN dsc_files df ON (s.source = df.source) JOIN files f ON (df.file = f.id) JOIN location l ON (f.location = l.id)\n' $1 $1 | psql -F' ' -A -t projectb
347
348         printf 'SELECT l.path, f.filename FROM bin_associations ba JOIN binaries b ON (ba.bin = b.id) JOIN files f ON (b.file = f.id) JOIN location l ON (f.location = l.id) WHERE ba.suite = %d\n' $1 | psql -F' ' -A -t projectb
349     }
350
351     printf 'SELECT id, suite_name FROM suite\n' | psql -F' ' -At projectb |
352     while read id suite; do
353         [ -e $base/ftp/dists/$suite ] || continue
354         (
355             (cd $base/ftp
356                 distname=$(cd dists; readlink $suite || echo $suite)
357                 find ./dists/$distname \! -type d
358                 for distdir in ./dists/*; do
359                     [ "$(readlink $distdir)" != "$distname" ] || echo $distdir
360                 done
361             )
362             suite_list $id | tr -d ' ' | sed 's,^/srv/ftp.debian.org/ftp,.,'
363         ) | sort -u | gzip --rsyncable -9 > suite-${suite}.list.gz
364     done
365
366     log "Finding everything on the ftp site to generate sundries"
367
368     (cd $base/ftp; find . \! -type d \! -name 'Archive_Maintenance_In_Progress' | sort) >$ARCHLIST
369
370     rm -f sundries.list
371     zcat *.list.gz | cat - *.list | sort -u |
372     diff - $ARCHLIST | sed -n 's/^> //p' > sundries.list
373
374     log "Generating files list"
375
376     for a in $ARCHES; do
377         (echo ./project/trace; zcat arch-$a.list.gz source.list.gz) |
378         cat - sundries.list dists.list project.list docs.list indices.list |
379         sort -u | poolfirst > ../arch-$a.files
380     done
381
382     (cd $base/ftp/
383             for dist in sid squeeze; do
384                     find ./dists/$dist/main/i18n/ \! -type d | sort -u | gzip --rsyncable -9 > $base/ftp/indices/files/components/translation-$dist.list.gz
385             done
386     )
387
388     (cat ../arch-i386.files ../arch-amd64.files; zcat suite-oldstable.list.gz suite-proposed-updates.list.gz ; zcat translation-sid.list.gz ; zcat translation-squeeze.list.gz) |
389     sort -u | poolfirst > ../typical.files
390
391     rm -f $ARCHLIST
392     log "Done!"
393 }
394
395 function mkchecksums() {
396     dsynclist=$dbdir/dsync.list
397     md5list=$indices/md5sums
398
399     log -n "Creating md5 / dsync index file ... "
400
401     cd "$ftpdir"
402     ${bindir}/dsync-flist -q generate $dsynclist --exclude $dsynclist --md5
403     ${bindir}/dsync-flist -q md5sums $dsynclist | gzip -9n --rsyncable > ${md5list}.gz
404     ${bindir}/dsync-flist -q link-dups $dsynclist || true
405 }
406
407 function scripts() {
408     log "Running various scripts from $scriptsdir"
409     mkmaintainers
410     copyoverrides
411     mklslar
412     mkfilesindices
413     mkchecksums
414 }
415
416 function mirror() {
417     log "Regenerating \"public\" mirror/ hardlink fun"
418     cd ${mirrordir}
419     rsync -aH --link-dest ${ftpdir} --delete --delete-after --ignore-errors ${ftpdir}/. .
420 }
421
422 function wb() {
423     log "Trigger daily wanna-build run"
424     ssh -o BatchMode=yes -o SetupTimeOut=90 -o ConnectTimeout=90 wbadm@buildd /org/wanna-build/trigger.daily || echo "W-B trigger.daily failed" | mail -s "W-B Daily trigger failed" ftpmaster@ftp-master.debian.org
425 }
426
427 function expire() {
428     log "Expiring old database dumps..."
429     cd $base/backup
430     $scriptsdir/expire_dumps -d . -p -f "dump_*"
431 }
432
433 function transitionsclean() {
434     log "Removing out of date transitions..."
435     cd $base
436     dak transitions -c -a
437 }
438
439 function reports() {
440     # Send a report on NEW/BYHAND packages
441     log "Nagging ftpteam about NEW/BYHAND packages"
442     dak queue-report | mail -e -s "NEW and BYHAND on $(date +%D)" ftpmaster@ftp-master.debian.org
443     # and one on crufty packages
444     log "Sending information about crufty packages"
445     dak cruft-report > $webdir/cruft-report-daily.txt
446     dak cruft-report -s experimental >> $webdir/cruft-report-daily.txt
447     cat $webdir/cruft-report-daily.txt | mail -e -s "Debian archive cruft report for $(date +%D)" ftpmaster@ftp-master.debian.org
448 }
449
450 function dm() {
451     log "Updating DM html page"
452     $scriptsdir/dm-monitor >$webdir/dm-uploaders.html
453 }
454
455 function bts() {
456     log "Categorizing uncategorized bugs filed against ftp.debian.org"
457     dak bts-categorize
458 }
459
460 function merkel2() {
461     # Push dak@merkel so it syncs the projectb there. Returns immediately, the sync runs detached
462     log "Trigger merkel/flotows projectb sync"
463     ssh -2 -o BatchMode=yes -o SetupTimeOut=30 -o ConnectTimeout=30 -i ~/.ssh/push_merkel_projectb dak@merkel.debian.org sleep 1
464     # Also trigger flotow, the ftpmaster test box
465     ssh -2 -o BatchMode=yes -o SetupTimeOut=30 -o ConnectTimeout=30 -i ~/.ssh/push_flotow_projectb dak@flotow.debconf.org sleep 1
466 }
467
468 function merkel3() {
469     # Push dak@merkel to tell it to sync the dd accessible parts. Returns immediately, the sync runs detached
470     log "Trigger merkels dd accessible parts sync"
471     ssh -2 -o BatchMode=yes -o SetupTimeOut=30 -o ConnectTimeout=30 -i ~/.ssh/push_merkel_ddaccess dak@merkel.debian.org sleep 1
472 }
473
474 function mirrorpush() {
475     log "Starting the mirrorpush"
476     date -u > /srv/ftp.debian.org/web/mirrorstart
477     echo "Using dak v1" >> /srv/ftp.debian.org/web/mirrorstart
478     echo "Running on host $(hostname -f)" >> /srv/ftp.debian.org/web/mirrorstart
479     sudo -H -u archvsync /home/archvsync/runmirrors > ~dak/runmirrors.log 2>&1 &
480 }
481
482 function i18n2() {
483     log "Exporting package data foo for i18n project"
484     STAMP=$(date "+%Y%m%d%H%M")
485     mkdir -p ${scriptdir}/i18n/${STAMP}
486     cd ${scriptdir}/i18n/${STAMP}
487     dak control-suite -l stable > lenny
488     dak control-suite -l testing > squeeze
489     dak control-suite -l unstable > sid
490     echo "${STAMP}" > timestamp
491     gpg --secret-keyring /srv/ftp.debian.org/s3kr1t/dot-gnupg/secring.gpg --keyring /srv/ftp.debian.org/s3kr1t/dot-gnupg/pubring.gpg --no-options --batch --no-tty --armour --default-key 55BE302B --detach-sign -o timestamp.gpg timestamp
492     rm -f md5sum
493     md5sum * > md5sum
494     cd ${webdir}/
495     ln -sfT ${scriptdir}/i18n/${STAMP} i18n
496
497     cd ${scriptdir}
498     find ./i18n -mindepth 1 -maxdepth 1 -mtime +2 -not -name "${STAMP}" -type d -print0 | xargs --no-run-if-empty -0 rm -rf
499 }
500
501 function stats() {
502     log "Updating stats data"
503     cd $configdir
504     $scriptsdir/update-ftpstats $base/log/* > $base/misc/ftpstats.data
505     R --slave --vanilla < $base/misc/ftpstats.R
506     dak stats arch-space > $webdir/arch-space
507     dak stats pkg-nums > $webdir/pkg-nums
508 }
509
510 function aptftpcleanup() {
511     log "Clean up apt-ftparchive's databases"
512     cd $configdir
513     apt-ftparchive -q clean apt.conf
514 }
515
516 function compress() {
517     log "Compress old psql backups"
518     cd $base/backup/
519     find -maxdepth 1 -mindepth 1 -type f -name 'dump_pre_*' -mtime +2 -print0 | xargs -0 --no-run-if-empty rm
520
521     find -maxdepth 1 -mindepth 1 -type f -name 'dump_*' \! -name '*.bz2' \! -name '*.gz' -mmin +720 |
522     while read dumpname; do
523         echo "Compressing $dumpname"
524         bzip2 -9fv "$dumpname"
525     done
526     find -maxdepth 1 -mindepth 1 -type f -name "dumpall_*" \! -name '*.bz2' \! -name '*.gz' -mmin +720 |
527     while read dumpname; do
528         echo "Compressing $dumpname"
529         bzip2 -9fv "$dumpname"
530     done
531     finddup -l -d $base/backup
532 }
533
534 function logstats() {
535     $masterdir/tools/logs.py "$1"
536 }
537
538 # save timestamp when we start
539 function savetimestamp() {
540         NOW=`date "+%Y.%m.%d-%H:%M:%S"`
541         echo ${NOW} > "${dbdir}/dinstallstart"
542 }
543
544 function maillogfile() {
545     cat "$LOGFILE" | mail -s "Log for dinstall run of ${NOW}" cron@ftp-master.debian.org
546 }
547
548 function renamelogfile() {
549     if [ -f "${dbdir}/dinstallstart" ]; then
550         NOW=$(cat "${dbdir}/dinstallstart")
551 #        maillogfile
552         mv "$LOGFILE" "$logdir/dinstall_${NOW}.log"
553         logstats "$logdir/dinstall_${NOW}.log"
554         bzip2 -9 "$logdir/dinstall_${NOW}.log"
555     else
556         error "Problem, I don't know when dinstall started, unable to do log statistics."
557         NOW=`date "+%Y.%m.%d-%H:%M:%S"`
558 #        maillogfile
559         mv "$LOGFILE" "$logdir/dinstall_${NOW}.log"
560         bzip2 -9 "$logdir/dinstall_${NOW}.log"
561     fi
562 }
563
564 function testingsourcelist() {
565     dak ls -s testing -f heidi -r .| egrep 'source$' > ${webdir}/testing.list
566 }
567
568 # do a last run of process-unchecked before dinstall is on.
569 function process_unchecked() {
570     log "Processing the unchecked queue"
571     UNCHECKED_WITHOUT_LOCK="-p"
572     do_unchecked
573     sync_debbugs
574 }