]> git.decadent.org.uk Git - dak.git/blob - dak/clean_queues.py
Merge remote-tracking branch 'drkranz/misc' into merge
[dak.git] / dak / clean_queues.py
1 #!/usr/bin/env python
2
3 """ Clean incoming of old unused files """
4 # Copyright (C) 2000, 2001, 2002, 2006  James Troup <james@nocrew.org>
5
6 # This program is free software; you can redistribute it and/or modify
7 # it under the terms of the GNU General Public License as published by
8 # the Free Software Foundation; either version 2 of the License, or
9 # (at your option) any later version.
10
11 # This program is distributed in the hope that it will be useful,
12 # but WITHOUT ANY WARRANTY; without even the implied warranty of
13 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14 # GNU General Public License for more details.
15
16 # You should have received a copy of the GNU General Public License
17 # along with this program; if not, write to the Free Software
18 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
19
20 ################################################################################
21
22 # <aj> Bdale, a ham-er, and the leader,
23 # <aj> Willy, a GCC maintainer,
24 # <aj> Lamont-work, 'cause he's the top uploader....
25 # <aj>         Penguin Puff' save the day!
26 # <aj> Porting code, trying to build the world,
27 # <aj> Here they come just in time...
28 # <aj>         The Penguin Puff' Guys!
29 # <aj> [repeat]
30 # <aj> Penguin Puff'!
31 # <aj> willy: btw, if you don't maintain gcc you need to start, since
32 #      the lyrics fit really well that way
33
34 ################################################################################
35
36 import os, os.path, stat, sys, time
37 from datetime import datetime, timedelta
38 import apt_pkg
39 from daklib import utils
40 from daklib import daklog
41 from daklib.config import Config
42 from daklib.dbconn import get_policy_queue
43
44 ################################################################################
45
46 Options = None
47 Logger = None
48 del_dir = None
49 delete_date = None
50
51 ################################################################################
52
53 def usage (exit_code=0):
54     print """Usage: dak clean-queues [OPTIONS]
55 Clean out incoming directories.
56
57   -d, --days=DAYS            remove anything older than DAYS old
58   -i, --incoming=INCOMING    the incoming directory to clean
59   -n, --no-action            don't do anything
60   -v, --verbose              explain what is being done
61   -h, --help                 show this help and exit"""
62
63     sys.exit(exit_code)
64
65 ################################################################################
66
67 def init (cnf):
68     global delete_date, del_dir
69
70     # Used for directory naming
71     now_date = datetime.now()
72
73     # Used for working out times
74     delete_date = int(time.time())-(int(Options["Days"])*84600)
75
76     morguedir = cnf.get("Dir::Morgue", os.path.join("Dir::Pool", 'morgue'))
77     morguesubdir = cnf.get("Clean-Queues::MorgueSubDir", 'queue')
78
79     # Build directory as morguedir/morguesubdir/year/month/day
80     del_dir = os.path.join(morguedir,
81                            morguesubdir,
82                            str(now_date.year),
83                            '%.2d' % now_date.month,
84                            '%.2d' % now_date.day)
85
86     # Ensure a directory exists to remove files to
87     if not Options["No-Action"]:
88         if not os.path.exists(del_dir):
89             os.makedirs(del_dir, 0o2775)
90         if not os.path.isdir(del_dir):
91             utils.fubar("%s must be a directory." % (del_dir))
92
93     # Move to the directory to clean
94     incoming = Options["Incoming"]
95     if incoming == "":
96         incoming_queue = get_policy_queue('unchecked')
97         if not incoming_queue:
98             utils.fubar("Cannot find 'unchecked' queue")
99         incoming = incoming_queue.path
100
101     try:
102         os.chdir(incoming)
103     except OSError as e:
104         utils.fubar("Cannot chdir to %s" % incoming)
105
106 # Remove a file to the morgue
107 def remove (from_dir, f):
108     fname = os.path.basename(f)
109     if os.access(f, os.R_OK):
110         Logger.log(["move file to morgue", from_dir, fname, del_dir])
111         if Options["Verbose"]:
112             print "Removing '%s' (to '%s')."  % (fname, del_dir)
113         if Options["No-Action"]:
114             return
115
116         dest_filename = os.path.join(del_dir, fname)
117         # If the destination file exists; try to find another filename to use
118         if os.path.exists(dest_filename):
119             dest_filename = utils.find_next_free(dest_filename, 10)
120             Logger.log(["change destination file name", os.path.basename(dest_filename)])
121         utils.move(f, dest_filename, 0o660)
122     else:
123         Logger.log(["skipping file because of permission problem", fname])
124         utils.warn("skipping '%s', permission denied." % fname)
125
126 # Removes any old files.
127 # [Used for Incoming/REJECT]
128 #
129 def flush_old ():
130     Logger.log(["check Incoming/REJECT for old files", os.getcwd()])
131     for f in os.listdir('.'):
132         if os.path.isfile(f):
133             if os.stat(f)[stat.ST_MTIME] < delete_date:
134                 remove('Incoming/REJECT', f)
135             else:
136                 if Options["Verbose"]:
137                     print "Skipping, too new, '%s'." % (os.path.basename(f))
138
139 # Removes any files which are old orphans (not associated with a valid .changes file).
140 # [Used for Incoming]
141 #
142 def flush_orphans ():
143     all_files = {}
144     changes_files = []
145
146     Logger.log(["check Incoming for old orphaned files", os.getcwd()])
147     # Build up the list of all files in the directory
148     for i in os.listdir('.'):
149         if os.path.isfile(i):
150             all_files[i] = 1
151             if i.endswith(".changes"):
152                 changes_files.append(i)
153
154     # Proces all .changes and .dsc files.
155     for changes_filename in changes_files:
156         try:
157             changes = utils.parse_changes(changes_filename)
158             files = utils.build_file_list(changes)
159         except:
160             utils.warn("error processing '%s'; skipping it. [Got %s]" % (changes_filename, sys.exc_info()[0]))
161             continue
162
163         dsc_files = {}
164         for f in files.keys():
165             if f.endswith(".dsc"):
166                 try:
167                     dsc = utils.parse_changes(f, dsc_file=1)
168                     dsc_files = utils.build_file_list(dsc, is_a_dsc=1)
169                 except:
170                     utils.warn("error processing '%s'; skipping it. [Got %s]" % (f, sys.exc_info()[0]))
171                     continue
172
173         # Ensure all the files we've seen aren't deleted
174         keys = []
175         for i in (files.keys(), dsc_files.keys(), [changes_filename]):
176             keys.extend(i)
177         for key in keys:
178             if all_files.has_key(key):
179                 if Options["Verbose"]:
180                     print "Skipping, has parents, '%s'." % (key)
181                 del all_files[key]
182
183     # Anthing left at this stage is not referenced by a .changes (or
184     # a .dsc) and should be deleted if old enough.
185     for f in all_files.keys():
186         if os.stat(f)[stat.ST_MTIME] < delete_date:
187             remove('Incoming', f)
188         else:
189             if Options["Verbose"]:
190                 print "Skipping, too new, '%s'." % (os.path.basename(f))
191
192 ################################################################################
193
194 def main ():
195     global Options, Logger
196
197     cnf = Config()
198
199     for i in ["Help", "Incoming", "No-Action", "Verbose" ]:
200         if not cnf.has_key("Clean-Queues::Options::%s" % (i)):
201             cnf["Clean-Queues::Options::%s" % (i)] = ""
202     if not cnf.has_key("Clean-Queues::Options::Days"):
203         cnf["Clean-Queues::Options::Days"] = "14"
204
205     Arguments = [('h',"help","Clean-Queues::Options::Help"),
206                  ('d',"days","Clean-Queues::Options::Days", "IntLevel"),
207                  ('i',"incoming","Clean-Queues::Options::Incoming", "HasArg"),
208                  ('n',"no-action","Clean-Queues::Options::No-Action"),
209                  ('v',"verbose","Clean-Queues::Options::Verbose")]
210
211     apt_pkg.ParseCommandLine(cnf.Cnf,Arguments,sys.argv)
212     Options = cnf.SubTree("Clean-Queues::Options")
213
214     if Options["Help"]:
215         usage()
216
217     Logger = daklog.Logger('clean-queues', Options['No-Action'])
218
219     init(cnf)
220
221     if Options["Verbose"]:
222         print "Processing incoming..."
223     flush_orphans()
224
225     reject = cnf["Dir::Reject"]
226     if os.path.exists(reject) and os.path.isdir(reject):
227         if Options["Verbose"]:
228             print "Processing reject directory..."
229         os.chdir(reject)
230         flush_old()
231
232     Logger.close()
233
234 #######################################################################################
235
236 if __name__ == '__main__':
237     main()