]> git.decadent.org.uk Git - dak.git/blob - dak/dakdb/update28.py
add security apache.conf
[dak.git] / dak / dakdb / update28.py
1 #!/usr/bin/env python
2 # coding=utf8
3
4 """
5 keep contents of binary packages in tables so we can generate contents.gz files from dak
6
7 @contact: Debian FTP Master <ftpmaster@debian.org>
8 @copyright: 2009  Mike O'Connor <stew@debian.org>
9 @license: GNU General Public License version 2 or later
10 """
11
12 # This program is free software; you can redistribute it and/or modify
13 # it under the terms of the GNU General Public License as published by
14 # the Free Software Foundation; either version 2 of the License, or
15 # (at your option) any later version.
16
17 # This program is distributed in the hope that it will be useful,
18 # but WITHOUT ANY WARRANTY; without even the implied warranty of
19 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
20 # GNU General Public License for more details.
21
22 # You should have received a copy of the GNU General Public License
23 # along with this program; if not, write to the Free Software
24 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
25
26 ################################################################################
27
28
29 ################################################################################
30
31 import psycopg2
32 import time
33 from daklib.dak_exceptions import DBUpdateError
34 from daklib.config import Config
35 import string
36
37 ################################################################################
38
39 def _suites():
40     """
41     return a list of suites to operate on
42     """
43     suites = Config().SubTree("Suite").List()
44     return suites
45
46 def arches(cursor, suite):
47     """
48     return a list of archs to operate on
49     """
50     arch_list = []
51     cursor.execute("""SELECT s.architecture, a.arch_string
52     FROM suite_architectures s
53     JOIN architecture a ON (s.architecture=a.id)
54     WHERE suite = '%s'""" % suite)
55
56     while True:
57         r = cursor.fetchone()
58         if not r:
59             break
60
61         if r[1] != "source" and r[1] != "all":
62             arch_list.append((r[0], r[1]))
63
64     return arch_list
65
66 def do_update(self):
67     """
68     Adding contents table as first step to maybe, finally getting rid
69     of apt-ftparchive
70     """
71
72     print __doc__
73
74     try:
75         c = self.db.cursor()
76
77         c.execute("""CREATE TABLE pending_bin_contents (
78         id serial NOT NULL,
79         package text NOT NULL,
80         version debversion NOT NULL,
81         arch int NOT NULL,
82         filename text NOT NULL,
83         type int NOT NULL,
84         PRIMARY KEY(id))""" );
85
86         c.execute("""CREATE TABLE deb_contents (
87         filename text,
88         section text,
89         package text,
90         binary_id integer,
91         arch integer,
92         suite integer)""" )
93
94         c.execute("""CREATE TABLE udeb_contents (
95         filename text,
96         section text,
97         package text,
98         binary_id integer,
99         suite integer,
100         arch integer)""" )
101
102         c.execute("""ALTER TABLE ONLY deb_contents
103         ADD CONSTRAINT deb_contents_arch_fkey
104         FOREIGN KEY (arch) REFERENCES architecture(id)
105         ON DELETE CASCADE;""")
106
107         c.execute("""ALTER TABLE ONLY udeb_contents
108         ADD CONSTRAINT udeb_contents_arch_fkey
109         FOREIGN KEY (arch) REFERENCES architecture(id)
110         ON DELETE CASCADE;""")
111
112         c.execute("""ALTER TABLE ONLY deb_contents
113         ADD CONSTRAINT deb_contents_pkey
114         PRIMARY KEY (filename,package,arch,suite);""")
115
116         c.execute("""ALTER TABLE ONLY udeb_contents
117         ADD CONSTRAINT udeb_contents_pkey
118         PRIMARY KEY (filename,package,arch,suite);""")
119
120         c.execute("""ALTER TABLE ONLY deb_contents
121         ADD CONSTRAINT deb_contents_suite_fkey
122         FOREIGN KEY (suite) REFERENCES suite(id)
123         ON DELETE CASCADE;""")
124
125         c.execute("""ALTER TABLE ONLY udeb_contents
126         ADD CONSTRAINT udeb_contents_suite_fkey
127         FOREIGN KEY (suite) REFERENCES suite(id)
128         ON DELETE CASCADE;""")
129
130         c.execute("""ALTER TABLE ONLY deb_contents
131         ADD CONSTRAINT deb_contents_binary_fkey
132         FOREIGN KEY (binary_id) REFERENCES binaries(id)
133         ON DELETE CASCADE;""")
134
135         c.execute("""ALTER TABLE ONLY udeb_contents
136         ADD CONSTRAINT udeb_contents_binary_fkey
137         FOREIGN KEY (binary_id) REFERENCES binaries(id)
138         ON DELETE CASCADE;""")
139
140         c.execute("""CREATE INDEX ind_deb_contents_binary ON deb_contents(binary_id);""" )
141
142         suites = _suites()
143
144         for suite in [i.lower() for i in suites]:
145
146             c.execute("SELECT id FROM suite WHERE suite_name ='%s'" % suite )
147             suiterow = c.fetchone()
148             suite_id = suiterow[0]
149             arch_list = arches(c, suite_id)
150             arch_list = arches(c, suite_id)
151             suitestr=string.replace(suite,'-','_');
152
153             for (arch_id,arch_str) in arch_list:
154                 arch_str = string.replace(arch_str,"-", "_")
155                 c.execute( "CREATE INDEX ind_deb_contents_%s_%s ON deb_contents (arch,suite) WHERE (arch=2 OR arch=%s) AND suite='%s'"%(arch_str,suitestr,arch_id,suite_id) )
156
157             for section, sname in [("debian-installer","main"),
158                                   ("non-free/debian-installer", "nonfree")]:
159                 c.execute( "CREATE INDEX ind_udeb_contents_%s_%s ON udeb_contents (section,suite) WHERE section='%s' AND suite='%s'"%(sname,suitestr,section,suite_id) )
160
161
162         c.execute( """CREATE OR REPLACE FUNCTION update_contents_for_bin_a() RETURNS trigger AS  $$
163     event = TD["event"]
164     if event == "DELETE" or event == "UPDATE":
165
166         plpy.execute(plpy.prepare("DELETE FROM deb_contents WHERE binary_id=$1 and suite=$2",
167                                   ["int","int"]),
168                                   [TD["old"]["bin"], TD["old"]["suite"]])
169
170     if event == "INSERT" or event == "UPDATE":
171
172        content_data = plpy.execute(plpy.prepare(
173             \"\"\"SELECT s.section, b.package, b.architecture, ot.type
174             FROM override o
175             JOIN override_type ot on o.type=ot.id
176             JOIN binaries b on b.package=o.package
177             JOIN files f on b.file=f.id
178             JOIN location l on l.id=f.location
179             JOIN section s on s.id=o.section
180             WHERE b.id=$1
181             AND o.suite=$2
182             \"\"\",
183             ["int", "int"]),
184             [TD["new"]["bin"], TD["new"]["suite"]])[0]
185
186        tablename="%s_contents" % content_data['type']
187
188        plpy.execute(plpy.prepare(\"\"\"DELETE FROM %s
189                    WHERE package=$1 and arch=$2 and suite=$3\"\"\" % tablename,
190                    ['text','int','int']),
191                    [content_data['package'],
192                    content_data['architecture'],
193                    TD["new"]["suite"]])
194
195        filenames = plpy.execute(plpy.prepare(
196            "SELECT bc.file FROM bin_contents bc where bc.binary_id=$1",
197            ["int"]),
198            [TD["new"]["bin"]])
199
200        for filename in filenames:
201            plpy.execute(plpy.prepare(
202                \"\"\"INSERT INTO %s
203                    (filename,section,package,binary_id,arch,suite)
204                    VALUES($1,$2,$3,$4,$5,$6)\"\"\" % tablename,
205                ["text","text","text","int","int","int"]),
206                [filename["file"],
207                 content_data["section"],
208                 content_data["package"],
209                 TD["new"]["bin"],
210                 content_data["architecture"],
211                 TD["new"]["suite"]] )
212 $$ LANGUAGE plpythonu VOLATILE SECURITY DEFINER;
213 """)
214
215
216         c.execute( """CREATE OR REPLACE FUNCTION update_contents_for_override() RETURNS trigger AS  $$
217     event = TD["event"]
218     if event == "UPDATE":
219
220         otype = plpy.execute(plpy.prepare("SELECT type from override_type where id=$1",["int"]),[TD["new"]["type"]] )[0];
221         if otype["type"].endswith("deb"):
222             section = plpy.execute(plpy.prepare("SELECT section from section where id=$1",["int"]),[TD["new"]["section"]] )[0];
223
224             table_name = "%s_contents" % otype["type"]
225             plpy.execute(plpy.prepare("UPDATE %s set section=$1 where package=$2 and suite=$3" % table_name,
226                                       ["text","text","int"]),
227                                       [section["section"],
228                                       TD["new"]["package"],
229                                       TD["new"]["suite"]])
230
231 $$ LANGUAGE plpythonu VOLATILE SECURITY DEFINER;
232 """)
233
234         c.execute("""CREATE OR REPLACE FUNCTION update_contents_for_override()
235                       RETURNS trigger AS  $$
236     event = TD["event"]
237     if event == "UPDATE" or event == "INSERT":
238         row = TD["new"]
239         r = plpy.execute(plpy.prepare( \"\"\"SELECT 1 from suite_architectures sa
240                   JOIN binaries b ON b.architecture = sa.architecture
241                   WHERE b.id = $1 and sa.suite = $2\"\"\",
242                 ["int", "int"]),
243                 [row["bin"], row["suite"]])
244         if not len(r):
245             plpy.error("Illegal architecture for this suite")
246
247 $$ LANGUAGE plpythonu VOLATILE;""")
248
249         c.execute( """CREATE TRIGGER illegal_suite_arch_bin_associations_trigger
250                       BEFORE INSERT OR UPDATE ON bin_associations
251                       FOR EACH ROW EXECUTE PROCEDURE update_contents_for_override();""")
252
253         c.execute( """CREATE TRIGGER bin_associations_contents_trigger
254                       AFTER INSERT OR UPDATE OR DELETE ON bin_associations
255                       FOR EACH ROW EXECUTE PROCEDURE update_contents_for_bin_a();""")
256         c.execute("""CREATE TRIGGER override_contents_trigger
257                       AFTER UPDATE ON override
258                       FOR EACH ROW EXECUTE PROCEDURE update_contents_for_override();""")
259
260
261         c.execute( "CREATE INDEX ind_deb_contents_name ON deb_contents(package);");
262         c.execute( "CREATE INDEX ind_udeb_contents_name ON udeb_contents(package);");
263
264         c.execute("UPDATE config SET value = '28' WHERE name = 'db_revision'")
265
266         self.db.commit()
267
268     except psycopg2.ProgrammingError, msg:
269         self.db.rollback()
270         raise DBUpdateError, "Unable to apply process-new update 28, rollback issued. Error message : %s" % (str(msg))
271