daklib/dakmultiprocessing.py

   1 #!/usr/bin/env python
   2 # vim:set et sw=4:
   3
   4 """
   5 multiprocessing for DAK
   6
   7 @contact: Debian FTP Master <ftpmaster@debian.org>
   8 @copyright: 2011  Ansgar Burchardt <ansgar@debian.org>
   9 @license: GNU General Public License version 2 or later
  10 """
  11
  12 # This program is free software; you can redistribute it and/or modify
  13 # it under the terms of the GNU General Public License as published by
  14 # the Free Software Foundation; either version 2 of the License, or
  15 # (at your option) any later version.
  16
  17 # This program is distributed in the hope that it will be useful,
  18 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  19 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  20 # GNU General Public License for more details.
  21
  22 # You should have received a copy of the GNU General Public License
  23 # along with this program; if not, write to the Free Software
  24 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  25
  26 ###############################################################################
  27
  28 import multiprocessing
  29 import sqlalchemy.orm.session
  30
  31 def _func_wrapper(func, *args, **kwds):
  32     try:
  33         return func(*args, **kwds)
  34     finally:
  35         # Make sure connections are closed. We might die otherwise.
  36         sqlalchemy.orm.session.Session.close_all()
  37
  38 class Pool():
  39     def __init__(self, *args, **kwds):
  40         self.pool = multiprocessing.Pool(*args, **kwds)
  41         self.results = []
  42
  43     def apply_async(self, func, args=(), kwds={}, callback=None):
  44         wrapper_args = list(args)
  45         wrapper_args.insert(0, func)
  46         self.results.append(self.pool.apply_async(_func_wrapper, wrapper_args, kwds, callback))
  47
  48     def close(self):
  49         self.pool.close()
  50
  51     def join(self):
  52         self.pool.join()
  53         #for r in self.results:
  54         #    # return values were already handled in the callbacks, but asking
  55         #    # for them might raise exceptions which would otherwise be lost
  56         #    r.get()