前言

最近项目用到了Python作为网站的前端，使用的框架是基于线程池的Cherrypy，但是前端依然有一些比较‘重’的模块。由于python的多线程无法很好的利用多核的性质，所以觉得把这些比较‘重’的功能用多进程进行管理。

Python 多进程编程

Python的多进程编程主要依赖multiprocessing库，父进程的参数直接拷贝给子进程，因为Linux进程的copy>import multiprocessing def heavy_load_func(N, child_conn): '''function do heavy computing''' try: #do_some_heavy_computing child_conn.send(return_value) #return something except Exception,e: child_conn.send(e) #将异常通过管道送出 if __name__=='__main__' '''main function''' try: parent_conn, child_conn = multiprocessing.Pipe() hild_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn)) child_process.start() child_process.join() child_return = parent_conn.recv() print child_return except Exception,e: logger.error(e)

多进程异常处理

但是如果heavy_load_func在执行过程中抛出异常就比较麻烦了，当然我们可以通过Pipe将捕捉到的异常信息传到父进程，但是这样父进程只是得到了一条返回值，并没有触发父进程的异常机制，如何把子进程的异常抛出给父进程进行处理呢？

本文提供一种方法，通过引入一个代理类Process对multiprocessing.Process进行重载，Process中重写multiprocessing.Process的run方法，并且加入exception属性，通过exception来判断子进程是否触发异常。

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，
互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
class Process(multiprocessing.Process):
    def __init__(self, *args, **kwargs):
        multiprocessing.Process.__init__(self, *args, **kwargs)
        self._pconn, self._cconn = multiprocessing.Pipe()
        self._exception = None

    def run(self):
        try:
            multiprocessing.Process.run(self)
            self._cconn.send(None)
        except Exception as e:
            tb = traceback.format_exc()
            self._cconn.send((e, tb))

    @property
    def exception(self):
        if self._pconn.poll():
            self._exception = self._pconn.recv()
        return self._exception

这样我们的代码就可以写成这样：

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，
互帮互助,群里还有不错的视频学习教程和PDF电子书！
'''
if __name__=='__main__':
    '''main function'''
    try:
        parent_conn, child_conn = multiprocessing.Pipe()
        #child_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn))
        child_process = Process(target=heavy_load_func, args=(10, child_conn))
        child_process.start()
        child_process.join()
        if child_process.exception:
            error, traceback = child_process.exception
            print error
            child_process.terminate()
        else:
            child_return = parent_conn.recv()  #如果不子进程不抛出异常就接受值，否则主进程退出，避免主进程被管道阻塞！
            print child_return
    except Exception, e:
        print e

总结

本文主要介绍了一种Python多进程异常处理的方法，通过引入代理类来进行异常的转发。文章介绍的比较简单，其实里面有很多东西。