Python提示[Errno 32]Broken pipe导致线程crash错误解决方法

百变鹏仔 3周前 (02-09) #Python

文章标签线程

本文实例讲述了python提示[errno 32]broken pipe导致线程crash错误解决方法。分享给大家供大家参考。具体方法如下：

1. 错误现象
ThreadingHTTPServer 实现的 http 服务，如果客户端在服务器返回前，主动断开连接，则服务器端会报 [Errno 32] Broken pipe 错，并导致处理线程 crash.
下面先看个例子,python 版本: 2.7
示例代码

代码如下:

#!/usr/bin/env python#!coding=utf-8  import osimport timeimport socketimport threadingfrom BaseHTTPServer import HTTPServer ,BaseHTTPRequestHandlerfrom SocketServer import ThreadingMixIn  class RequestHandler(BaseHTTPRequestHandler):    def do_GET(self):        """        处理get请求        """               query=self.path        print "query: %s thread=%s" % (query, str(threading.current_thread()))                 #ret_str="" + self.path + "<br>" + str(self.server) + "<br>" + str(self.responses) +  ""        ret_str="" + self.path + "<br>" + str(self.server) +  ""                 time.sleep(5)                 try:            self.send_response(200)            self.send_header('Content-type','text/html')            self.end_headers()            self.wfile.write(ret_str)        except socket.error, e:            print "socket.error : Connection broke. Aborting" + str(e)            self.wfile._sock.close()  # close socket            self.wfile._sock=None            return False                print "success prod query :%s" % (query)        return True  #多线程处理class ThreadingHTTPServer(ThreadingMixIn,HTTPServer):    pass     if __name__ == '__main__':    serveraddr = ('',9001)     ser = ThreadingHTTPServer(serveraddr,RequestHandler)    ser.serve_forever()    sys.exit(0)

运行服务
./thread_http_server_error.py
第1次 curl ，等待返回

代码如下:

[~]$curl -s 'http://10.232.41.142:9001/hello1′[~]$此时服务器端输出日志如下：$./thread_http_server_error.pyquery: /hello1 thread=search041142.sqa.cm4.tbsite.net – - [15/May/2014 15:02:27] “GET /hello1 HTTP/1.1″ 200 -success prod query :/hello1

第2次 curl ，不等待返回，ctrl +C 来模拟客户端断开

代码如下:

[~]$curl -s 'http://10.232.41.142:9001/hello2′[~]$ ctrl+C

此时服务器端输出日志如下：

代码如下:

query: /hello2 thread=search041142.sqa.cm4.tbsite.net – - [15/May/2014 15:33:10] “GET /hello2 HTTP/1.1″ 200 -socket.error : Connection broke. Aborting[Errno 32] Broken pipe—————————————-Exception happened during processing of request from ('10.232.41.142′, 48769)Traceback (most recent call last):File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/SocketServer.py”, line 582, in process_request_threadself.finish_request(request, client_address)File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/SocketServer.py”, line 323, in finish_requestself.RequestHandlerClass(request, client_address, self)File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/SocketServer.py”, line 639, in __init__self.handle()File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/BaseHTTPServer.py”, line 337, in handleself.handle_one_request()File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/BaseHTTPServer.py”, line 326, in handle_one_request self.wfile.flush() #actually send the response if not already done.File “/home/wuzhu/tools/python_2_7_1/lib/python2.7/socket.py”, line 303, in flushself._sock.sendall(view[write_offset:write_offset+buffer_size])AttributeError: 'NoneType' object has no attribute 'sendall'

2. 原因分析

立即学习“Python免费学习笔记（深入）”；

“[Errno 32] Broken pipe “ 产生的原因还是比较明确的，由于 client 在服务器返回前主动断开连接，所以服务器在返回时写 socket 收到SIGPIPE报错。虽然在我们的程序中也对异常进行了处理，将handler 的 wfile._sock 对象close 掉，但python 的库里BaseHTTPServer.py中BaseHTTPRequestHandler 类的成员函数handle_one_request还是会直接调用 wfile.flush ，而没有判断 wfile 是否已经 close。

代码如下:

def handle_one_request(self):    """Handle a single HTTP request.     You normally don't need to override this method; see the class    __doc__ string for information on how to handle specific HTTP    commands such as GET and POST.     """    try:        self.raw_requestline = self.rfile.readline(65537)        if len(self.raw_requestline) &gt; 65536:            self.requestline = ''            self.request_version = ''            self.command = ''            self.send_error(414)            return        if not self.raw_requestline:            self.close_connection = 1            return        if not self.parse_request():            # An error code has been sent, just exit            return        mname = 'do_' + self.command        if not hasattr(self, mname):            self.send_error(501, "Unsupported method (%r)" % self.command)            return        method = getattr(self, mname)        method()        #没有判断 wfile 是否已经 close 就直接调用 flush()        self.wfile.flush() #actually send the response if not already done.    except socket.timeout, e:        #a read or a write timed out.  Discard this connection        self.log_error("Request timed out: %r", e)        self.close_connection = 1        return

3. 解决办法

只要在RequestHandler重载其基类BaseHTTPRequestHandler的成员函数handle_one_reques（），在调用 wfile.flush() 前加上 wfile 是否已经 close 即可。

代码如下:

#!/usr/bin/env python#!coding=utf-8import osimport timeimport socketimport threadingfrom BaseHTTPServer import HTTPServer ,BaseHTTPRequestHandlerfrom SocketServer import ThreadingMixInclass RequestHandler(BaseHTTPRequestHandler):         def handle_one_request(self):        """Handle a single HTTP request.         You normally don't need to override this method; see the class        __doc__ string for information on how to handle specific HTTP        commands such as GET and POST.         """        try:            self.raw_requestline = self.rfile.readline(65537)            if len(self.raw_requestline) &gt; 65536:                self.requestline = ''                self.request_version = ''                self.command = ''                self.send_error(414)                return            if not self.raw_requestline:                self.close_connection = 1                return            if not self.parse_request():                # An error code has been sent, just exit                return            mname = 'do_' + self.command            if not hasattr(self, mname):                self.send_error(501, "Unsupported method (%r)" % self.command)                return            method = getattr(self, mname)            print "before call do_Get"            method()            #增加 debug info 及 wfile 判断是否已经 close            print "after call do_Get"            if not self.wfile.closed:                self.wfile.flush() #actually send the response if not already done.            print "after wfile.flush()"        except socket.timeout, e:            #a read or a write timed out.  Discard this connection            self.log_error("Request timed out: %r", e)            self.close_connection = 1            return         def do_GET(self):        """        处理get请求        """        query=self.path        print "query: %s thread=%s" % (query, str(threading.current_thread()))         ret_str="" + self.path + "<br>" + str(self.server) +  ""         time.sleep(5)                 try:            self.send_response(200)            self.send_header('Content-type','text/html')            self.end_headers()                      self.wfile.write(ret_str)        except socket.error, e:            print "socket.error : Connection broke. Aborting" + str(e)            self.wfile._sock.close()            self.wfile._sock=None            return False                print "success prod query :%s" % (query)        return True #多线程处理class ThreadingHTTPServer(ThreadingMixIn,HTTPServer):    pass     if __name__ == '__main__':    serveraddr = ('',9001)     ser = ThreadingHTTPServer(serveraddr,RequestHandler)    ser.serve_forever()    sys.exit(0)

运行服务
./thread_http_server.py
curl ，不等待返回，ctrl +C 来模拟客户端断开

复制代码代码如下:

[~]$curl -s 'http://10.232.41.142:9001/hello2'[~]$ ctrl+C

此时服务器端输出日志如下：

$./thread_http_server.pybefore call do_Getquery: /hello2 thread=<thread>search041142.sqa.cm4.tbsite.net - - [15/May/2014 15:54:09] "GET /hello2 HTTP/1.1" 200 -socket.error : Connection broke. Aborting[Errno 32] Broken pipeafter call do_Getafter wfile.flush()</thread>

文章推荐

Python提示[Errno 32]Broken pipe导致线程crash错误解决方法

Python实现字典的key和values的交换

使用Python脚本来获取Cisco设备信息的示例

Python的Django中django-userena组件的简单使用教程

零基础写python爬虫之神器正则表达式

零基础写python爬虫之抓取百度贴吧代码分享