新闻动态
NEWS

　　先烦琐一句，我应用的版本是python2.7，没有应用3.X的原因是我感觉2.7的扩大斗劲多，且较之前的版本变更不大，应用顺手。3.X的确就是性的变更，用的蹩手。3.x的版本urllib与urllib2已经归并为一个urllib库，学着斗劲清楚些，2.7的版本呢urllib与urllib2各有各的感化，下面我把本身进修官方文档和其他材料的总结写下，便利今后应用。

　　urllib与urllib2并不是可以庖代的，只能说2是一个补充吧。先来看看他们俩的差别，有一篇文章把urllib与urllib2的关系说的很熟悉打听《difference between urllib and urllib2》，意思如下。

　　Python的urllib和urllib2模块都做与恳求URL相干的操纵，但他们供给不合的功能。他们两个最光鲜明显的差别如下：

　　urllib2可以接管一个Request对象，并以此可以来设置一个URL的headers，然则urllib只接管一个URL。这意味着，你不克不及假装你的用户字符串等。urllib模块可以供给进行urlencode的办法，该办法用于GET查询字符串的生成，urllib2的不具有如许的功能。这就是urllib与urllib2经常在一路应用的原因。

　　这两点对于用过urllib与urllib2的人来说斗劲好懂得，然则对于没用过的还是不克不及有好的懂得，下面参考官方的文档，把本身对urllib与urllib2的进修内容总结如下。

　　A.urllib2概述

　　urllib2模块定义的函数和类用来获取URL（主如果HTTP的），他供给一些错杂的接口用于处理惩罚： 根蒂根基认证，重定向，Cookies等。

　　urllib2支撑很多的“URL schemes”（由URL中的“：”之前的字符串断定 - 例如“FTP”的URL规划如“ftp://python.org/”），且他还支撑其相干的收集和谈（如FTP，HTTP）。我们则重点存眷HTTP。

　　在简单的景象下，我们会应用urllib2模块的最常用的办法urlopen。但只要打开HTTP URL时碰到错误或异常的景象下，就须要一些HTTP传输和谈的常识。我们没有须要把握HTTP RFC2616。这是一个最周全和最权势巨子的技巧文档，且不易于浏览。在应用urllib2时会用到HTTP RFC2616相干的常识，懂得即可。

　　B.常用办法和类

　　1）urllib2.urlopen（url[， data][， timeout]）

　　urlopen办法是urllib2模块最常用也最简单的办法，它打开URL网址，url参数可所以一个字符串url或者是一个Request对象。URL没什么可说的，Request对象和data在request类中申明，定义都是一样的。

　　对于可选的参数timeout，梗阻操纵以秒为单位，如测验测验连接（若是没有指定，将应用设置的全局默认timeout值）。实际上这仅实用于HTTP，HTTPS和FTP连接。

　　先看只包含URL的恳求例子：

　　importurllib2response= urllib2.urlopen（http://python.org/）html= response.read（）

　　urlopen办法也可经由过程建树了一个Request对象来明白指明想要获取的url。调用urlopen函数对恳求的url返回一个response对象。这个response类似于一个file对象，所以用.read（）函数可以操纵这个response对象，关于urlopen函数的返回值的应用，我们下面再具体说。

　　importurllib2req= urllib2.Request（http://python.org/）response=urllib2.urlopen（req）the_page= response.read（）

　　这里用到了urllib2.Request类，对于上例，我们只经由过程了URL实例化了Request类的对象，其实Request类还有其他的参数。

　　2）classurllib2.Request（url[， data][， headers][， origin_req_host][， unverifiable]）

　　Request类是一个抽象的URL恳求。5个参数的申明如下

　　URL——是一个字符串，此中包含一个有效的URL。

　　data——是一个字符串，指定额外的数据发送到办事器，若是没有data须要发送可认为“None”。今朝应用data的HTTP恳求是独一的。当恳求含有data参数时，HTTP的恳求为POST，而不是GET。数据应当是缓存在一个标准的application/x-www-form-urlencoded格局中。urllib.urlencode（）函数用映射或2元组，返回一个这种格局的字符串。通俗的说就是若是想向一个URL发送数据（凡是这些数据是代表一些CGI脚本或者其他的web应用）。对于HTTP来说这动作叫Post。例如在网上填的form（表单）时，浏览器会POST表单的内容，这些数据须要被以标准的格局编码（encode），然后作为一个数据参数传送给Request对象。Encoding是在urlib模块中完成的，而不是在urlib2中完成的。下面是个例子：

　　importurllibimporturllib2url=http://www.someserver.com/cgi-bin/register.cgivalues= {name:Michael Foord，location:Northampton，language:Python}data=urllib.urlencode（values）req=urllib2.Request（url， data）response=urllib2.urlopen（req）the_page= response.read（）

　　headers——是字典类型，头字典可以作为参数在request时直接传入，也可以把每个键和值作为参数调用add_header（）办法来添加。作为判袂浏览器身份的User-Agent header是经常被用来和假装的，因为一些HTTP办事只容许某些恳求来自常见的浏览器而不是脚本，或是针对不合的浏览器返回不合的版本。例如，Mozilla Firefox浏览器被辨认为“Mozilla/5.0 （X11; U; Linux i686） Gecko/20071127 Firefox/2.0.0.11”。默认景象下，urlib2把本身辨认为Python-urllib/x.y（这里的xy是python发行版的首要或次要的版本号，如在Python 2.6中，urllib2的默认用户字符串是“Python-urllib/2.6。下面的例子和上方的差别就是在恳求时加了一个headers，仿照IE浏览器提交恳求。

　　importurllibimporturllib2url=http://www.someserver.com/cgi-bin/register.cgiuser_agent=Mozilla/4.0 （compatible; MSIE 5.5; Windows NT）values= {name:Michael Foord，location:Northampton，language:Python}headers= {User-Agent: user_agent }data=urllib.urlencode（values）req=urllib2.Request（url， data， headers）response=urllib2.urlopen（req）the_page= response.read（）

　　标准的headers构成是（Content-Length， Content-Type and Host），只有在Request对象调用urlopen（）（上方的例子也属于这个景象）或者OpenerDirector.open（）时参加。两种景象的例子如下：

　　应用headers参数机关Request对象，如上例在生成Request对象时已经初始化header，而下例是Request对象调用add_header（key，val）办法附加header（Request对象的办法下面再介绍）：

　　importurllib2req= urllib2.Request（http://www.example.com/）req.add_header（Referer，http://www.python.org/）r= urllib2.urlopen（req）

　　OpenerDirector为每一个Request主动加上一个User-Agent header，所以第二种办法如下（urllib2.build_opener会返回一个OpenerDirector对象，关于urllib2.build_opener类下面再说）：

　　importurllib2opener=urllib2.build_opener（）opener.addheaders= [（User-agent，Mozilla/5.0）]opener.open（http://www.example.com/）

　　最后两个参数仅仅是对正确操纵第三方HTTP cookies 感爱好，很罕用到：

　　origin_req_host——是RFC2965定义的源交互的request-host。默认的取值是cookielib.request_host（self）。这是由用户创议的原始恳求的主机名或IP地址。例如，若是恳求的是一个HTML文档中的图像，这应当是包含该图像的页面恳求的request-host。

　　unverifiable ——代表恳求是否是无法验证的，它也是由RFC2965定义的。默认值为false。一个无法验证的恳求是，其用户的URL没有足够的权限来被接管。例如，若是恳求的是在HTML文档中的图像，然则用户没有主动抓取图像的权限，unverifiable的值就应当是true。

　　3）urllib2.install_opener（opener）和urllib2.build_opener（[handler，...]）

　　install_opener和build_opener这两个办法凡是都是在一路用，也有时辰build_opener零丁应用来获得OpenerDirector对象。

　　install_opener实例化会获得OpenerDirector 对象用来付与全局变量opener。若是想用这个opener来调用urlopen，那么就必须实例化获得OpenerDirector；如许就可以简单的调用OpenerDirector.open（）来庖代urlopen（）。

　　build_opener实例化也会获得OpenerDirector对象，此中参数handlers可以被BaseHandler或他的子类实例化。子类中可以经由过程以下实例化：ProxyHandler （若是检测设置用）， UnknownHandler， HTTPHandler， HTTPDefaultErrorHandler， HTTPRedirectHandler， FTPHandler， FileHandler， HTTPErrorProcessor。

　　importurllib2req= urllib2.Request（http://www.python.org/）opener=urllib2.build_opener（）urllib2.install_opener（opener）f= opener.open（req）

　　如上应用 urllib2.install_opener（）设置 urllib2 的全局 opener。如许后面的应用会很便利，但不克不及做更细粒度的把握，比如想在法度中应用两个不合的 Proxy 设置等。斗劲好的做法是不应用 install_opener 去更改全局的设置，而只是直接调用 opener的open 办法庖代全局的 urlopen 办法。

　　说到这Opener和Handler之间的操纵听起来有点晕。收拾下思路就清楚了。当获取一个URL时，可以应用一个opener（一个urllib2.OpenerDirector实例对象，可以由build_opener实例化生成）。正常景象下法度一向经由过程urlopen应用默认的opener（也就是说当你应用urlopen办法时，是在隐式的应用默认的opener对象），但也可以创建自定义的openers（经由过程操纵器handlers创建的opener实例）。所有的重活和麻烦都交给这些handlers来做。每一个handler知道如何故一种特定的和谈（http，ftp等等）打开url，或者如何处理惩罚打开url产生的HTTP重定向，或者包含的HTTP cookie。创建openers时若是想要安装特此外handlers来实现获取url（如获取一个处理惩罚cookie的opener，或者一个不处理惩罚重定向的opener）的话，先实例一个OpenerDirector对象，然后多次调用.add_handler（some_handler_instance）来创建一个opener。或者，你可以用build_opener，这是一个很便利的创建opener对象的函数，它只有一个函数调用。build_opener默认会参加很多handlers，它供给了一个快速的办法添加更多器材和使默认的handler失效。

　　install_opener如上所述也能用于创建一个opener对象，然则这个对象是（全局）默认的opener。这意味着调用urlopen将会用到你刚创建的opener。也就是说上方的代码可以等同于下面这段。这段代码终极还是应用的默认opener。一般景象下我们用build_opener为的是生成自定义opener，没有须要调用install_opener，除非是为了便利。

　　importurllib2req= urllib2.Request（http://www.python.org/）opener=urllib2.build_opener（）urllib2.install_opener（opener）f= urllib2.urlopen（req）

　　C.异常处理惩罚

　　调用urllib2.urlopen的时辰不会老是这么顺利，就像浏览器打开url时有时也会报错，所以就须要我们有应对异常的处理惩罚。

　　说到异常，我们先来懂得返回的response对象的几个常用的办法：

　　geturl（） — 返回检索的URL资料，这个是返回的真正url，凡是是用来剖断是否重定向的，如下面代码4行url若是便是“http://www.python.org/ ”申明没有被重定向。

　　info（） — 返回页面的原信息就像一个字段的对象， 如headers，它以mimetools.Message实例为格局（可以参考HTTP Headers申明）。

　　getcode（） — 返回响应的HTTP状况代码，运行下面代码可以获得code=200，具体各个code代表的意思请拜见文后附录。

　　1importurllib22req = urllib2.Request（http://www.python.org/）3response=urllib2.urlopen（req）4url=response.geturl（）5info=response.info（）6code=response.getcode（）

　　当不克不及处理惩罚一个response时，urlopen抛出一个URLError（对于python APIs，内建异常如，ValueError， TypeError 等也会被抛出。）

　　HTTPError是HTTP URL在特此外景象下被抛出的URLError的一个子类。下面就具体说说URLError和HTTPError。

　　URLError——handlers当运行呈现题目时（凡是是因为没有收集连接也就是没有路由到指定的办事器，或在指定的办事器不存在），抛出这个异常.它是IOError的子类.这个抛出的异常包含一个‘reason’ 属性，他包含一个错误编码和一个错误文字描述。如下面代码，request恳求的是一个无法接见的地址，捕获到异常后我们打印reason对象可以看到错误编码和文字描述。

　　1importurllib22req = urllib2.Request（http://www.python11.org/）3try:4response=urllib2.urlopen（req）5excepturllib2.URLError，e:6printe.reason7printe.reason[0]8printe.reason[1]

　　运行成果：

　　HTTPError——HTTPError是URLError的子类。每个来自办事器HTTP的response都包含“status code”. 有时status code不克不及处理惩罚这个request. 默认的处理惩罚法度将处理惩罚这些异常的responses。例如，urllib2发明response的URL与你恳求的URL不应时也就是产生了重定向时，会主动处理惩罚。对于不克不及处理惩罚的恳求， urlopen将抛出HTTPError异常. 典范的错误包含‘404’ （没有找到页面）， ‘403’ （禁止恳求），‘401’ （须要验证）等。它包含2个首要的属性reason和code。

　　当一个错误被抛出的时辰，办事器返回一个HTTP错误代码和一个错误页。你可以应用返回的HTTP错误示例。这意味着它不单具有code和reason属性，并且同时具有read，geturl，和info等办法，如下代码和运行成果。

　　importurllib2req= urllib2.Request（http://www.python.org/fish.html）try: response=urllib2.urlopen（req）excepturllib2.HTTPError，e:printe.codeprinte.reasonprinte.geturl（）printe.read（）

　　运行成果:

　　若是我们想同时处理惩罚HTTPError和URLError，因为HTTPError是URLError的子类，所以应当把捕获HTTPError放在URLError前面，如不然URLError也会捕获一个HTTPError错误，代码参考如下：

　　1importurllib22req = urllib2.Request（http://www.python.org/fish.html）3try:4response=urllib2.urlopen（req）5excepturllib2.HTTPError，e:6printThe server couldn\t fulfill the request.7printError code:，e.code8printError reason:，e.reason9excepturllib2.URLError，e:10printWe failed to reach a server.11printReason:， e.reason12else:13＃everything is fine14response.read（）

　　如许捕获两个异常看着不爽，并且HTTPError还是URLError的子类，我们可以把代码改进如下：

　　1importurllib22req = urllib2.Request（http://www.python.org/fish.html）3try:4response=urllib2.urlopen（req）5excepturllib2.URLError as e:6ifhasattr（e，reason）:7＃HTTPError and URLError all have reason attribute.8printWe failed to reach a server.9printReason:， e.reason10elifhasattr（e，code）:11＃Only HTTPError has code attribute.12printThe server couldn\t fulfill the request.13printError code:， e.code14else:15＃everything is fine16response.read（）

　　关于错误编码因为处理惩罚法度默认的处理惩罚重定向（错误码局限在300内），错误码在100-299局限内的默示恳求成功，所以凡是会看到的错误代码都是在400-599的局限内。具体错误码的申明看附录。

　　写到这上方多次提到了重定向，也说了重定向是如何断定的，并且法度对于重定向时默认处理惩罚的。如何禁止法度主动重定向呢，我们可以自定义HTTPRedirectHandler 类，代码参考如下：

　　1classSmartRedirectHandler（urllib2.HTTPRedirectHandler）:2defhttp_error_301（self， req， fp， code， msg， headers）:3result =urllib2.HTTPRedirectHandler.http_error_301（self， req， fp， code， msg， headers）4returnresult56defhttp_error_302（self， req， fp， code， msg， headers）:7result =urllib2.HTTPRedirectHandler.http_error_302（self， req， fp， code， msg， headers）8returnresult

　　附录：

　　1＃Table mapping response codes to messages; entries have the2＃form {code: （shortmessage， longmessage）}.3responses ={4100: （Continue，Request received， please continue），5101: （Switching Protocols，6Switching to new protocol; obey Upgrade header），78200: （OK，Request fulfilled， document follows），9201: （Created，Document created， URL follows），10202: （Accepted，11Request accepted， processing continues off-line），12203: （Non-Authoritative Information，Request fulfilled cache），13204: （No Content，Request fulfilled， nothing follows），14205: （Reset Content，Clear input form for further input.），15206: （Partial Content，Partial content follows.），1617300: （Multiple Choices，18Object has several resources -- see URI list），19301: （Moved Permanently，Object moved permanently -- see URI list），20302: （Found，Object moved temporarily -- see URI list），21303: （See Other，Object moved -- see Method and URL list），22304: （Not Modified，23Document has not changed since given time），24305: （Use Proxy，25You must use proxy specified in Location to access this26resource.），27307: （Temporary Redirect，28Object moved temporarily -- see URI list），2930400: （Bad Request，31Bad request syntax or unsupported method），32401: （Unauthorized，33No permission -- see authorization schemes），34402: （Payment Required，35No payment -- see charging schemes），36403: （Forbidden，37Request forbidden -- authorization will not help），38404: （Not Found，Nothing matches the given URI），39405: （Method Not Allowed，40Specified method is invalid for this server.），41406: （Not Acceptable，URI not available in preferred format.），42407: （Proxy Authentication Required，You must authenticate with43this proxy before proceeding.），44408: （Request Timeout，Request timed out; try again later.），45409: （Conflict，Request conflict.），46410: （Gone，47URI no longer exists and has been permanently removed.），48411: （Length Required，Client must specify Content-Length.），49412: （Precondition Failed，Precondition in headers is false.），50413: （Request Entity Too Large，Entity is too large.），51414: （Request-URI Too Long，URI is too long.），52415: （Unsupported Media Type，Entity body in unsupported format.），53416: （Requested Range Not Satisfiable，54Cannot satisfy request range.），55417: （Expectation Failed，56Expect condition could not be satisfied.），5758500: （Internal Server Error，Server got itself in trouble），59501: （Not Implemented，60Server does not support this operation），61502: （Bad Gateway，Invalid responses another server/proxy.），62503: （Service Unavailable，63The server cannot process the request due to a high load），64504: （Gateway Timeout，65The gateway server did not receive a timely response），66505: （HTTP Version Not Supported，Cannot fulfill request.），67}