芝麻HTTP:Python爬虫入门之Cookie的应用

怎么要动用Cookie呢?

库克ie,指有个别网站为了鉴定区别用户地点、进行session跟踪而储存在用户本地终端上的数额(经常经过加密)

譬如有个别网站需求报到后才能访问有个别页面,在签到在此之前,你想抓取有个别页面内容是不容许的。那么大家得以应用Urllib2库保存大家登录的Cookie,然后再抓取其余页面就高达目标了。

在此之前呢,我们务必先介绍两个opener的定义。

1.Opener

当你收获一个U奇骏L你使用3个opener(一个urllib2.OpenerDirector的实例)。在前面,大家都以应用的暗许的opener,也正是urlopen。它是2个特种的opener,能够知道成opener的3个例外实例,传入的参数仅仅是url,data,timeout。

若果大家需求用到库克ie,只用这几个opener是不能达到规定的标准目标的,所以大家必要制造更相像的opener来落成对Cookie的装置。

2.Cookielib

cookielib模块的要害功用是提供可存款和储蓄cookie的目的,以便于与urllib2模块合作使用来拜访Internet财富。Cookielib模块非凡强大,大家得以行使本模块的CookieJar类的指标来捕获cookie并在持续连接请求时再也发送,比如能够兑现模拟登录成效。该模块首要的对象有库克ieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它们的涉及:CookieJar —-派生—->FileCookieJar
 —-派生—–>Mozilla库克ieJar和LWPCookieJar

1)获取Cookie保存到变量

第2,大家先选取CookieJar对象实现获取cookie的功用,存款和储蓄到变量中,先来感受一下

 

import urllib2
import cookielib
#声明一个CookieJar对象实例来保存cookie
cookie = cookielib.CookieJar()
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler=urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#此处的open方法同urllib2的urlopen方法,也可以传入request
response = opener.open('http://www.baidu.com')
for item in cookie:
    print 'Name = '+item.name
    print 'Value = '+item.value

笔者们利用上述办法将cookie保存到变量中,然后打字与印刷出了cookie中的值,运转结果如下

Name = BAIDUID
Value = B07B663B645729F11F659C02AAE65B4C:FG=1
Name = BAIDUPSID
Value = B07B663B645729F11F659C02AAE65B4C
Name = H_PS_PSSID
Value = 12527_11076_1438_10633
Name = BDSVRTM
Value = 0
Name = BD_HOME
Value = 0

2)保存Cookie到文件

在上头的办法中,大家将cookie保存到了cookie那个变量中,假若大家想将cookie保存到文件中该怎么办吧?那时,大家就要动用

FileCookieJar那些目的了,在那边大家利用它的子类MozillaCookieJar来贯彻Cookie的保留

 

import cookielib
import urllib2

#设置保存cookie的文件,同级目录下的cookie.txt
filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2库的HTTPCookieProcessor对象来创建cookie处理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通过handler来构建opener
opener = urllib2.build_opener(handler)
#创建一个请求,原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)

至于终极save方法的五个参数在此证实一下:

官方解释如下:

ignore_discard: save even cookies set to be discarded. 

ignore_expires: save even cookies that have expiredThe file is
overwritten if it already exists

有鉴于此,ignore_discard的情致是正是cookies将被扬弃也将它保存下来,ignore_expires的意味是假诺在该公文中cookies已经存在,则覆盖最初的小说件写入,在此地,我们将那多个全体装置为True。运维之后,cookies将被封存到cookie.txt文件中。

3)从文件中获取Cookie并走访

那正是说大家早已成功把Cookie保存到文件中了,要是之后想接纳,能够选用上面包车型客车方法来读取cookie并访问网站,感受一下

 

import cookielib
import urllib2

#创建MozillaCookieJar实例对象
cookie = cookielib.MozillaCookieJar()
#从文件中读取cookie内容到变量
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
#创建请求的request
req = urllib2.Request("http://www.baidu.com")
#利用urllib2的build_opener方法创建一个opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(req)
print response.read()

设想,假诺大家的 cookie.txt
文件中保存的是有个别人登录百度的cookie,那么大家领到出那一个cookie文件内容,就足以用上述措施模拟这厮的账号登录百度。

 4)利用cookie模拟网站登录

上面大家以母校的教导系统为例,利用cookie达成模拟登录,并将cookie消息保存到文本文件中,来感受一下cookie大法吧!

import urllib
import urllib2
import cookielib

filename = 'cookie.txt'
#声明一个MozillaCookieJar对象实例来保存cookie,之后写入文件
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
postdata = urllib.urlencode({
            'stuid':'201200131012',
            'pwd':'23342321'
        })
#登录教务系统的URL
loginUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login'
#模拟登录,并把cookie保存到变量
result = opener.open(loginUrl,postdata)
#保存cookie到cookie.txt中
cookie.save(ignore_discard=True, ignore_expires=True)
#利用cookie请求访问另一个网址,此网址是成绩查询网址
gradeUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre'
#请求访问成绩查询网址
result = opener.open(gradeUrl)
print result.read()

如上程序的法则如下

制造1个带有cookie的opener,在走访登录的U奥德赛L时,将登录后的cookie保存下去,然后接纳那些cookie来访问别的网址。

发表评论

电子邮件地址不会被公开。 必填项已用*标注