Python实现爬取马云的微博功能示例-创新互联

本文实例讲述了Python实现爬取马云的微博功能。分享给大家供大家参考，具体如下：

分析请求

我们打开 Ajax 的 XHR 过滤器，然后一直滑动页面加载新的微博内容，可以看到会不断有Ajax请求发出。

我们选定其中一个请求来分析一下它的参数信息，点击该请求进入详情页面，如图所示：

可以发现这是一个 GET 请求，请求的参数有 6 个：display、retcode、type、value、containerid 和 page，观察这些请求可以发现只有 page 在变化，很明显 page 是用来控制分页的。

分析响应

如图所示：

它是一个 Json 格式，浏览器开发者工具自动为做了解析方便我们查看，可以看到最关键的两部分信息就是 cardlistInfo 和 cards，将二者展开，cardlistInfo 里面包含了一个比较重要的信息就是 total，经过观察后发现其实它是微博的总数量，我们可以根据这个数字来估算出分页的数目。

发现它又有一个比较重要的字段，叫做 mblog，继续把它展开，发现它包含的正是微博的一些信息。比如 attitudes_count 赞数目、comments_count 评论数目、reposts_count 转发数目、created_at 发布时间、text 微博正文等等，得来全不费功夫，而且都是一些格式化的内容，所以我们提取信息也更加方便了。

这样我们可以请求一个接口就得到 10 条微博，而且请求的时候只需要改变 page 参数即可。这样我们只需要简单做一个循环就可以获取到所有的微博了。

实战演练

在这里我们就开始用程序来模拟这些 Ajax 请求，将马云的所有微博全部爬取下来。

首先我们定义一个方法，来获取每次请求的结果，在请求时page 是一个可变参数，所以我们将它作为方法的参数传递进来，代码如下：

from urllib.parse import urlencode
import requests
base_url = 'https://m.weibo.cn/api/container/getIndex?'
headers = {
  'Host': 'm.weibo.cn',
  'Referer': 'https://m.weibo.cn/u/2145291155',
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
  'X-Requested-With': 'XMLHttpRequest',
}
def get_page(page):
  params = {
    'display': '0',
    'retcode': '6102',
    'type': 'uid',
    'value': '2145291155',
    'containerid': '1076032145291155',
    'page': page
  }
  url = base_url + urlencode(params)
  try:
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
      return response.json()
  except requests.ConnectionError as e:
    print('Error', e.args)