Datehoer的博客
我本将心向明月,奈何明月照沟渠
Datehoer的博客

当前位置:主页 > 日常学习 > python 爬取知乎盐选文章内容

python 爬取知乎盐选文章内容

浏览: 作者:Datehoer 发布日期:2020-11-27 16:49:04 来源: 原创

看过前面文章的朋友,肯定都知道我最近在看python这一块的内容,然后既然看了python那么就不得不看一下python最火爆的一个功能,爬虫。
然后呢,最近又正好看了几篇知乎盐选的文章,所以就想试试手,把文章内容爬取下来,但是一开始还好说。
直接用requests_html就能爬下来,但是后免得内容就需要开会员才能爬了,但是主要就是我开了会员呀。所以就找了一下关于python爬虫模拟登录的代码,发现大部分的都是比较麻烦的,而我又比较懒,并且昨天还发烧了,所以就找了一个简单的方法,使用别人的开源库。DecryptLogin这个库是一个开源的模拟登陆的库,目前支持许多的网站模拟登陆了,所以就决定使用这个进行测试。
from DecryptLogin import login
首先呢先把库导入进去,然后通过内置的函数进行模拟登陆。
lg = login.Login()
_, loginstauts = lg.zhihu(username='', password='', mode='pc')
然后模拟登录,发现可行,于是就决定使用这个库来进行模拟登陆了。
但是没想到我当时以为离成功就差一步的时候,现实给我来了一记头槌,使用xpath一直获取不到内容,然后库给的示例发现并不是很能看懂,顶多看个意思,然后自己尝试发现并不可行,不是这个错误就是那个错误。
之后呢,本来以为要在这里卡很久的我,突然在下午的时候想到了去看这个库的代码,看看里面都调用了什么内容。
import requests
没想到调用了requests库,这下好办了,直接使用requests库的方法就行了。

headers = {
    'user-agent': "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"
}

这个是设置一下useragent,之后只需要请求一下数据即可
url2 = "https://www.zhihu.com/market/paid_column/1178733193687175168/section/1178742849583083520"
r = loginstauts.get(url2, headers=headers)
wenzi = r.text
之后我们直接.text就能获取html页面的所有内容了,不过很明显,带着各类html标签的内容不是我们想要的,我一开始都是用的requests_html,本来还以为requests有xpath功能呢,没想到并没有,一开始看都推荐的是
from lxml import etree这个,但是我比较想找一个简单的,所以百度一查发现了
from bs4 import BeautifulSoup这个,很nice。

soup = BeautifulSoup(wenzi, 'lxml', from_encoding='utf8')
texts = soup.find_all('p')
for text in texts:
    print(text.get_text())

这样我们就能读取所有的内容了,不过其实当时还遇到了一个问题,就是使用find_all这个方法之后使用.string属性的话,获取到的内容为none百度查过大部分人说是因为有br标签,但是自己也看过并没有,所以并没有找到什么原因,后来在csdn的一篇文章里的评论看到了一个大佬说的.get_text()方法,换成这个没想到就出结果了,难以想象。

其实看代码只是几行,但是确实是心血,哈哈。
毕竟中途也遇到了许多的问题,不过幸好大部分都解决了,没解决的也都有替换的方法。不过说真的,想要学习编程还是需要有一个好的环境,毕竟在学习的路上会遇到很多的问题,如果百度没查到,那么就需要去查论坛,去提问,去询问了。
如果有什么问题可以在评论区评论一下,我会在看到的第一时间进行回复的。


版权:本文由Datehoer原创,著作权归作者所有。商业转载请联系作者获得授权,非商业转载请保留以上作者信息和原文链接本文链接:https://zjzdmc.top/rcxx/63.html。

文章推荐

热门标签

返回顶部
下面为相关推荐
说点什么吧
  • 全部评论(0