python collections库 今天在看《流畅的python》的时候，在第一章就遇到了没见过的库了，很尴尬，所以百度查了一下collections库。这个collections库相当于是一个仓库，里面储存了一些常用的集合类，也就是一个集合，把一些本来需要自己定义的类整合到了一起，这样直接使用collections库就行了。其中内置的类有：namedtupledequedefaultdictOrderedDictCounternamedtuple其中namedtuple是一个工厂函数，通过它来构造一个带字段名的元组，比如说坐标，namedtuple的具名元组的实例和普通元组消耗的内存是一样多的，这是因为字段名都被存在了对应的类里面。但是这个类跟普通的对象实例比起来也要小一些的，因为 Python 是不会使用 __dict__ 存存这些实例的属性。我们都知道tuple以表可示不变集合，例如，一个点的二维坐标就可以表示成p = (1, 2)，但是我们如果只看(1,2)的话，是和很难感觉出这是坐标的。如果我们定义一个类的话，虽然可以明确的表达出来(1,2)是一个坐标，但是未免有点杀鸡用牛刀了，有点小题大做。这个时候 namedtuple就应命运而生了。from collections import namedtuple Point = namedtuple('Point', ['x', 'y']) p = Point(1, 2) print(p.x) #1 print(p.y) #2namedtuple是一个定义出来的函数，通过它来创建一个自创的tuple对象，并且规定了tuple元素的数量，而且可以使用属性而不是索引来调用tuple的某个元素，如此，我们使用namedtuple就看可以 非常方便的定义一种数据类型了，它他又tuple的不变性，并且能根据属性来调用 ，所以它的应用非常广泛，使用起来非常的方便。deque在使用list储存数据的时候，发现按照索引访问元素的时候很快，但是如果插入或删除元素的话，就很慢了。这是因为什么呢？因为list是线性存储，所以它在数据量很大的时候，插入或删除的效率都是很低的。deque是一个为了实现插入或删除操作时都很快的函数，它为了高校实现插入和删除操作的双向列表，很适合于队列和栈。deque除了实现你了list的删除和增加，它还支持appendleft()和popleft()，因为前文说过它是为了提高效果，而支持这两个函数的话就会非常高效的操作列表了。 defaultdict在使用dict的时侯，如果我们要引用的Key是不存在的话，那么程序就会抛出异常--KeyError。但是假如我们希望如果key不存在的时候，程序返回的是一个默认值，那我们就可以用defaultdict。from collections import defaultdict dd = defaultdict(lambda: 'N/A') dd['key1'] = 'abc' print(dd['key1']) #'abc' print(dd['key2']) # key2不存在，返回默认值 #'N/A'当然，我们要使用这个函数的时候，记得要在最前面定义一下如果不存在的时候返回什么默认值。CounterCounter它是一个很简单的计数器，功能还挺多，比如说统计字符出现的个数。这个是常规的方法colors = ['red', 'blue', 'red', 'green', 'blue', 'blue'] result = {} for color in colors: if result.get(color)==None: result[color]=1 else: result[color]+=1 print (result) #{'red': 2, 'blue': 3, 'green': 1} 而我们使用counter呢？from collections import Counter colors = ['red', 'blue', 'red', 'green', 'blue', 'blue'] c = Counter(colors) print (dict(c)) #{'red': 2, 'blue': 3, 'green': 1}OrderedDict如果我们想要保持字典的顺序的话，可以使用一下OrderedDict，通过OrderedDict就可以保持字典的顺序。import collections print "Regular dictionary" d={} d['a']='A' d['b']='B' d['c']='C' for k,v in d.items(): print k,v print "\nOrder dictionary" d1 = collections.OrderedDict() d1['a'] = 'A' d1['b'] = 'B' d1['c'] = 'C' d1['1'] = '1' d1['2'] = '2' for k,v in d1.items(): print k,v好了，以上就是一些collections常出现的一些集合类了，其余的还是需要自己查询得，推荐可以通过.py文件来进行阅读。如果有什么不懂的可以在评论区留言，我会在看到的时候进行回复的。推荐阅读官方文档--->https://docs.python.org/zh-cn/3/library/collections.html版权:本文由Datehoer原创,著作权归作者所有。商业转载请联系作者获得授权，非商业转载请保留以上作者信息和原文链接本文链接:https://zjzdmc.top/jsfx/73.html。

python如何根据条件断句 div class="mainbody"> python该如何断句呢？根据自己的需要，当然其实大部分人只是在爬取数据的时候用到了断句，比如说我之前的那篇 python爬取我的世界id ，就用到了，不过是断的行。更多的其实是练习，下面我们进行一下python断句的联系。需求--将提供的文本进行断句，并储存到excel中。 python断句 From1111To aaa For 444445555 0n dadd From 2.222To bbbb For 66667777 Oneeee From 333To cccc For88889.99 on ffff 上面就是我们的内容了我们想把他们进行分割，那么就需要使用到re这个正则库，接着我们想要储存到excel中，则需要使用openpyx这个库。首先还是先导入数据 import re from openpyxl import load_workbook 然后呢，我们既然要断句，那么就需要储存一下关键字，从哪里开始断。 keywords = ["From", "To", "For", "On"] 接着其实就是需要处理一下数据了，我们这里使用的是re，然后把它储存在一个函数里 def symbol(text): return [item.strip() for item in re.split('|'.join(keywords), text) if item.strip()!=''] 然后再进行调用判断数据即可，最后再写入进去。这里我们就实情模拟一下，将需要断句的文字放到了一个excel文件里，接下来直接上完整的代码。 import re from openpyxl import load_workbook def symbol(text): return [item.strip() for item in re.split('|'.join(keywords), text) if item.strip()!=''] keywords = ["From", "To", "For", "On"] filename = 'lizi.xlsx' wb = load_workbook(filename=filename) ws = wb['Sheet1'] for cell in ws[1:1]: text = cell.value symbols = symbol(text) for i, s in enumerate(symbols): ws[f'{cell.column_letter}{i+2}'] = s wb.save(filename)这样，简简单单的就把句子给拆开了，并且储存在了我们想要的文件里。如果有什么不懂的可以在评论区留言，我会在看到的第一时间回复的。

Python目前最好的就业方向 相信各位学习python之后，都想明白一件事，那就是python以后可以做什么呢，也就是未来可以就业的岗位有哪些？既然想知道就业，那么我们不妨来看一下python可以做什么。目前其实最火爆的应该就是人工智能了，我犹记得当年普天盖的python人工智能课程，不过这个说实在的我并没有涉猎，也就是知道python人工智能，然后了解了一下pythongta5自动驾驶，一个老外写的，很不错！然后再就是爬虫了，爬虫虽然貌似所有编程语言都可以做，但是不得不说python做爬虫很舒服。下面举几个我写的例子：python爬取我的世界idpython爬取知乎盐选文章内容python爬取知乎盐选文章目录上的所有文章python爬取目标标题和链接上面这四个是很简单的小例子吧，很适合爬虫初学者练习，如果把爬虫熟练掌握的话，可以考虑的岗位有爬虫工程师以及爬虫主管数据分析，这个相信大家都不陌生吧，之前大数据什么的，python分析大数据也在当时是一个火爆热门的项目，而且其实数据来源非常容易，毕竟会爬虫。这便有了数据来源，运用这些数据以及相应的爬虫库和excel表格，就可以进行数据分析了。web后端，没听错，学习python还可以走web后端的道路。因为web后端工作岗位是很多的，所以想多来说是好找工作的，并且他的学成周期短，只需要把python的基础知识学会了，然后将Django框架和flask框架吃透，再补充一些简单的html知识，做一些项目便可以投简历了。人工智能，这个前文有提到过，但是实际上不推荐新手去做的，基本上没有在python沉积个5.6年，最好不要去尝试，当然，天才除外。说起人工智能，就不得不说其谷歌的阿尔法狗，非常厉害的人工智能，通过它围棋就能看出来了，哈哈。 不过学习人工智能，其实是我当时的梦想，因为之前吃鸡爆火，然后呢，大家都知道一个外国的团队，宣布了制作了一款玩家只需要打开游戏就能自己吃的游戏辅助工具，所以我当时其实也想着做一个类似的，哈哈，初生牛犊不怕虎。如果有什么不懂的可以在评论区留言，我会在看到的第一时间回复的。12.5   简单的更新一下吧，今天在Github上发现了一个很牛逼的项目，叫做python-100-Days学名叫： Python - 100天从新手到大师 ，作者是骆昊，一个大佬，我看他做的打赏得到的钱全部都捐出去了，值得我们学习。简单说下这个项目吧，就是使得小白通过100天的项目联系，来进行系统的学习，可以说是一个小白成长课。并且其实说白了，前面说的内容都是纸上谈兵，因为我也没开始工作，也不知道实际上学python可以做些什么，而这个项目可以填补一下知识上的空白。简单的说一下为什么要学习python吧 学习曲线低，非专业人士也能上手 开源系统，拥有强大的生态圈 解释型语言，完美的平台可移植性 动态类型语言，支持面向对象和函数式编程 代码规范程度高，可读性强 这就是python的优点，其实我觉得好多人学python还是因为广告的。我记得我当时接触python是因为都在说python是最简单的语言，然后再加上功能强大，所以才上手学习，然后没想到确实上手很容易。接着说一下发展路线，上面的真的是写的狗屁不通，哈哈。 后端开发 - Python / Java / Go / PHP DevOps - Python / Shell / Ruby 数据采集 - Python / C++ / Java 量化交易 - Python / C++ / R 数据科学 - Python / R / Julia / Matlab 机器学习 - Python / R / C++ / Julia 自动化测试 - Python / Shell 这就是基本上所有可以走的路线了，可以看到，其实大部分的路线我们python都能走，而别的语言大多数只能走几种。从这里就能看到上面所说的内容所言不虚了。作为一名Python开发者，根据个人的喜好和职业规划，可以选择的就业领域也非常多。 Python后端开发工程师（服务器、云平台、数据接口） Python运维工程师（自动化运维、SRE、DevOps） Python数据分析师（数据分析、商业智能、数字化运营） Python数据挖掘工程师（机器学习、深度学习、算法专家） Python爬虫工程师 Python测试工程师（自动化测试、测试开发） 说明 ：目前， 数据分析是一个非常热门的方向 ，因为不管是互联网行业还是传统行业都已经积累了大量的数据，现在需要的就是从这些数据中提取有价值的信息，以便打造更好的产品或者为将来的决策提供支持。然后再转载一下大佬的给初学者的建议。 Make English as your working language. （让英语成为你的工作语言） Practice makes perfect. （熟能生巧） All experience comes from mistakes. （所有的经验都源于你犯过的错误） Don't be one of the leeches. （不要当伸手党） Either outstanding or out. （要么出众，要么出局） 让我们一起学习，一起进步，还是那句话，如果有什么不懂的欢迎询问。

python 爬取我的世界id，我的世界中英文id 其实如果是一直关注本站的读者会知道，其实这里最早只是一个做我的世界服务器的官网，虽然说我现在服务器也在开着，但是当时不知道哪根经抽了，就把这个当成博客了，不过其实还是关注着我的世界的。先说一下任务，目前呢在网络上搜索我的世界id的话，会发现ne那个搜到的大多都是好多年以前的内容了，比如说那张我记的好久好久好久以前就存在的id对照图。 就是这张，影响深刻，但是实际上随着年份的增加，我的世界的版本更新还是蛮快的，一些新的内容在这上面就找不到了，所以就萌生了一个做id对照的网站的想法，但是数据从哪来呢？答案当然是百度，通过百度的查询我发现了一个老外的id站做的很不错，所以呢，目标就设定为他，使用python爬虫将我需要的数据爬取下来。不过其实在最终目标确定前，还有一个其他的目标也可以操作一下，不过那个内容相对较落后了，所以还是选择了第一个选定的目标。我们先看一下该网站，分析一下。很简单的构造，就是中间内容然后上下都是些介绍之类的，然后我们发现他这个一个页面显示一点点内容，获取所有的内容是需要翻页的，但是我搜索了半天确实没找到，应该是写在了js文件里，因为我看到他调用了好多js文件，不过我并没有去找里面有没有跳转链接，当时其实想是，你不论怎么说其实内容也就那么一点，大不了我直接把每个链接保存下来嘛。结果翻页的时候看了一下，发现他的链接很简单，就是把之前那一页加上了/？加上了数字，代表页码，很舒服。直接通过for循环就可以爬取每个链接了，然后看了一下一共8页。所以循环从rang(2,9)为什么从2开始呢，是因为他第一页没写页码，相对简单的方法就是循环还是rang(1,9)然后呢，我们设置个判断，如果是1的话链接设置为首页就行了，不过我当时懒，直接复制出来了一份，先把第一页爬出来再循环其他的页面。import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36' } url = "https://minecraftitemids.com/" # 2 3 4 5 6 7 8 r = requests.get(url, headers=headers) neirong = r.text soup = BeautifulSoup(neirong, "lxml") wenzi = soup.table.get_text() length = len(wenzi) with open("mclist.txt", 'a', encoding='utf-8') as file_object: n = 1 for i in range(0, length, 20): file_object.write((wenzi[i:i+20])) if n == 10: file_object.write('\n') n = 0 n += 1 for a in range(2, 9): newurl = url+str(a) r = requests.get(newurl, headers=headers) neirong = r.text soup = BeautifulSoup(neirong, "lxml") wenzi = soup.table.get_text() length = len(wenzi) with open("mclist.txt", 'a', encoding='utf-8') as file_object: n = 1 for i in range(0, length, 20): file_object.write((wenzi[i:i + 20])) if n == 10: file_object.write('\n') n = 0 n += 1 print("爬取完成")可以看到我们利用了两个库，requests大家都清楚，BeautifulSoup这个库也是一个非常实用的库，看过前面文章的都知道，我写的那个爬取知乎文章的爬虫也利用了这个库，比较适合抓取内容。知乎爬取全部内容   知乎爬取单页内容感兴趣的可以了解一下，通俗易懂，哈哈。然后呢，这个其实也就没啥好讲的了，也就是最后写入文件的地方可以说一下啊，为什么要加一个循环，这是因为如果不加循环的话，他写入的内容是一行文字，当然如果你用记事本看的话，开个自动分行就好了，但是我想直接写入的内容就是分好的，所以就加了个循环，每循环10次换一下行，结果还可以吧就是有点乱，需要调整一下。好了，文章就到这里了，如果有什么不懂的请在评论区留言，我会在看到的第一时间进行回复的。

python爬虫入门 因为最近在看爬虫嘛，所以就一直在百度搜关于爬虫的相关问题，然后就发现了原来有许多人都在问爬虫是要怎么学的，所以呢，我就感觉到了，可能大家缺少一份爬虫教程。 所以我准备整一个简简单单的入门小教程，虽然我会的也不多，但是教大家爬取一个小页面的内容还是可以的。 首先呢，说一下学习的方法 第一，你需要有一个小目标，比如说我当时的小目标其实是爬取知乎的文章，不知道你的小目标是什么呢？ 第二，最好有一定的基础，能明白大体的语法，别到时候连import和from都不明白。 第三，边学边做，这点很重要，因为有的东西就是这样，我眼睛看会了但是我的脑子并不会，而你边学边做的话，遇到问题可以回去看或者百度查，要不到时候会很难受的。 第四，学会利用GitHub，这里面有许多关于python的优秀库，很适合大家使用。话不多说，切入正题。 不过还是要说一句题外话，其实这个入门我写过一篇类似的，叫爬虫基础，欢迎大家阅读。 首先呢，库很推荐使用的是requests_html当然使用requests也可以，这两个应该是现在最流行的了吧。 安装也是老生常谈的内容了。pip install requests主要说一下requests吧，安装就是这么简简单单。然后我们直接import requests就可以把库导入了。具体的一些获取方法就不在这里详谈了，百度有很多，当然我推荐的是权威文档—->Requests快速上手 一般来说，这些文档都是很实用的，我以前比较爱看书，现在其实比较爱看文档了。 然后嘞，我们既然知道了这个库，也明白了要去学习该如何使用了，接下来要做什么呢？接下来需要学习一下html，哈哈真的，不是在逗你哦，因为你爬取的毕竟是网页，而网页是通过html+css+JavaScript来写的，不需要你明白他怎么写，只需要懂得这是干啥的就行了。 之后学习一下re正则，这个对爬虫来说真的很实用，比如说我的那篇文章，爬取知乎盐选，就是利用正则抓取下一页的跳转链接的。正则其实入门的话没必要怎么学，只需要知道怎么抓取指定的值就好了，之后再慢慢学下去。 然后再接下来学习scrapy，来进行更进一步的爬取，大体的思路也就是这些，上手其实是和容易的，并且爬一些简单的站也是非常容易地，但是真正要爬一些有东西的网站还是很难得，另外就是没事看看别人的代码，对自己有很大的帮助，别人写的狗屁不通，你就要学习一下如何写的不像他那样，别人写的精益求精，你就要学习一下如何写的这么好，别人好的思路你学习，别人查的方法你反思，不断学习，勇攀高峰！ 如果有什么不懂的欢迎在评论区留言，我会在看到的时候进行回复。

python 爬取知乎盐选全部内容 没想到进阶版来的这么快，在发布了python爬取知乎盐选文章内容后，没想到居然这么快就要更新新的内容了。在下午思考第一篇python爬取知乎盐选文章内容的时候，其实就把自动爬取目录内的其他内容的方法想出来了，但是本来没想这么快更新的，哈哈。不过思来想去还是发出来吧，毕竟要不哪天就忘了。from DecryptLogin import login from bs4 import BeautifulSoup import re import base64 lg = login.Login() _, loginstauts = lg.zhihu(username='', password='', mode='pc') headers = { 'user-agent': "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36" } url1 = "https://www.zhihu.com/market/paid_column/1178733193687175168/section/1178742737682350080" url2 = "https://www.zhihu.com/market/paid_column/1178733193687175168/section/1178742849583083520" # 获取链接 r = loginstauts.get(url1, headers=headers) wenzi = r.text soup = BeautifulSoup(wenzi, 'lxml') lianjie = soup.textarea lianjie = str(lianjie) pattern = re.compile('"next_section":{"url":"(.+)","is_end":') #正则匹配链接所在的文字 result = pattern.findall(lianjie) texts = soup.find_all('p') for text in texts: with open("yanxuan.txt", 'a', encoding='utf-8') as file_object: file_object.write(text.get_text()+" ") list = result.pop(0) print(list) for link in range(0, 9): r2 = loginstauts.get(list, headers=headers) wenzi = r2.text soup = BeautifulSoup(wenzi, 'lxml') lianjie = soup.textarea lianjie = str(lianjie) pattern = re.compile('"next_section":{"url":"(.+)","is_end":') # 正则匹配链接所在的文字 result = pattern.findall(lianjie) list = result.pop(0) texts = soup.find_all('p') for text in texts: with open("yanxuan.txt", 'a', encoding='utf-8') as file_object: file_object.write(text.get_text()+" ") # print(text.get_text()) # print(list) # r2 = loginstauts.get(list, headers=headers) # wenzi2 = r2.text # soup2 = BeautifulSoup(wenzi2, 'lxml')直接上一手代码，讲一下思路，首先先是获取文本内容，通过前面的文章，我们知道 了如何获取文本内容，并且明白了该怎么获取整个页面的html内容。本来最初的想法是把目录里的每一个链接都复制下来，然后通过遍历来获取链接，因为我最初是真的没发现下一篇的链接是通过哪里获得的。然后今天下午的时候，认认真真（闲的蛋疼）的看了一下知乎盐选文章内容的源代码，发现原来跳转链接在他的底部textarea里，并且还是在里面的一个next_section里，让我一顿好找，不过找到就是最好的啦。找到之后，我们只需要获取到跳转的链接即可了，只需要使用正则进行条件筛选就可以了。pattern = re.compile('"next_section":{"url":"(.+)","is_end":') # 正则匹配链接所在的文字 result = pattern.findall(lianjie)也就是这一段代码，我们对获取的内容进行匹配筛选，即可获得链接了，不过在获得之后，还是会出现一个问题，就是获取的内容会储存在列表里，我们还需要把列表的内容读取出来才能使用。本来其实最早我的思路是使用循环，然后把获取到的链接储存到同一个列表里，然后利用循环读取即可，但是因为当时脑子可能抽了，把变量的值给改错了，前面虽然该出来了，但是后面的都没改，就会得到一个很尴尬的结果，就是所有的结果都是同一个，然后我就换了种方法，没想到刚换就找到了问题所在。不过也懒得该回去了。通过列表的方法pop来对列表内容进行删除，并且将删除返回的值进行保存，然后当作一个数据进行储存。也就是这一段的内容了for link in range(0, 9): r2 = loginstauts.get(list, headers=headers) wenzi = r2.text soup = BeautifulSoup(wenzi, 'lxml') lianjie = soup.textarea lianjie = str(lianjie) pattern = re.compile('"next_section":{"url":"(.+)","is_end":') # 正则匹配链接所在的文字 result = pattern.findall(lianjie) list = result.pop(0) texts = soup.find_all('p') for text in texts: with open("yanxuan.txt", 'a', encoding='utf-8') as file_object: file_object.write(text.get_text()+" ") # print(text.get_text())其他的也就没有什么难度的东西了，不过如果有什么疑问，可以在评论区留下你的疑惑，我会在看到的第一时间进行回复的。 

python 爬取知乎盐选文章内容 看过前面文章的朋友，肯定都知道我最近在看python这一块的内容，然后既然看了python那么就不得不看一下python最火爆的一个功能，爬虫。然后呢，最近又正好看了几篇知乎盐选的文章，所以就想试试手，把文章内容爬取下来，但是一开始还好说。直接用requests_html就能爬下来，但是后免得内容就需要开会员才能爬了，但是主要就是我开了会员呀。所以就找了一下关于python爬虫模拟登录的代码，发现大部分的都是比较麻烦的，而我又比较懒，并且昨天还发烧了，所以就找了一个简单的方法，使用别人的开源库。DecryptLogin这个库是一个开源的模拟登陆的库，目前支持许多的网站模拟登陆了，所以就决定使用这个进行测试。from DecryptLogin import login首先呢先把库导入进去，然后通过内置的函数进行模拟登陆。lg = login.Login() _, loginstauts = lg.zhihu(username='', password='', mode='pc')然后模拟登录，发现可行，于是就决定使用这个库来进行模拟登陆了。但是没想到我当时以为离成功就差一步的时候，现实给我来了一记头槌，使用xpath一直获取不到内容，然后库给的示例发现并不是很能看懂，顶多看个意思，然后自己尝试发现并不可行，不是这个错误就是那个错误。之后呢，本来以为要在这里卡很久的我，突然在下午的时候想到了去看这个库的代码，看看里面都调用了什么内容。import requests没想到调用了requests库，这下好办了，直接使用requests库的方法就行了。headers = { 'user-agent': "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36" }这个是设置一下useragent，之后只需要请求一下数据即可url2 = "https://www.zhihu.com/market/paid_column/1178733193687175168/section/1178742849583083520" r = loginstauts.get(url2, headers=headers) wenzi = r.text之后我们直接.text就能获取html页面的所有内容了，不过很明显，带着各类html标签的内容不是我们想要的，我一开始都是用的requests_html，本来还以为requests有xpath功能呢，没想到并没有，一开始看都推荐的是from lxml import etree这个，但是我比较想找一个简单的，所以百度一查发现了from bs4 import BeautifulSoup这个，很nice。soup = BeautifulSoup(wenzi, 'lxml', from_encoding='utf8') texts = soup.find_all('p') for text in texts: print(text.get_text())这样我们就能读取所有的内容了，不过其实当时还遇到了一个问题，就是使用find_all这个方法之后使用.string属性的话，获取到的内容为none百度查过大部分人说是因为有br标签，但是自己也看过并没有，所以并没有找到什么原因，后来在csdn的一篇文章里的评论看到了一个大佬说的.get_text()方法，换成这个没想到就出结果了，难以想象。其实看代码只是几行，但是确实是心血，哈哈。毕竟中途也遇到了许多的问题，不过幸好大部分都解决了，没解决的也都有替换的方法。不过说真的，想要学习编程还是需要有一个好的环境，毕竟在学习的路上会遇到很多的问题，如果百度没查到，那么就需要去查论坛，去提问，去询问了。如果有什么问题可以在评论区评论一下，我会在看到的第一时间进行回复的。

python 爬虫之获取标题和链接 说一件seoer都明白的事情，就是去别的论坛发文章，先发一些有技术性的文章，之后再发自己网站的链接什么的，最近在oschina论坛里发了一些文章，然后呢，今天主要是没有什么内容发布了，所以准备发个小代码。爬取一下我的oschina论坛内的链接和标题，非常简单，非常容易。先上代码from requests_html import HTMLSession session = HTMLSession() url = "https://my.oschina.net/u/4798232" r = session.get(url) for i in range(1, 12): i = str(i) urlxpath = '//*[@id="newestBlogList"]/div[1]/div['+i+']/div/a' bt = r.html.xpath(urlxpath, first=True).text c = urlxpath+'/@href' link = r.html.xpath(c, first=True) a = "原" if bt.find(a) == -1: print(bt) print(link) else: print(bt.replace(a, "")) print(link)首先呢，这个是通过xpath来进行操作的，具体如何复制xpath可以看我的https://zjzdmc.top/jsfx/47.html这篇文章，里面有动图。然后导入什么库啥的，都是老生常谈的了，在a标签中，你复制的xpath为//*[@id="newestBlogList"]/div[1]/div['+i+']/div/a这个，然后呢，我们获取标题的话，加上.text这个属性，就会变成文字了，而其中的文字我们可以看f12内的内容，发现其实只有标题，而我们如果需要连接的话，只需要加上这个/@href即可获取链接了。不过目前其实没有找到更好的获取所有文字序列的方法，所以我们直接看最前面的文章id和最后一篇文章的id，记录下来即可。之后我们只需要遍历一下1-12的值即可，然后给字符串添加变量的方法为字符串+变量+字符串即可'//*[@id="newestBlogList"]/div[1]/div['+i+']/div/a'如文字所示，即可获取所有文章的标题了，然后给之前定义的变量urlxpath后面添加上/@href后，即可获取改xpath内的链接了，之后输出即可了。不过其实一开始确实遇到了些小问题，比如说我获取xpath的时候发现有的文章的xpath，里面的div多了一个[1]，多了一个参数，让我非常困惑，因为就这一个有这个参数，但是后来我尝试了一下，没有添加这个[1]发现还是可以获取该文章的内容，所以其实遇到问题还是要自己尝试的。之后还有一个小问题，就是之前获取标题的时候，后面需要通过.text变成文字，而获取链接的时候，并不需要的，直接就能输出那个值了。link = r.html.xpath(c, first=True)所以我后面的link并没有加.text了。可以通过json来将标题和链接保存在文件内，亦或者通过open、write来写入到txt文件内，然后可以通过读取来获取所有的链接，之后查询一下文章内的内容的xpath就可以获取所有的文章内容了。进阶的代码等明天写出来再加，如果有什么不懂的可以在评论区留言，我会在看到的时候进行回复。

爬虫基础解析--了解爬虫基础 这篇文章讲一下爬虫的基础，今天刚学到的，现学现卖啦！爬虫，顾名思义，就是爬来爬去的虫子，但是它并不是在现实中爬来爬去，而是在网络中爬来爬去。它通过模拟人类浏览的动作在各大网站进行溜达，如果遇到喜欢的他就把这个内容给记录下来，储存到本地或者别的地方。爬虫：就是把对网页进行爬取然后把其中需要的数据提取出来，之后进行保存的一些列自动化操作，而提取信息最常用的方法就是正则表达式。正则表达式，也称为正则表达式，通常用于检索和替换符合特定模式(规则)的文本。正则表达式是字符串运算的逻辑公式，即“正则字符串”是由预先定义的一些特定字符和这些特定字符的组合构成的。这个“常规字符串”用于表示字符串的过滤逻辑。不过现在根据需求不同，也有一些其他的爬取方法，比如说根据网页的属性进行爬取，css选择器，xpath等。爬虫主要是代替手工来提取数据，在爬取过程中可以进行各种异常处理，错误重试等等一系列操作，保障爬取的高效进行，不过其实之所以爬虫高效是因为你人类终究会烦躁，遇到错误等等还有可能需要现查，而你爬虫只需要提前设置好了，遇到各个问题就会有相应的解决方法提供。爬虫爬取的数据大多数是html代码，也有的是json数据，亦或者是二进制数据(音频，图片等)也有css，js数据。只要网页是基于http协议和https协议的，爬虫就可以进行爬取。不过现在有的网站为了防止爬取或者为了把网页做的更好，会将网页通过JavaScript渲染出来，而这就加大了爬虫爬取的难度。<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document</title> </head> <body> <h1>示例</h1> <script src="js/script.js" type="text/javascript"></script> </body> </html>类似于上面的内容，只有简单的html框架，详细的内容都是通过js调用来进行渲染的，而我们爬取的话源代码与浏览器显示的是不同的，http请求库得到的源代码跟浏览器的源代码不一样，而这就需要更换其他方法来进行爬取了，通过分析后台或使用selenium等库来进行模拟爬取。毕竟你有了爬虫，就会有反爬虫的技术，不断的切磋，不断地发展，到底是道高一尺还是魔高一丈呢，还是需要看爬取者和网站管理员的技术谁高谁低了。

安装Docker Desktop报错WSL 2 installation is incomplete 在看《python3网络爬虫开发实战》的时候，安装开发环境时，遇到了一个小问题，但是呢百度上面的回答大多不怎么样，不过没想到自己随便一试就把解决办法试出来了。安装Docker Desktop时，出现了   这个报错，具体原因是因为windows系统下的Linux内核的版本有点小低，我们只需要单击那个蓝色的链接，下载对应的linux内核更新包，然后更新一下即可！蓝色链接:单击即可，然后按照网页内容进行操作就行了。

python3网络爬虫开发实战pdf 看过前面的文章就能知道，我最近在学习爬虫，虽然说是这个没啥用，以后用处不大，但是确实有点想要学一下。然后呢，咨询了一些大牛，并且参考了许多的回答，感觉《 python3网络爬虫开发实战 》挺不错的，但是呢价格确实有点小贵，于是准备在网上找一下pdf版先看看，如果可以的话再买实体书，毕竟不是二三十的书，但是呢，找到的资源全部都是需要付费购买的，感觉确实有点搞笑啊，拿别人的成果来进行付费购买，属实牛皮！于是呢，我就准备放一下免费资源给大家，不过呢，看一下大体内容如果觉得可以的话还是请支持一下正版！我现在已经买了，你呢？ 点击图片获得下载链接！

python 爬虫入门之requests-html 其实本来应该早一点发的，但是我用织梦后台编辑文章的时候，不小心点了网页的x号，于是乎，内容白写了，然后我又开始重新写了。requests库，是一个第三方的Python库，用来模拟发送HTTP请求。它通常用于爬虫或接口的测试。与urllib等其他的系统库相比，虽然他们的功能相似，但是requests相对来说更简单、方便和高效。首先我们先把这个requests-html安装一下进入运行框然后输入 pip3 install requests-html 即可安装成功，在之后我们把该库导入即可 import requests_html 接下来准备了一个小例子给大家，本来其实每句话都有分析的，但是由于是第二遍写，就不那么麻烦了 import requests_html #导入requests-html库 session = requests_html.HTMLSession() #创建一个session的变量，用来取代requests_html.HTMLSession()要不之后字太多而纸样只需要操作session res = session.get("https://zjzdmc.top/") #get一下网址，这里我们用博客主页做演示 res.encoding = "utf-8" #获取的编码格式 print(res.text) #输出获取的内容 最简单的一种方法。之后我们来介绍一下其他的方法，也就是requests-html的进阶。获取链接： print(res.html.absolute_links) 这个就是获取链接的方式，绝对路径，这样就会直接获取完整的链接'https://zjzdmc.top/wdsj/'而如果直接获取链接呢？ print(res.html.links) '/wdsj/2020/1111/42.html'则会出现上面这样不完整的链接，各有各的用处吧，不过大多数还是要加一下绝对路径的链接的。XPATH：这个的抓取我们看一下动图获取的内容为/html/body/article这个 print(res.html.xpath("/html/body/article", first=True).text) 这个就是把该 xpath代表的内容输出出来的代码。而xpath有4个参数： selector，要用的XPATH选择器； clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）; first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表； _encoding，编码格式。  然后我们还有html+css获取的方法html+css：还是以博客的主页为例，我们要获取头部标签内的内容，而我们div里有一个class为header的标签，我们就获取他的内容吧。hc = res.html.find("div.header", first=True) print(hc.text)只要写出该内容的标签传递关系即可获取内容主页 技术分享 日常学习 法制专栏 我的世界 关于我 检索标题 智能模糊 搜索 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https'){ bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else{ bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })(); (function(){ var src = "https://jspassport.ssl.qhimg.com/11.0.1.js?d182b3f28525f2db83acfaaf6e696dba"; document.write('<script src="' + src + '" id="sozz"><\/script>'); })(); 这就是具体的获取内容了，相应的，具体你需要什么内容需要通过属性来进行判断。print(hc.search("主{}")[0])比如说这个，这个就是查询内容了，搜索之前获取的div.header里有没有以主为开头的内容，然后返回获取的值。再比如说还有许多的方法，就不一一在此列出了，其余的我们且听下回分晓！如果有什么问题可以发送到下面的评论区，我会在看到的时候进行解答。