网站的深度优先和广度优先是什么意思? 深度优先和广度优先是我在学习python爬虫的时候遇到的，其实这个主要是叫做深度优先遍历以及广度优先遍历。深度优先遍历简称DFS（Depth First Search），广度优先遍历简称BFS（Breadth First Search）其实说白了，深度对于网站来说就是很深的文章，比如说我一个链接https://a/a/a/a/a/a.html，这就代表很深了，我们深度优先就是先遍历一个线，从这条线一直遍历到最后再遍历其余的线。而广度呢？这个则是类似于平面，我们文章都是写在了https:/a/a/a.html,https:/a/a/b.html,https:/a/a/c.html类似于这样，不对，其实也不能这么说，广度优先其实就是先遍历这一层的，然后再进行下一层的。而深度优先就是先到这一个的底部再回去重新到底部。当然，其实也类似于我一个是从头一直走到尾然后走不下去了，再换条路走，而广度优先就是我先把同一水平的地方走一遍然后再下一层。当然也可以想成我在一个30层的高楼里，我从30楼1号走到29楼1号一直这么走下去，然后再走30楼2号。而广度则是30楼1号，30楼2号这么走。当然具体还是要看个人的喜好，以及数据的类型了。

python 怎么设置一段代码一直循环通过for循环和while循环来实现 其实我觉得一般写代码的人都应该是有一点点基础的，但是后来发现我想错了，其实好多人都是没基础的。。今天看到一位兄弟问python代码怎么能一直循环下去。import os,time #2 class Ad: def __init__(self,*args): self.words = [*args] def meu(self): for i in self.words: os.system('clear') print(i) time.sleep(1) my = Ad('1.小米 永远相信美好的事情即将发生','2.路虎 与其原地回忆惊天动地,不如出发再次经历','3.奥迪A6 别人看到你的成就,我们看到你的奋斗','4.农夫山泉 农夫山泉有点甜','5.鸿星尔克 你的能量超乎你想像') my.meu()这个兄弟其实是明白要用while循环的，但是其实for循环也是可以一直循环下去的。在别的语言中，for循环做无线循环是很简单的，但是其实在python中如果没有做研究应该是不会的。先简单说一下while循环，非常简单。while Ture: my.menu()就可以一直执行下去了。然后for循环呢？这里我们可以依赖一个函数库，itertools模块的cycle函数import time from itertools import cycle cycle_iter = cycle([100, 200, 300]) for item in cycle_iter: print(item) time.sleep(1)或者如果只是自己写的话，还是非常麻烦的。首先其实可能会有许多人想到我们直接修改for i in range(1,2)中的i就行了呗。for i in range(1,4): print(i) i=i-1但是实际上是不可以的，这是因为我们虽然看这个这个变量是i但实际上跟我们后面的i是不同的，for里的i是在循环开始就已经设置好了的，是不会发生改变的。那就有人会问了，既然如此我们应该怎么做呢？不是说可以写无限循环么。我们可以将in 后面的范围设置成一个可以变的量，比如说一个数组。当然可以有其他的类型，我就是举一个简单的例子。list = [0] for i in list: print(i) list.append(i+1)通过改变list的长度，我们就可以通过for循环来实现无限循环了。

python 查ip获取地址 ipv4 ipv6免费查询接口 各位在日常学习中，大多数人会出于一时冲动等等，在获取一个人的ip后会很想知道他的地址，看看他到底是何方神圣。今天简单写一个python爬虫，通过ip来获取位置。当然肯定不是具体的位置，具体的位置是很难查到的。可以通过ipv4或者ipv6地址来获取。http://ip-api.com/json/http://ip.ws.126.net/ipquery?ip=主要利用的就是这两个网址了，通过网址+ip地址来获取我们想要的信息，这个就是我们的接口位置了。然后其实可以知道里面的信息是在pre里有，或者其实也可以通过json文件来获取.import requests def ipseacher(sip): url = 'http://ip-api.com/json/' +sip params={ 'lang':'zh-CN' } try: r=requests.get(url, params=params).json() region = r.get('regionName') city=r.get('city') print (region, city) return region, city except: region ='省份' city ='市' return region, city ip = input("请输入你要查询的ip地址") ipseacher(ip)通过上面的代码就可以简单的获取到我们想要的信息了。如果有关于python之类的什么不懂的地方，可以在评论区留言我会在看到的第一时间进行回复的

解决python vscode不能使用xpath 今天发现有人问为什么他vscode写python爬虫代码的时候用不了xpath，安装了xml tool还是不能使用xpath。简单说一下这个是什么情况。首先呢，这个跟python是没有任何关系的，因为python文件最后都是通过python.exe执行py文件的，跟使用那种ide是没有任何关系的。然后呢，我们v觉得scode不能用xpath大概率是因为没有提示或者红线等等，这个问题大多是因为没有安装相应的环境，毕竟vscode不是单一的python编译器。所以其实如果出现问题应该是寻找编译器的问题，然后其实有的时候xpath并没有bs4好用.# -*- coding:UTF-8 -*- import requests from lxml import etree # 1 获取网页数据 req = requests.get("https://www.baidu.com") # 2 解析网页 html = etree.HTML(req.content,etree.HTMLParser()) # 3 通过xpath语法获取指定数据 resultIp = html.xpath('//div[@id="list"]/table/tbody/tr/td[@data-title="IP"]/text()')bs4+css选择器比xpath要简单的多，xpath还要一顿@@@ /////，bs4+css选择器只要 .  # 选完，代码写起来真是优雅多了。

python 爬代理ip 其实这个完全可以自己复制粘贴。不过说实在的，还是通过python来写爬虫比较方便一些，要不自己复制粘贴还是有点小麻烦的。代理网站:https://www.kuaidaili.com/free我们简单分析一下这个网站。首先是看一下url，看一下网站的链接，每一页都有什么区别。https://www.kuaidaili.com/free/inha/2/第一页就是我们上面的那个地址，但是可以测试发现第一页也可以用https://www.kuaidaili.com/free/inha/1/来表示，所以链接可以通过for循环来写。‘https://www.kuaidaili.com/free/inha/‘+i+’/’其中i就是我们要爬的页码了，也可以是范围，参考昨天的文章--> python爬取桌面壁纸我们先假设是一个范围吧，比如说爬1-20页。 def makelink (wantget): urllist = [] pagenum = re.findall('([0-9])' ,wantget) pagenum = list ( set(pagenum)) pagenum.sort() maxpagenum = int (pagenum.pop()) m inpagenum = int(pagenum.pop( 0)) for i in range (minpagenum ,maxpagenum +1 ): n ewurl = url+'?page=' +str(i) urllist.append(newurl) return urllist 这个是简单写的一个借鉴，我们可以通过这个来获取所有我们想要爬的链接，之后再通过循环来导入即可，当然代码是我直接复制那篇文章的，具体还是要修改的。然后代理其实要用的就是ip，端口，以及协议。可以看到我们所有的信息都是储存在data-title里的，我们可以直接用xpath来获取当前页面所有的内容，然后进行组织即可 ip_xpath ="//td[@data-title='IP']/text()" port_xpath ="//td[@data-title='PORT']/text()" type_xpath = "//td[@data-title='类型']/text()" 这里只是举个例子，具体的话还是需要自己写的，然后就简单将思路写到这里。import requests from lxml import etree import re import time h eaders = { 'User-Agent' :'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/88.0.4324.104 Safari/537.36' } u rl ='https://www.kuaidaili.com/free' r = requests.get(url) r = etree.HTML(r.content.decode( 'utf8')) ip_xpath ="//td[@data-title='IP']/text()" port_xpath = "//td[@data-title='PORT']/text()" type_xpath = "//td[@data-title='类型']/text()" i = r.xpath(ip_xpath) print ​(i)然后呢，上面的这个python爬虫代码是一个简单的小例子，具体的内容还是需要自己填充的，如果不会的话看以前一下前面的文章。

python 爬取桌面壁纸 今天下午用python写了一个爬桌面壁纸的爬虫。非常的简单，毕竟大部分的网站都没有反爬策略的。import requests from lxml import etree import re import time url = 'https://wallhaven.cc/toplist' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36' } def getmaxlistnum(): makelistnumlink = 'https://wallhaven.cc/toplist?page=2' r = requests.get(makelistnumlink, headers=headers) r = etree.HTML(r.content.decode('utf8')) list_num_xpath = '/html/body/main/div[1]/section/header/h2/text()[2]' list_num = r.xpath(list_num_xpath) list_num = list_num.pop() list_num = re.findall('([0-9]{1,4})', list_num).pop() return list_num list_num = getmaxlistnum() print('目前一共有'+list_num+'页壁纸') def writefilespng(endlink,imgname,num): count = 1 while count < 4: try: bgimg = requests.get(endlink, headers=headers, timeout=5).content break except requests.exceptions.RequestException: count += 1 time.sleep(30) with open(imgname + '.png', 'wb') as mh: mh.write(bgimg) print('已完成'+imgname+'.png') def writefilesjpg(endlink,imgname,num): count = 1 while count < 4: try: bgimg = requests.get(endlink, headers=headers, timeout=5).content break except requests.exceptions.RequestException: count += 1 time.sleep(30) with open(imgname + '.jpg', 'wb') as mh: mh.write(bgimg) print('已完成'+imgname+'.jpg') def makebgimg(url,num): backgroundimgurl_xpath = '//*[@id="thumbs"]/section/ul/li/figure/a/@href' r = requests.get(url, headers=headers) r = etree.HTML(r.content.decode('utf8')) backgroundimgurl = r.xpath(backgroundimgurl_xpath) endlink_xpath = '//*[@id="wallpaper"]/@src' for bgurl in range(len(backgroundimgurl)): everylink = backgroundimgurl.pop() r = requests.get(everylink, headers=headers) r = etree.HTML(r.content.decode('utf8')) endlink = r.xpath(endlink_xpath).pop() bgimginfo = re.findall('.*[a-z0-9]{6}.([pngjp]{3})', endlink).pop() if bgimginfo == 'png': imgname = re.findall('.*([a-z0-9]{6}).png', endlink).pop() writefilespng(endlink, imgname,num) elif bgimginfo == 'jpg': imgname = re.findall('.*([a-z0-9]{6}).jpg', endlink).pop() writefilesjpg(endlink, imgname,num) def makelink(wantget): urllist = [] pagenum = re.findall('([0-9])', wantget) pagenum = list(set(pagenum)) pagenum.sort() maxpagenum = int(pagenum.pop()) minpagenum = int(pagenum.pop(0)) for i in range(minpagenum, maxpagenum + 1): newurl = url+'?page='+str(i) urllist.append(newurl) return urllist def mainbk(): print('*'*30) print('壁纸网站:https://wallhaven.cc/toplist') print('只是爬取toplist') print('注:输入的是一个范围，如果想要单独的页码请只输入一个数字') wantget = input('请输入你想爬取的页数，如1-10代表爬取1-10页，1-1代表爬取第一页\n不要用123456这类页码表示，推荐1-2，1.2.3之类的\n请输入:') urllist = makelink(wantget) for num in range(len(urllist)): url = urllist.pop() makebgimg(url,num) mainbk()大体思路就是上面的代码了，首先是获取页码，然后通过re来进行获取一个列表，然后创建链接，接下来传入到创建图片的函数里，进行操作，目前我测试应该没什么大问题。不过可以将sleep去掉，或者修改时间少一些，不然有的时候会很急人的。关于python爬取桌面壁纸就简单说到这里，爬虫基本上会一个，其余的都会写了，大体思路都是相通的。

python 百度api提交 之前一直用的一个关于百度api提交的工具貌似不好用了，所以准备自己写一个。其实之所以感觉不好用了是因为我的站点信息里看提交都是0.其实大概率还是百度自己出了问题，不过既然都这样了，那么还是重新写一个工具吧。我们可以看百度自己的教程以及示例:2）post推送示例POST /urls?site=www.58.com&token=edk7ychrEZP9pDQD HTTP/1.1User-Agent: curl/7.12.1 Host: data.zz.baidu.com Content-Length: 83http://www.example.com/1.htmlhttp://www.example.com/2.html我们仿照一下写一个headers即可。headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36,', 'Host': 'data.zz.baidu.com', 'Content-Length':'83' }然后呢，创建一个函数来进行判断是否有链接和api导入，当然我这次写的是可以直接用的，只需要创建一个api.txt然后把api放进去，创建一个links.txt把链接放进去一个一行即可。本次主要使用了三个库，分别是requests，re，time。分别作用是提交，提取以及等待。当然其实最后的两个可以不用，但是为了效果还是加上了。具体的效果还是自己测试吧，我把代码放在这里一份放在我的GitHub一份import requests import re import time headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36,', 'Host': 'data.zz.baidu.com', 'Content-Length':'83' } print("*"*30) print('links.txt示例:\nhttps://xxxxx.html\nhttps://xxxxx.html\nhttps://xxxxx.html\nhttps://xxxxx.html') print("*"*30) print('api示例:\nhttp://data.zz.baidu.com/urls?site=xxxxxxxxxxx') push_num = 1 while push_num < 9999: if push_num == 1: answer = input("请问你是否已经将链接填入links.txt，api填入api.txt中呢，如果是则回答1\n") if answer == '1': try: with open('links.txt', 'r') as links: links = links.read() except FileNotFoundError: print("links.txt文件不存在") try: with open('api.txt', 'r') as api: api = api.read() except FileNotFoundError: print("links.txt文件不存在") def thinklink(links, api): if links == '': print("links.txt文件为空") else: if api == '': print('api.txt为空') else: try: html_result = requests.post(api, headers=headers, timeout=5, data=links).text return html_result except: return print("失败") push_result = thinklink(links, api) print('提交完成:'+push_result) surplus_push_num = re.findall('"remain":(.*),"', push_result) surplus_push_num = surplus_push_num.pop() print('剩余' + surplus_push_num + '次提交机会') else: print("请将内容填充!") time.sleep(5) break print('*'*30) new_answer = input("是否还需要提交，如果是的话请先去更改一下相应文件，如果是请输入1,如果否请输入0\n") if new_answer == '0': print("提交结束") time.sleep(5) break push_num += 1 print("现在开始第"+str(push_num)+'次提交')  好了，如果有什么不会的，可以在评论区留言，我会在看到的第一时间进行回复的。 

python 20段简单实用的代码 简单分享20段非常简单的python代码，通过他们我们可以实现一些非常简单的功能。日常非常常用的功能。1.重复元素判断def all_unique(lst): return len(lst) == len(set(lst)) x = [1,1,2,2,3,2,3,4,5,6] y = [1,2,3,4,5] all_unique(x) # False all_unique(y) # True2.内存占用的判断import sys variable = 30 print(sys.getsizeof(variable)) # 243.字节占用的判断def byte_size(string): return(len(string.encode('utf-8'))) byte_size(' ') # 4 byte_size('Hello World') # 114.输出n次字符串n = 2; s ="Programming"; print(s * n); # ProgrammingProgramming5.大写第一个字母s = "programming is awesome" print(s.title())6.去除选定内容def compact(lst): return list(filter(bool, lst)) compact([0, 1, False, 2, '', 3, 'a', 's', 34]) # [ 1, 2, 3, 'a', 's', 34 ]7.元音统计import re def count_vowels(str): return len(len(re.findall(r'[aeiou]', str, re.IGNORECASE))) count_vowels('foobar') # 3 count_vowels('gym') # 08.小写第一个字母def decapitalize(string): return str[:1].lower() + str[1:] decapitalize('FooBar') # 'fooBar' decapitalize('FooBar') # 'fooBar'9.将嵌套列表展开def spread(arg): ret = [] for i in arg: if isinstance(i, list): ret.extend(i) else: ret.append(i) return ret def deep_flatten(lst): result = [] result.extend( spread(list(map(lambda x: deep_flatten(x) if type(x) == list else x, lst)))) return result deep_flatten([1, [2], [[3], 4], 5]) # [1,2,3,4,5]10.合并字典def merge_two_dicts(a, b): c = a.copy() # make a copy of a c.update(b) # modify keys and values of a with the ones from b return c a = { 'x': 1, 'y': 2} b = { 'y': 3, 'z': 4} print(merge_two_dicts(a, b)) # {'y': 3, 'x': 1, 'z': 4}11.列表转化为字典def to_dictionary(keys, values): return dict(zip(keys, values)) keys = ["a", "b", "c"] values = [2, 3, 4] print(to_dictionary(keys, values)) # {'a': 2, 'c': 4, 'b': 3}12.枚举list = ["a", "b", "c", "d"] for index, element in enumerate(list): print("Value", element, "Index ", index, ) # ('Value', 'a', 'Index ', 0) # ('Value', 'b', 'Index ', 1) #('Value', 'c', 'Index ', 2) # ('Value', 'd', 'Index ', 3)13.设置代码执行的时间import time start_time = time.time() a = 1 b = 2 c = a + b print(c) #3 end_time = time.time() total_time = end_time - start_time print("Time: ", total_time) # ('Time: ', 1.1205673217773438e-05)14.元素频率def most_frequent(list): return max(set(list), key = list.count) list = [1,2,1,2,3,2,1,4,2] most_frequent(list)15.回文序列def palindrome(string): from re import sub s = sub('[\W_]', '', string.lower()) return s == s[::-1] palindrome('taco cat') # True16.不通过ifelse进行计算import operator action = { "+": operator.add, "-": operator.sub, "/": operator.truediv, "*": operator.mul, "**": pow } print(action['-'](50, 25)) # 2517.展开列表def spread(arg): ret = [] for i in arg: if isinstance(i, list): ret.extend(i) else: ret.append(i) return ret spread([1,2,3,[4,5,6],[7],8,9]) # [1,2,3,4,5,6,7,8,9]18.交换值def swap(a, b): return b, a a, b = -1, 14 swap(a, b) # (14, -1) spread([1,2,3,[4,5,6],[7],8,9]) # [1,2,3,4,5,6,7,8,9]19.字典默认值d = {'a': 1, 'b': 2} print(d.get('c', 3)) # 320.合并字典def merge_dictionaries(a, b) return {**a, **b} a = { 'x': 1, 'y': 2} b = { 'y': 3, 'z': 4} print(merge_dictionaries(a, b)) # {'y': 3, 'x': 1, 'z': 4}今天的内容简单说到这里，有关python的问题，欢迎评论留言。 

如何用python写一首歌? 又是普普通通的一天，没什么好写的。只好分享一下遇到的好的代码。用python写歌，当然其实就是简单的纯音乐。主要是要用到python中的wava，math，struct这三个库。代码储存在我的GitHub库中。https://github.com/datehoer/dayday/tree/main/xg主要还是要靠其中的数组来进行运算。 n=[     "4","5","3","6","2","5","1","1",     "3","4","5","3","6","2","5","1",     "5","6","5","4","5","3","6-","2","1","4","5","3",     "6","6-","2","2","5","6-","1","0" ]

python 爬取笔趣阁小说 今天闲的无聊，逛了逛论坛，发现好多以前想做的事情大牛们都已经做过了。比如说用python爬取笔趣阁小说，说到笔趣阁，大家肯定都不陌生吧，陌生的话请去百度一下啦。之前其实也写过一些爬虫类的文章，但是确实没这篇有技术含量，不过大佬并没有对代码加过多的解释，所以我重新写了一份。首先简单来看一下它的搜索网址。很容易理解吧，就是在searchkey后面加上你要看的书名就会出现结果了。当然可能有人会问，为什么会有这个结果，那就是我们去它的首页点击搜索的话，就会出现这个链接了。然后就可以得到这些结果了。这里我们可以通过xpath来获取它的链接和名字，进行选择下载。然后我们直接点击第一个链接，毕竟搜斗破苍穹一般就是看原著的，哈哈。

python 爬取小说进阶 这一篇是上一篇关于python xpath爬取小说的进阶版，不过其实说是进阶，还是那些东西，只不过加了一个范围获取，指前只能是输入网址，而且必须是小说的正页内容才行，现在加了一个只需要列表页就能获取该列表的所有小说了。而且通过python，实现了只需要输入列表页的长度，就能获取所有的文章。importrequests_html defmakestr(b): num=str(b) returnnum session=requests_html.HTMLSession() url="https" biaoti_xpath='/html/body/div[1]/div/div[1]/main/article/div/header/h1/text()' wenben_xpath='/html/body/div[1]/div/div[1]/main/article/div/div/p/text()' lianjiexpath_list=[] lianjie_list=[] links=[] urllist=["https"] foriinrange(2,4): new_url=url+'/page/'+str(i) urllist.append(new_url) print(urllist) foriinrange(len(urllist)): lianjie=urllist.pop() r=session.get(lianjie) forbinrange(1,13): num=makestr(b) lianjie_xpath='/html/body/div[1]/div/div[1]/main/article['+num+']/div/header/h2/a/@href' #lianjiexpath_list.append(lianjie_xpath) links.append(r.html.xpath(lianjie_xpath)) ####### #foriinrange(len(lianjiexpath_list)):#将链接储存在一个列表里 #lianjie_xpath=lianjiexpath_list.pop() ##print(r.html.xpath(lianjie_xpath).pop()) # #lianjie_list.append(r.html.xpath(lianjie_xpath)) #print(lianjie_list) ####### delb forlinknuminrange(len(links)): link=links.pop() link=link.pop() r=session.get(link) res_bt=r.html.xpath(biaoti_xpath) res=r.html.xpath(wenben_xpath) forainrange(len(res)): zifu_str=res.pop(0) ifa==0: bt=res_bt.pop() wenjian_name=bt+'.txt' zifu_str=bt+'\n'+zifu_str withopen(wenjian_name,'a',encoding='utf-8')asfile_object: file_object.write(zifu_str+'\n')比较难的其实是那个，一开始获取链接错了，我把链接储存起来然后pop出来的是xpath。。。。然后后面是一个很蠢的问题。。'str' object is not callable一直报错这个，然后我改了一堆一堆的，发现都没问题，随便一看发现我后面的文件写入，变量名为str。。。。。在接下来就毫无难度了不过我这个是只能爬取那些短篇小说的爬虫，而非那种好多章的，不过只要在一个列表页就行了，但是由于一些特殊原因，所以不准备把小说网址放出来，其实明白的人都懂，哈哈。

python xpath爬取小说 最近对学习有点怠慢了，所以其实没什么好的内容发，只能捡一下以前的内容了。简单发一篇python通过xpath爬取小说的文章吧。不过其实记录的是我当时的思路以及过程，可能不是很容易懂。简单记录一下当时的思路，首先小说是通过xpath来获取，但是我发现它的相对定位的方法是要通过id来进行获取的，而每一篇文章的id是不同的，所以这里我想到了使用绝对定位。当然实际上不叫决定定位相对定位，但是这么说比较方便。首先先把代码复制出来，然后通过筛选进行层级的获取。/body/div/div/div/main/article/div/div/pimportrequests_html session=requests_html.HTMLSession() url="https:/z" xpath1='//*[@id="post-56013"]/div/header/h2/a' xpath2='//*[@id="post-55998"]/div/header/h2/a' xpath3='//*[@id="post-55980"]/div/header/h2/a' nei_xpath='//*[@id="post-56013"]/div/div/p[3]' zong_xpath='//*[@id="primary"]' r=session.get("https:/") #print(r.html.xpath(zong_xpath,first=True).links) url2='https://x r=session.get(url2) xpath000='/body' res=r.html.xpath('/body/div/div/div/main/article/div/div/p',first=True) print(res)然而没想到获取到的结果为none，这个其实我之前也遇到过，当时是使用beautifulsoup解决的，这一次呢？再查看一下路径通过f12来进行查看Body div div div main article div divp 最后通过通过这个来获取路径的。这一个发现其实应该是我的关系找错了，也可能不是尝试一下。。res = r.html.xpath('/html/body/div[1]/div/div[1]/main/article/div/div/p/text()')res = r.html.xpath('/body/div/div/div/main/article/div/div/p/text()')好吧，应该是因为选择的问题，应该是前面的div里的[1]没有选择上，所以才会出现问题。简单尝试一下看看res = r.html.xpath('/body/div[1]/div/div[1]/main/article/div/div/p/text()')发现还是有问题啊。。。但是换成前面的就没问题了，所以应该是根节点出现的问题。应该是要加上/html就好了简单说明一下，其实有的时候获取的xpath是绝对路径，但是可能有的页面的内容是一段一段的，比如说我现在爬的这个网站，一句话是一个p标签。这样其实用路径来写比较容易，因为毕竟是免费的站，很多广告之类的，非常的烦。不过其实还是用绝对路径比较方便，不过可能不好想。importrequests_html session=requests_html.HTMLSession() url="https:" xpath1='//*[@id="post-56013"]/div/header/h2/a' xpath2='//*[@id="post-55998"]/div/header/h2/a' xpath3='//*[@id="post-55980"]/div/header/h2/a' nei_xpath='//*[@id="post-56013"]/div/div/p[3]' zong_xpath='//*[@id="primary"]' r=session.get("httpsz") #print(r.html.xpath(zong_xpath,first=True).links) url2='htt' r=session.get(url2) xpath000='/body' res=r.html.xpath('/html/body/div[1]/div/div[1]/main/article/div/div/p/text()') print(res) foriinrange(len(res)): str=res.pop() withopen("yanxuan.txt",'a',encoding='utf-8')asfile_object: file_object.write(str+' ') 这就是最终代码了，将获取到的列表通过pop来导出来储存到一个text中，不过我想挑战一下难度，获取个标题。哈哈。继续还是通过xpath。/html/body/div[1]/div/div[1]/main/article/div/header/h1/text() 不过其实说真的，获取到xpath后还是要在后面添加上/text()才行要不获取到的就是标签了。 importrequests_html session=requests_html.HTMLSession() url="https:/" xpath1='//*[@id="post-56013"]/div/header/h2/a' xpath2='//*[@id="post-55998"]/div/header/h2/a' xpath3='//*[@id="post-55980"]/div/header/h2/a' nei_xpath='//*[@id="post-56013"]/div/div/p[3]' zong_xpath='//*[@id="primary"]' bt_xpath='/html/body/div[1]/div/div[1]/main/article/div/header/h1/text()' r=session.get("https://") #print(r.html.xpath(zong_xpath,first=True).links) url2='https:///' r=session.get(url2) xpath000='/html/body/div[1]/div/div[1]/main/article/div/div/p/text()' res_bt=r.html.xpath(bt_xpath) res=r.html.xpath(xpath000) #print(res) foriinrange(len(res)): str=res.pop(0) ifi==0: bt=res_bt.pop() str=bt+' '+str withopen("yanxuan.txt",'a',encoding='utf-8')asfile_object: file_object.write(str+' ')最终代码。其中需要记录的是，通过pop()函数获取列表值的话如果不加加参数0，那么就会从后向前输出，所以要让他从头开始！不过其实这就是一个简单的页面而已，接下来要获取一个列表页的所有链接，然后获取内容，然后再就是获取所有列表（指定）然后获取内容。进行尝试，测试其余页面发现大概应该所有的页面都是可以的不管有没有广告，所以接下来只需要获取链接然后进行修改即可。目前的思路是获取的链接放在列表里然后通过pop来提取，之后储存，貌似可以所有链接都这样干。但是其实这个通过多线程来做比较简单。所以这个目前就到这里吧，等学习一段时间再进行补充。关于python通过xpath爬取小说的思路简单介绍到这里，如果有什么疑问可以在评论区留言，我会在看到的第一时间进行回复的。