Python爬虫：完整提取超链接中的网页文本
在使用Python爬虫抓取网页信息时，经常遇到文本嵌套在标签中的情况。直接使用text()方法会忽略标签内的内容，导致信息丢失。本文提供一种解决方案，确保完整提取所有文本信息。
问题：
爬取新...
Python爬虫：完整提取超链接中的网页文本
在使用Python爬虫抓取网页信息时，经常遇到文本嵌套在标签中的情况。直接使用text()方法会忽略标签内的内容，导致信息丢失。本文提供一种解决方案，确保完整提取所有文本信息。
问题：
爬取新闻网站时，部分文本位于标签内，导致XPath表达式//div[@class="f14 l24 news_content mt25zoom"]/p/text()无法完整提取文本。“绿色发展”等词语因嵌套在标签中而被遗漏。
原始代码使用//div[@class="f14 l24 news_content mt25zoom"]/p/text()仅提取文本节点，忽略标签及其内容。
解决方案：
修改XPath表达式并进行节点类型判断，分别处理文本节点和标签节点。
首先，将XPath表达式修改为//div[@class="f14 l24 news_content mt25 zoom"]/p//node()。//node()提取所有子节点，包括文本节点和标签。
然后，遍历所有节点，判断节点类型。如果是文本节点，直接提取文本；如果是标签节点，提取标签的文本内容。
改进后的代码如下：
PHP
import requests
from lxml import etree
base_url = "https://www.solidwaste.com.cn/news/342864.html"
resp = requests.get(url=base_url)
html = etree.HTML(resp.text)
# 稳健的编码处理
encod = html.xpath('//meta[1]/@content')
if encod:
encod = encod[0].split("=")[-1]
resp.encoding = encod
html = etree.HTML(resp.text)
content = html.xpath('//div[@class="f14 l24 news_content mt25 zoom"]/p//node()')
content_deal = ""
for node in content:
if isinstance(node, etree._ElementUnicodeResult):
content_deal += node.strip() + "
"
elif isinstance(node, etree._Element) and node.tag == 'a':
content_deal += node.text.strip() + "
"
print(content_deal)通过以上改进，代码能够完整提取标签内的文本内容，避免信息丢失。 代码中对编码处理进行了优化，避免了因=号重复出现导致的错误。
以上就是Python爬虫如何完整提取包含在超链接中的网页文本？的详细内容，更多请关注知识资源分享宝库其它相关文章！
版权声明
本站内容来源于互联网搬运，
仅限用于小范围内传播学习，请在下载后24小时内删除，
如果有侵权内容、不妥之处，请第一时间联系我们删除。敬请谅解!
E-mail：dpw1001@163.com
发表评论