本文共 879 字，大约阅读时间需要 2 分钟。

前言

项目来源：4天前的码市上的一个小项目

一、用xpath解析网页获取标题

import requestsimport parselurl = 'http://epaper.qjrb.cn/html/2021-06/09/node_2.htm'r = requests.get(url)r.encoding = 'utf-8'html_data = r.textselector = parsel.Selector(html_data)#抓取标题，在类class="default1"中的

抓取标题，在类class="default1"中的<a标签里面。

二、正则表达式获取相应新闻的URL

import requestsimport rer = requests.get('http://epaper.qjrb.cn/html/2021-06/09/node_2.htm')txt = r.textpattern = re.compile(r'content[^\s]*.htm')urllist = re.findall(pattern, txt)print(urllist)

#主页面的URLurl = 'http://epaper.qjrb.cn/html/2021-06/09/node_2.htm'

#单个新闻的URLurl = http://epaper.qjrb.cn/html/2021-06/09/content_189543.htm

总结

这是一个小项目，对方要求其实也是比较简单，给刚接触爬虫的人来说，是个不错的练习机会。但是实际上，找个靠谱的接单外包的平台是非常不容易的；当你学习的时候，还是先重点是打好基础，如果真的想做爬虫可以找个公司，去实际的应用自己的知识，也锻炼一下自己的能力。这样锻炼的同时也是在积累自己的资源，这样才能去找到外包的资源。

转载地址：http://yqoxi.baihongyu.com/