Python7个爬虫小案例详解(附源码)中篇

本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知识点，非常适合刚入门python爬虫的小伙伴参考学习。 前言 关于Python7个爬虫小案例的文章分为三篇，本篇为中篇，共两题，其余两篇内容请关注！ 题目三： 分别使用XPath和Beautiful Soup4两种方式爬取并保存非异步加载的“豆瓣某排行榜”如https://movie.douban.com/top250的名称、描述、评分和评价人数等数据  先分析： 首先，来到豆瓣Top250页面，首先使用Xpath版本的来抓取数据，先分析下电影列表页的数据结构，发下都在网页源代码中，属于静态数据 接着我们找到数据的规律，使用xpath提取每一个电影的链接及电影名 然后根据链接进入到其详情页 分析详情页的数据，发现也是静态数据，继续使用xpath提取数据 最后我们将爬取的数据进行存储，这里用csv文件进行存储 接着是Beautiful Soup4版的，在这里，我们直接在电影列表页使用bs4中的etree进行数据提取 最后，同样使用csv文件进行数据存储 源代码即结果截图： XPath版： Beautiful Soup4版：  题目四：  实现某东商城某商品评论数据的爬取（评论数据不少于100条，包括评论内容、时间和评分）  先分析：  本次选取的某东官网的一款联想笔记本电脑，数据为动态加载的，通过开发者工具抓包分析即可。 源代码及结果截图： 到此这篇关于Python7个爬虫小案例详解（附源码）中篇的文章就介绍到这了,其他两个部分的内容(上、下篇)请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！