目标网址: https://movie.douban.com/top250
本文通过网页豆瓣电影排行数据的抓取和清洗,介绍Python使用
参考:
- 慕课网:大壮老师视频《Python最火爬虫框架Scrapy入门与实践》:https://www.imooc.com/learn/1017
- 简书对应笔记,作者:树懒啊树懒:https://www.jianshu.com/p/169b62a8a269
步骤
1、scrapy框架简介、数据在框架内如何进行流动
2、scrapy框架安装、mongodb数据库安装
3、scrapy抓取项目如何创建
4、scrapy抓取项目如何进行数据解析
5、scrapy抓取项目如何绕过反爬机制抓取数据
6、scrapy抓取项目如何存储数据到不同的格式