首先你要知道Scrapy爬虫框架对于新手来说是非常不友好的。 他们可能会通过个别视频网站上的视频学习，或者到培训机构学习几天的技能。 主要原因如下。 框架模块内容太多。 即使只是实现了一个简单的爬虫工作，实际上要完成一个页面的爬取，框架中至少要经过8个甚至更多的步骤，而这些步骤基本都是借助配置文件来完成的。 我没有丰富的爬行经验。 我不知道其中许多模块的作用或如何配置它们。 基于该框架的数据抓取仅限于这些一般的网站抓取。 你可以简单的把它理解为一个完成重复性工作的机器人。 而如果是反爬虫较强的网站，那就另当别论了。 它完全是爬虫工程师和网站开发人员之间的博弈，所以这些情况并不适合任何一种爬虫框架。 对于那些想要在工作中钓鱼的Python工程师来说，必须使用爬虫框架。 你会发现你省了很多力气，效率确实很高xycms教育培训机构网站源码，但是一切都是建立在对框架的熟练掌握和对业务的充分理解的基础上的。 我们来深入了解一下吧。 即便你说Scrapy没什么用，你基本没有仔细读过Scrapy的源码，但是你在构建爬虫系统时能想到使用Scrapy框架中的多少功能呢？ 而且我基本上没有做过小型的爬虫系统项目。 我们把这个事情往后推一下，你就会知道为什么要使用Scrapy框架了。
我以前的单位是国家互联网新闻中心。 我做的项目之一就是复现863舆情监测系统的内容。 使用的技术是scrapy爬虫框架结合DjangoWeb构建的数据采集系统来捕获目标对象。 包括新闻、博客、论坛等，每天检查的目标网站有数千个。 如果没有框架来收集这些数据会很可怕。 1. 捕获的数据存储在哪里？ 编写一个简单的Scrapy爬虫脚本执行爬取任务时，数据保存在哪里？ ES、MongoDB、MySQL？ 如果做过开发的人都知道如何在Mongodb中保存数据，那么谈论在MySQL中保存数据的人99%来自培训机构，因为大多数培训机构爬虫都不懂Mongodb。 通过业务预估逻辑将数据传输到生产ES环境。 2、如何管理几千、几万个爬虫脚本？ 很多刚入行的人都认为编写爬虫脚本很困难，尽管事实并非如此。 最困难的是如何管理咪咪无数的爬虫脚本。 Python 是如何处理这个问题的。 管理方式无非就是集中化。 Web管理环境、GUI管理环境、手动管理环境，无论哪一种都需要一定的开发基础和管理思想。 使用别人写的Scrapy管理框架比较容易，比如Gerapy爬虫管理框架。 就这样，web可以直接一键管理爬虫脚本。 更多内容请参见里面的文章xycms教育培训机构网站源码，这里不再赘述。
3、Scrapy如何应对反爬？ 像大多数网站的单行爬虫要解决其反爬，只要设置反爬逻辑即可，比如最简单的替换代理IP、替换header、解析JS生成cookie访问等。 ，都可以在框架文档中配置。 4、如何提高代码编译和数据爬取的效率？ 你必须读源码，你必须读源码，你必须读源码，这样你才能知道这个框架中有哪些内容。 5、基于各种Python框架开发的多样化爬虫项目。
