网站抓取了一些不存在的目录跟页面?
整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容及代码片段有且仅有借鉴意义。
1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去；
2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问；
3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL；
4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉；
5. 合理设置抓取速度，一般建议抓取的最高速度不宜超过网页平均加载速度的1/5，以免对网站服务器造成压力；
6. 建立黑名单，将连续多次无效抓取情况的网址纳入黑名单中，黑名单中的网址抓取程序会忽略其内容；
7. 禁止抓取某些特定格式的URL，例如`.pdf`、`.doc`等文件格式。
Public @ 2023-02-24 22:36:02 整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容有且仅有借鉴意义。
