james 提问于 1年 之前
请问Zac大佬，您的爬虫是自己写的吗，可以付费或者免费分享吗？
1 个回答
Zac 管理员 回答于 1年 之前
当然不是啊。生成网站地图是任何CMS的标配，或至少有插件可用。我博客用的WordPress，WordPress本身从5.5版本已经有内置生成sitemap.xml功能，也有很多插件，搜索wordpress sitemap.xml plugin可以看到一大堆。我博客的sitemap.xml是All in One SEO插件生成的。
如果CMS不能生成sitemap.xml就不要用了。
如果是自己开发的CMS，通常是从数据库中直接提取URL，应该不会是靠爬虫抓取生成的。
来源：SEO每天一贴 Zac 昝辉
1. 重新编辑robots.txt文件，将网站中不需要抓取的页面和目录添加进去； 2. 如果抓取的网站带有反爬虫功能，建议可以设置User-Agent，以区分人为访问和爬虫程序进行访问； 3. 设置深度抓取，让程序对某个网页进行抓取时，只抓取它指定难度及深度的URL； 4. 不定时发起网站扫描任务，用来检查异常的URL，以及分析抓取URL的情况，同时将发现的问题处理掉； 5. 合理设置
您提到，搜索引擎判断原创的根据有很多，可以是时间、权威度、pr值。跟据这个理论的话，在您的原创刚发布后的几个小时内，我拷备您的文章发到我的网站上，至少也有40%被误认为是原创的机会，如果我有一个比您更权威的网站，我的机会就更大。是不是应该有一个方法来防止您的这种损失呢? 比如，您可以将先您的文章交给搜索引擎过目再公开。方法是，当您建立一个页面的时候，并不公布这个页面的url，而是通过我第一个问题里
一般来说，新建网站是可以创建二级域名的。二级域名是指在主域名的基础上增加一个子域名，例如，主域名为example.com，而它的二级域名则可以是sub.example.com。通过创建二级域名，可以方便地将不同的内容分类，并使用户更容易记住网站的地址。具体如何创建二级域名，可以根据所用的网站建设平台或主机商提供的说明进行操作。
