robot 禁止抓取图片
整理自网络ChatGPT产生之内容，文本内容不具备参考意义，程序内容及代码片段有且仅有借鉴意义。
可以在Robot协议文件中添加"User-agent:*"以及"Disallow: /images/"，这样Robot就会禁止抓取图片。
404页面设计注意事项：1、首先404页面要保持网站统一模板，设计风格，logo及名称，不要让用户弄不清自己到了哪个网站上。2、404页面应该在最醒目的位置显示错误信息，明确提示用户，要访问的页面不存在。还可以加上几点可能性，如页面已删除，用户输入了错误的地址，链接中的地址错误，页面已转移到新的地址等。3、错误信息下面还可以为用户提供几种点击选项，如网站地图，包括通往首页和重要分类页面的链接，建议
动态URL指的是数据库驱动的网站所生成的、带有问好、等号及参数的网址。一般来说动态URL不利于搜索引擎蜘蛛爬行，应尽量避免。
匹配方式分两部分：1.path部分，2.参数部分匹配支持?*$?两种通配符?*? 表示任何有效字符的 0 个或多个个案。?$? 表示网址结束。path部分与google匹配方式保持一致，也就是只有/或是*开头的规则才有机会匹配上?/?匹配根目录以及任何下级网址?/fish??/fish?开头的匹配项* ?/fish?* ?/fish.html?* ?/fish/salmon.html?* ?/fi
设置搜索robots协议的后果针对短视频类内容，视频搜索将不再索引、展现网站的视频资源，历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ，该目录下内容将从搜索中屏蔽，其余内容在搜索中则以正常结果展示。来源：百度搜索资源平台
