搜索引擎抓取网站前回先抓取网站根目录下的robots文件，如果有禁止目录和文章那么就不会进行对应抓取。
但是如果禁止了搜索引擎抓取，那么会影响到熊掌号的抓取么？
那么答案是肯定的！
那么就会出现站点robots封禁导致熊掌号提交数据无法进行抓取
关键字词:
搜索引擎抓取网站前回先抓取网站根目录下的robots文件，如果有禁止目录和文章那么就不会进行对应抓取。
但是如果禁止了搜索引擎抓取，那么会影响到熊掌号的抓取么？
那么答案是肯定的！
那么就会出现站点robots封禁导致熊掌号提交数据无法进行抓取
