robots文件放在哪里（robottxt文件） robots文件是什么1、搜索引擎爬去我们页面的工具叫做搜索引擎机器人robots文件放在哪里，也生动的叫做“蜘蛛”蜘蛛在爬去网站页面之前robots文件放在哪里，会先去访问网站根目录下面的一个文件robots文件放在哪里，就是robots.txt。这个文件其实就是给“蜘蛛”的规则rob...
