
robots.txt文件生成器
-
全局设置
-
限制目录
-
Sitemap
-
国内搜索引擎
-
国外搜索引擎
1、robots.txt(统一小写)是一种存放于网站根目录下的文本文件,它通常告诉网络搜索引擎蜘蛛,此网站中的哪些内容是可以被收录哪些不可以被收录。
2、robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下
3、如想单独定义搜索引擎蜘蛛访问子目录的行为,那么可以将自定的设置合并到根目录下的robots.txt
4、robots.txt协议并不是一个规范,而只是约定俗成的,所以并不能保证网站的隐私
5、注意robots.txt是用字符串比较来确定是否获取URL,所以目录末尾有与没有斜杠“/”表示的是不同的URL
robots.txt文件内容1、搜索引擎蜘蛛的是否可访问性或者说可爬行性
2、搜索引擎蜘蛛针对目录或者文件的可访问性
3、网站站点地图sitemap路径定义
4、搜索引擎蜘蛛爬行的时间间隔限制
关于robots.txt文件生成器1、通过web界面设置好要配置的数据, 点击生成即可生成robots.txt文件内容
2、创建一个空白的文本文件,命名为:“robots.txt”,然后把上面的内容,复制并粘贴到“robots.txt”中去
3、把“robots.txt”放在你网站的根目录,访问robots.txt,确保他能让搜索蜘蛛访问到
推荐工具
健康保健
AI为您的身体保驾护航
内容续写
对一段文本内容进行续写
支付宝领红包
在线扫码领取支付宝消费红包
生辰八字转换
一款将出生年月日转为生辰八字的小工具
七乐彩机选工具
七乐彩在线机选随机选号工具
Web安全色
Web安全色大全
中国传统色彩
中国传统色彩列表
CSS条纹背景在线生成
在线生成条纹背景效果的CSS代码
EASCii码对照表
EASCII码常见符号大全
二十四节气查询
在线查询任意年份的二十四节气时间
文件Hash计算
在线文件Hash值计算工具
FTP登录工具
在线免安装FTP登录工具
历史上的今天
查询历史上每日发生的重要事件
在线htaccess转nginx工具
在线Apache .htaccess文件转换为Nginx服务器配置文件
HTML/JSP互转工具
在线HTML代码与JAVA代码互转工具
图片加水印
一键给图片添加水印
占位图片生成器
一款在线生成占位图片的免费工具
老黄历
在线老黄历查询
年/月/日利率互转计算器
在线年利率、月利率、日利率互相转换
年化收益率计算器
在线计算年化收益率利息
RGB/HSV相互转换
RGB/HSV在线相互转换
文本与二进制转换工具
在线文本与二进制相互转换工具
UTM在线网址生成器
在线将网址转为UTM类型的网址
幸运数字
通过出生日期计算属于您的幸运数字