记灵在线工具 菜单
在线工具 下载APP 记灵Start 记灵配音 今日热门 黑科技分享 我的文件




全部在线工具 日常 图片 PDF 文档 音频 视频 财务 计算 程序员 设计/前端 文字 对照表 趣味
记灵,用 记灵,用爱发电 发电。本站全部工具均免费使用。虽然免费但请别滥用。被一无耻之徒疯狂刷接口。

robots.txt文件生成工具

该工具可以帮助用户快速生成符合规范的 robots.txt 文件,帮助搜索引擎更好地了解网站页面和内容,以获得更精准的搜索结果。

默认 - 所有机器人是:  
检索间隔:
Sitemap: (留空为无)
   
普通搜索机器人: Google googlebot
  Baidu baiduspider
  MSN Search msnbot
  Yahoo yahoo-slurp
  Ask/Teoma teoma
  Cuil twiceler
  GigaBlast gigabot
  Scrub The Web scrubby
  DMOZ Checker robozilla
  Nutch nutch
  Alexa/Wayback ia_archiver
  Naver naverbot, yeti
   
特殊搜索机器人: Google Image googlebot-image
  Google Mobile googlebot-mobile
  Yahoo MM yahoo-mmcrawler
  MSN PicSearch psbot
  SingingFish asterias
  Yahoo Blogs yahoo-blogs/v3.9
   
限制目录: 路径是相对的,但每个路径之前都要包含:"/"
 
 
 
 
 
   
   

Copyright © 记灵工具. All Rights Reserved. 湘ICP备14018510号 特别说明:网站的资源类均来源于网络,如果涉及到侵犯您的权益,请与我们联系,我们将立即删除处理。feedback@mxtia.com 用户协议 隐私条款