Robots.txt检测
| 检测结果 | {{ result.isAllowed ? '已允许' : '已禁止' }} |
|---|---|
| 检测路径 | {{ result.path }} |
| 文件内容 |
{{ result.raw }}
|
正在抓取并分析 Robots.txt，请稍候...
{{ error }}
工具说明
Robots.txt 检测工具用于分析网站是否允许特定的搜索引擎爬虫访问指定页面。
1. 选择您想要模拟的搜索引擎（User-Agent）。
2. 输入需要检测的完整 URL 路径。
3. 系统将抓取站点根目录的 robots.txt 并根据协议算法判断抓取权限。
评论区
0条评论
