讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
首页 > php教程 > php手册 > 正文

Robots.text文件 引导搜索引擎收录网站

php中文网
发布： 2016-06-06 20:01:32
原创
1503人浏览过

在网站根目录下还可以创建 robots.txt 文件，来引导搜索引擎收录网站。 Google 蜘蛛 GoogleBot BaiDu 蜘蛛 Baiduspider MSN 蜘蛛 MSNBOT robots.txt 写作语法 允许所有的 robot 访问 User-agent: * Disallow: 或者 User-agent: * Allow: 或者也可以建一个空

在网站根目录下还可以创建robots.txt文件，来引导搜索引擎收录网站。

 

Google蜘蛛 GoogleBot

BaiDu蜘蛛 Baiduspider

MSN蜘蛛 MSNBOT

 

robots.txt写作语法

允许所有的robot访问

User-agent: *
Disallow:

或者

User-agent: *
Allow:

或者也可以建一个空文件 "/robots.txt" file

ShopNum1网店系统
ShopNum1网店系统

ShopNum1拥有强大的网店促销模块，里面就包括商品团购、捆绑销售、品牌专卖、积分换购、优惠券促销、打折促销等众多促销功能，通过合理的组合使用，能帮助商家更好的提高消费者的忠诚度，有效发展新用户，从而带来订单数量的提升。 ShopNum1通过对网店系统软件本身的众多细节优化，有效提升了各主要搜索引擎对其收录的友好程度，从而帮助商家通过搜索引擎带来更多的直接有效客户，以达到提升订单销量的目的。 强

ShopNum1网店系统 0
查看详情 ShopNum1网店系统

禁止所有搜索引擎访问网站的任何部分

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）

User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/

禁止某个搜索引擎的访问（下例中的BadBot）

User-agent: BadBot
Disallow: /

只允许某个搜索引擎的访问（下例中的Crawler）

User-agent: Crawler
Disallow:

User-agent: *
Disallow: /

相关标签：
搜索引擎
最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。

下载
来源：php中文网
收藏 点赞
上一篇：GridView 导入Excel 下一篇：PHP urlencode详解
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
最新问题
在python的开发过程中如何进行单链表的实现（代码） 本文介绍了如何实现单链表，希望大家耐心学习。
2018-09-15 09:33:11
11059
如何理解Elasticsearch单机双节点集群部署 这篇文章，我们还是做些基础的学习，在Elasticsearch如何进行CRUD。
2018-09-14 16:03:42
12926
如何理解关于memset函数 本文介绍了如何理解关于memset函数 ，希望大家耐心学习。
2018-09-14 15:27:49
5421
启动页进入时有短暂黑屏或白屏现象的终极解决方案 irontec 推出了一个开源项目 PHP for Android （PFA），把php带到Android平台上。现在我们来介绍一下。
2018-09-14 15:13:15
5495
如何把WebStorm上传代码到Git ​我是一名前端开发工程师。大概1年前开始使用webstorm这个编辑器，今天向大家介绍一下这个软件。
2018-09-14 14:49:20
6315
分布式系统唯一ID生成方案汇总 系统唯一ID是我们在设计一个系统的时候常常会遇见的问题，也常常为这个问题而纠结。生成ID的方法有很多，适应不同的场景、需求以及性能要求。所以有些比较复杂的系统会有多个ID生成的策略。下面就介绍一些常见的ID生成策略。
2018-09-14 13:39:20
5965
如何在远程过程调用（RPC） HTTP请求式 做过Socket编程的人都知道，当我们设计一个通信协议时，“消息头/消息体”的分割方式是很常用的，消息头告诉对方这个消息是干什么的，消息体告诉对方怎么干。
2018-09-14 11:44:18
4522
Visual Studio Code中安装go语言插件 PHP入门之语句，包括if语句、while语句、go语句，供PHP初学者参考。
2018-09-14 11:38:24
5353
详解Sublime Text 2 代码编辑器或者文本编辑器，对于程序员来说，就像剑与战士一样，谁都想拥有一把可以随心驾驭且锋利无比的宝剑，而每一位程序员，同样会去追求最适合自己的强大、灵活的编辑器，相信你和我一样，都不会例外。我用过的编辑器不少，真不少～ 但却没有哪款让我特别心仪的，直到我遇到了 Sublime Text 2 ！如果说“神器”是我能给予一款软件最高的评价，那么我很乐意为它封上这么一个称号。它小巧绿色且速度非常快
2018-06-11 16:24:34
2917
用CSS实现的一张图完成的按钮实例 用CSS实现的一张图完成的导航条ul,li{ list-style:non...
2018-05-09 20:23:31
2458
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部