按键盘上方向键 ← 或 → 可快速上下翻页，按键盘上的 Enter 键可回到本书目录页，按键盘上方向键 ↑ 可回到本页顶部！
————未阅读完？加入书签已便下次继续阅读！
Baiduspider baidu
Scooter altavista
ia_archiver alexa
Googlebot google
FAST…WebCrawler alltheweb
Slurp inktomi
MSNBOT search。msn
4、robots。txt 举例
下面是一些著名站点的robots。txt：
cnn/robots。txt
google/robots。txt
ibm/robots。txt
sun/robots。txt
eachnet/robots。txt
5、常见robots。txt 错误
A。 颠倒了顺序
错误写成：
User…agent： *
Disallow： GoogleBot
第 87 页
… Page 96…
搜索引擎优化魔法书 SEO Magic Book 浩维互动免费电子书 timev
正确的应该是：
User…agent： GoogleBot
Disallow： *
B。 把多个禁止命令放在一行中
例如错误写成：
Disallow： /css/ /cgi…bin/ /images/
正确的应该是：
Disallow： /css/
Disallow： /cgi…bin/
Disallow： /images/
C。 行前有大量空格
例如写成：
Disallow： /cgi…bin/
尽管在标准没有谈到这个，但是这种方式很容易出问题。
D。 404 重定向到另外一个页面
当Robot 访问很多没有设置 robots。txt 文件的站点时，会被自动 404 重定向到另外
一个Html 页面。这时Robot 常常会以处理robots。txt 文件的方式处理这个Html 页面文
件。虽然一般这样没有什么问题，但是最好能放一个空白的 robots。txt 文件在站点根目
录下。
E。 采用大写。例如
USER…AGENT： EXCITE
DISALLOW：
虽然标准是没有大小写的，但是目录和文件名应该小写：
user…agent：GoogleBot
disallow：
F。 语法中只有Disallow，没有Allow
错误的写法是：
User…agent： Baiduspider
Disallow： /john/
allow： /jane/
G。 忘记了斜杠/
错误写作：
User…agent： Baiduspider
Disallow： css
正确的应该是：
User…agent： Baiduspider
Disallow： /css/
下面一个小工具专门检查 robots。txt 文件的有效性：
searchengineworld/cgi…bin/robotcheck。cgi
第 88 页
… Page 97…
搜索引擎优化魔法书 SEO Magic Book 浩维互动免费电子书 timev
五、链接锚文本
什么是链接锚文本？举个例子解释说明一下：诸如，有一个网站做了个点石的友情链接，
其具体代码表现为 点石互动 ，其中“点石互动”即为
该链接的锚文本。
1、链接锚文本（Anchor Text）描述在SEO 中有什么作用？
搜索引擎可以根据指向某一个网页链接的锚文本描述来判断该网页的内容属性，点石是
一个搜索引擎优化研究团队，所以有很多指向点石的链接锚文本描述为“搜索引擎优化”，
这样会让搜索引擎根据属性投票来给点石在搜索引擎优化的自然排名方面有一个考虑，尤其
是这样的反向链接的质量和数量上升到一定层次时，这种排名优势也就越明显。
很多网站的锚文本的形式诸如以下形式：more、更多、阅读详细信息、点击这里等，这
样的做法没办法让搜索引擎对某一个被链接的网页内容属性有一个好的判断，从而影响网页
排名。
2、链接锚文本（Anchor Text）的优化
每个页面的内容都不同，因此我们在进行关键词策略部署的时候，就应该针对某一个目
标页面有一个关键词考虑。一般来说一个页面的核心关键词在 1…3 个范围（范围太大，关键
词的权重就有可能被稀释），所以我们一般在其他页面做指向该页面的链接的锚文本描述中
就应该布置预先规划的核心关键词，而且锚文本描述的形式应尽量多样化。
六、Sitemap。xml
Sitemaps 协议使你能够告知搜索引擎网站中可供抓取的网址。最简便的方式就是，使
用 Sitemaps 协议的 Sitemaps 就是列有某个网站所有网址的 XML 文件。此协议可高度扩
展，因此可适用于各种大小的网站。它还能够使网站管理员提供有关每个网址的其他信息（上
次更新的时间、更改的频率、与网站中其他网址相比它的重要性等），以便搜索引擎可以更
智能地抓取该网站。
Sitemaps 协议补充而不是取代搜索引擎已用来发现网址的基于抓取的机制。通过向搜
索引擎提交一个 Sitemaps （或多个 Sitemaps ），可帮助搜索引擎更好地抓取你的网站。
1、XML Sitemaps 语法格式
Sitemaps 协议格式由 XML 标记组成，Sitemaps 的所有数据数值应为实体转义过的，
文件本身应为 UTF…8 编码的。
以下是只包含一个网址并使用所有可选标记的 Sitemaps 示例。可选标记为斜体。
《 urlset xmlns=〃google/schemas/sitemap/0。84〃》
《 url》
《 loc》example/
《 lastmod》2005…01…01
《 changefreq》monthly
第 89 页
… Page 98…
搜索引擎优化魔法书 SEO Magic Book 浩维互动免费电子书 timev
《 priority》0。8
Sitemaps 应：
以 开始标记开始，以 结束标记结束。
每个网址包含一个作为父标记的 条目。
每一个 父标记包括一个 子标记条目。
2、XML 标记定义
以下对可用 XML 标记进行说明。
表 6…8…2 XML 标记
必
封装此文件并提供当前协议标准作为参考。
填
必
每个网址条目有一个父标记。剩余标记为此标记的子标记。
填
必 该页的网址。如果你的 Web 服务器需要网址的话，此网址应以协
填 议开始（例如：http ）并以斜线结尾。此值应少于 2048 个字符。
可 该文件上次修改的日期。此日期应采用 W3C Datetime 格式。如果
选 需要的话，此格式允许省略时间部分，而仅使用 YYYY…MM…DD 。
页面可能发生更改的频率。此值为搜索引擎提供一般性信息，可能
与搜索引擎抓取页面的频率不完全相关。有效值为：
* always
* hourly
* daily
* weekly
* monthly
可 * yearly
选 * never
值“always”应当用于描述每次访问时都会改变的文档。而值“never”
应当用于描述已存档网址。
请注意此标记的值被视为提示而不是命令。尽管搜索引擎抓取工具
在做决定时考虑此信息，但是它们对标记为“hourly”页面的抓取频
率可能低于每小时一次，而对标记为“yearly”页面的抓取频率可能高
于每年一次。抓取工具也可能定期抓取标记为“never”的页面，以便
它们能够处理对这些页面的意外更改。
此网址的优先级与你网站上其他网址的优先级相关。有效值范围从
可 0。0 到 1。0。此值不会影响你的网页与其他网站上网页的比较结果，
选 只是告诉搜索引擎你认为你的那个网页最重要，从而它们对你页面
的抓取可以按照你最�