GOOGLEBOT和MEDIAPARTNERS-GOOG

如果我们会去查看查看日志信息，也许会发现Googlebot 和 Mediapartners-Googl经常光顾你的网站。

Googlebot 和 Mediapartners-Googl 非常勤奋的机器人，如果他影响到服务器的接受力，可以通过robots.txt 文件加以制止。

Googlebot 和 Mediapartners-Googl  到底有什么不一样呢？

一、Googlebot

Googlebot 一般称为 Googl 机器人或 Googl 探测器。

Googl 派遣 ” 不同的 Googlebot 对网页内容进行获取。主要包括：

Googlebot 抓取网页中的文字内容。获取的内容保管于 Googl 网页搜索和新闻搜索的数据库。一般谈的 Googl 机器人主要指这个。

Googlebot-Mobil 抓取网页中的文字内容，用于 Googl 手机搜索。

Googlebot-Imag 抓取网页内的图片内容，保管入 Googl 图片搜索数据库。

二、Mediapartners-Googl

Mediapartners-Googl 抓取网页中的文字内容，用于 Googl Adsens 分析关键词。只有投放了 Googl Adsens 网页才会被 Mediapartners-Googl 探测器爬取。

Adsbot-Googl 抓取网页中的文字内容，用于为 Googl AdWord 提供参考。只有 Googl AdWords  目标网页才会被 Adsbot-Googl 探测器爬取。