aslında
disallow * kullanımı sadece googlebot'u değil diğerlerini de engelliyor.
sadece
Google engellensin istiyorsanız
User-agent: Googlebot
Disallow: /
yazmanız gerekiyor.
indekslenmesini istemediğiniz sayfalara <META NAME="ROBOTS" CONTENT="NOINDEX"> yazmak da bir başka yol.