[ssonmez]

Robots.txt ne yapar diyorsanız önce okuyalım.
robots.txt & robotlar & komplo teorileri


şimdi birden aklıma geldi ben Google için robots.txt hazırlıyorum ama Google'un kendisi ne hazırlamış. Belki buna daha önce bakmışsınızdır. Ama bakmayanlar için güzel bir eğlence olacak.
Bu dosya sayesinde Google kendisinde hangi adreslerin indexlenmesini istemediğini yazıyor. Herhalde kısır döngü ile indexini indexletmesin diye. İşte ilginç bir iki tane. Diğerlerini de siz deneyin. Böylece Google'un birçok gözümüzden kaçan işi ortaya çıkıyor.

http://www.google.com/sms/demo? Cep telefonu olayı
http://www.google.com/microsoft? Var mı böylesi kimileri de rakip der bu iki şirkete.
http://www.google.com/unclesam? Sam Amca Amerikaaaa
http://www.google.com/pda PDA ekranına sığsın diye minimalistlere sunulur.
http://www.google.com/cobrand

www.google.com/robots.txt

User-agent: *
Allow: /searchhistory/
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalogues
Disallow: /news
Disallow: /nwshp
Disallow: /?
Disallow: /addurl/image?
Disallow: /pagead/
Disallow: /relpage/
Disallow: /sorry/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /wml?
Disallow: /xhtml?
Disallow: /XML?
Disallow: /imode?
Disallow: /jsky?
Disallow: /pda?
Disallow: /sprint_xhtml
Disallow: /sprint_wml
Disallow: /pqa
Disallow: /palm
Disallow: /gwt/
Disallow: /purchases
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /Mac?
Disallow: /Microsoft?
Disallow: /unclesam?
Disallow: /answers/search?q=
Disallow: /local?
Disallow: /local_url
Disallow: /froogle?
Disallow: /froogle_
Disallow: /print?
Disallow: /books?
Disallow: /scholar?
Disallow: /complete
Disallow: /sponsoredlinks
Disallow: /videosearch?
Disallow: /videopreview?
Disallow: /videoprograminfo?
Disallow: /maps?
Disallow: /translate?
Disallow: /ie?
Disallow: /sms/demo?
Disallow: /katrina?
Disallow: /blogsearch?
Disallow: /blogsearch/
Disallow: /blogsearch_feeds
Disallow: /advanced_blog_search
Disallow: /reader/
Disallow: /chart?
Disallow: /transit?

[nenia]

Microsoft çok ilginç...

Government olayı da başlı başına bir inceleme konusu.

[MaviKartaL]

Google gerçekten sıradışı bi şirket . . . bizi şaşırtmaya devam ediyor.

[LockCreate]

Microsoft sayfası acaba nedn yapıldı, ucunda bir işmi var yoksa eğlencesinemi açıldı acaba.

Google yoksa Microsoft'umu alacak yakında

[mirturk]

txt dosyası içerisindeki satırlar beklediğim kadar uzun değilmiş .

[Cappadoxia]

Gerçekten çok ilginç. Google anlaşılmaz bir şirket zaten.

[manhem]

Bahsi geçen adresleri biliyordum ama robot.txt'sini incelemek hiç aklıma gelmemişti doğrusu. Microsoft sitelerinde arama bir yana benim bildiğim Mac'çiler için http://www.google.com/mac ve Linux camiası için de http://www.google.com/linux var.

[smmugler]

Belki bize örnek olsun diye yapmışlardır " bizim robots.txt miz var siz de yapın yanlış taraflara girmeyelim" gibi

[albay]

insan doğası gereği meraklıdır ya cazip kılan yanı da bu gariplikler. algoritmansının en kral tarafıda bu değil mi?

[uyurgezer]

Süleyman hocam bu dosyayı bize ilk gösterdiğinde sayfada gmail'in mobil versiyonunun test aşamasında olduğu adresi de vardı. Google gerçekten değişik bir şirket.