[mehmetserif]

Herkese merhaba,

Umarım bu sorunun başlığı doğrubir başlıktır çünkü benim sormak istediğim konu şu ki ben bazen Google'da bir konu üzerinde arama yaptığım zaman forum sitelerinin sonuçları da geliyor ancak bazı forum siteleri üye olmadan size o konunun içeriğini göstermiyor fakat nasıl oluyorda bu Google botları sadece üyelere açık olan sayfaları indexleyebiliyorlar yani bunun için özel bir optimizasyon mu gerekiyor? Yoksa Google botları bütün sayfaları indexleyebiliyorlar mı ve cevap evet ise nasıl oluyorda Google botları Facebook'taki herhangi bir Group altında açılmış bir tartışma başlığını indexleyemiyor? Bu arada ben bu denemeyi sadece Facebook üzerinde gerçekleştirdim bu sebepten dolayı Facebook konusunda yanılmış olabilrim, çünkü onlar belki indexlenmemesini istemiş olabilirler.

Cevaplarınız için şimdiden teşekkürler..

[semaver]

Örnek sayfa :http://64.233.183.104/search?q=cache...lnk&cd=1&gl=tr

Google normal olarak bizim gördüğümüz sayfaları indexler.
örnek frmtr deki gibi normal bir kullanıcı forumdaki linkleri göremezken Google da görememiş.

Umarım yardımcı olabilmişimdir.
Teşekkürler

[oky]

bu can kısıcı durum bazen benim de başıma geliyor. ilgili sayfanın Google tarafından indekslendikten sonra üye olmayanlara kapatıldığını tahmin ediyorum.

[BRONZE]

Üyelik sistemlerinde genellikle user agent kontrolü yapılarak eğer Google ise tüm içeriği göster şeklinde tanımlanma yapılıyor, hazır içerik yönetim sistemi yazılımlarında genelikle bunun için bir yama veya eklenti olabiliyor. Sonuçta Google taraflı değil de kullanıcı taraflı bir izin verme sözkonusu.

[mehmetserif]

BRONZE tarafından gönderilen mesaj:

Üyelik sistemlerinde genellikle user agent kontrolü yapılarak eğer Google ise tüm içeriği göster şeklinde tanımlanma yapılıyor, hazır içerik yönetim sistemi yazılımlarında genelikle bunun için bir yama veya eklenti olabiliyor. Sonuçta Google taraflı değil de kullanıcı taraflı bir izin verme sözkonusu.

Peki icerik yönetim sistemi kullanmayan bir sitede nasıl oluyor bu yani Google için geçerli olabilecek user ne olması gerekiyor yada böyle birşey yok ve Google bu sayfaları indexleyemiyor mu?

[Yns_]

mehmetserif tarafından gönderilen mesaj:

Peki icerik yönetim sistemi kullanmayan bir sitede nasıl oluyor bu yani Google için geçerli olabilecek user ne olması gerekiyor yada böyle birşey yok ve Google bu sayfaları indexleyemiyor mu?

Turkcenizden pek bir sey anlayamadim ama bu islemin yapilmasi icin illa ki hazir bir sistem kullanilmasi gerekmiyor. Kodun icine eklenebilecek basit HTTP_USER_AGENT kontroluyle Google bot'unun uye olmayanlarin gormedigi yerleri gormesi saglanabilir.

Eger boyle bir kontrol yoksa haliyle Google'da uye olmayanlar ne goruyorsa onu goruyor ve o sekilde indexliyor.

[BYK]

HTTP_USER_AGENT kolaylıkla değiştirilebilen bir başlık bilgisi olduğundan bu sistem güvenlik açığına sebep olacaktır. Ayrıca Google, üyelerin görmemesi gereken sayfaları indexlediği zaman önbelleğinden sayfanın o haline ulaşma şansınız da var.

[mehmetserif]

BYK tarafından gönderilen mesaj:

HTTP_USER_AGENT kolaylıkla değiştirilebilen bir başlık bilgisi olduğundan bu sistem güvenlik açığına sebep olacaktır. Ayrıca Google, üyelerin görmemesi gereken sayfaları indexlediği zaman önbelleğinden sayfanın o haline ulaşma şansınız da var.

O zaman sadece üyelerin görebildiği sayfayı HTTP_USER_AGENT başlık bilgisi ile Google botlarına açmak pek mantıklı bir iş değil. Çünkü dediklerinizden anladığım kadarı ile üyelerin görmemesi gereken yönetim sayfalarını da Google botları indexleyecek ve arama sonuçlarında olmaması gereken sayfalar çıkmış olacak. Yanılıyor muyum?

[cgencer]

doğru... ayrıca Google bot'a özel farklı gözüken sayfaları Google pek sevmez, hemen sandbox'a atar. daha iyi indexlenmek uğruna, bota özel içerik sunuyorsanız bunu fark ediyorlar (bot kodu olmadan görülen sayfayla, bot kodunun gördüğü sayfayı karşılaştırarak elbette).

bir ara bir şarkı sözsü sitesinde url hashing ve zaman sınırlı url kullanarak içeriği korumaya çalışmıştım. ama googlebot gibi spider'lar içinse url hashing'i bypass ederek şarkı sözlerinin Google tarafından her an indexlenerek bir fonksiyonum vardı. ama Google bu basit ayırmayı bile sandbox'a atacak bir sebep saydı.

[mehmetserif]

Bende sanırım bu tarz işler için del.icio.us'a eklemek icin gerekli olan butonlar gibi butonlarla benim sitemde bulunan herhangi bir konuyu kullanıcıların del.icio.us tarzi sitelere eklemesini sağlayabilirim. Bunun sonucunda da eğer kullanıcı eklerse o siteler Google tarafından indexlendiği için belki bir sonuç alabilirim diye düşünüyorum. Sizin uyguladığınız başka methodlar var mı sadece kullanıcıların görüntüleyebildiği sayfaların indexlenmesi için?