Zoque.Forum
Dirsek Teması:
Geri Dön Zoque.Forum » Webmaster Kaynaklari » Sunucu Tabanlı Programlama (Server Side) » Veritabanları » 20 milyon satırlık veritabanında optimize nasıl olur?


Veritabanları MySQL , MSSQL, SQL, Access, Oracle

Yanıt
 
LinkBack Seçenekler
Old 16.04.2007   #1 (permalink)
 
Komplo's Avatar
 
Üyelik Tarihi: 28.03.2003
Yer: İstanbul
Yaş: 24
Mesaj: 251
Görsel: 1
20 milyon satırlık veritabanında optimize nasıl olur?


Herkese merhaba,

Elimde yaklaşık 20 milyon satırlık ve 5 gb ın üzerinde MySQL veritabanı bulunmakta. Bu veritabanında bir şey sorgulamak istediğimde, geçen süre çok fazla oluyor. Konu ile ilgili araştırma yaptığımda, MySQL için milyonlarca satırın çok büyük bir sıkıntı olmadığından bahsediliyor. Ancak sistemi hızlandırmak için nasıl optimize edeceğime bir türlü karar veremedim. Sizce en mantıklı yollar nelerdir?

Şimdiden teşekkürler...
Komplo şu an çevrimdışı  
Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Spurl'e kaydet! http://reddit.com/submit?url=%url%&title=%title%Wong'e kaydet!Yahoo'ya kaydet!Google'a kaydet!MSN'e kaydet!Facebook'e kaydet!
Mesajdan alıntı yaparak yeni bir cevap ekleyin
Old 16.04.2007   #2 (permalink)
mow
 
Üyelik Tarihi: 28.03.2003
Yer: İzmir
Yaş: 26
Mesaj: 762
Re: 20 milyon satırlık veritabanında optimize nasıl olur?

veritabanı için artık geç olabilir ancak sorgunu optimize edebilirsin.
mow şu an çevrimdışı  
Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Spurl'e kaydet! http://reddit.com/submit?url=%url%&title=%title%Wong'e kaydet!Yahoo'ya kaydet!Google'a kaydet!MSN'e kaydet!Facebook'e kaydet!
Mesajdan alıntı yaparak yeni bir cevap ekleyin
Old 16.04.2007   #3 (permalink)
 
Komplo's Avatar
 
Üyelik Tarihi: 28.03.2003
Yer: İstanbul
Yaş: 24
Mesaj: 251
Görsel: 1
Re: 20 milyon satırlık veritabanında optimize nasıl olur?

Ya veritabanı tek tablodan oluşuyor. Ve tekrar eden veri yok... Farzedelim, yeniden modellesek neler yapılabilir...
Yani büyük forumlar var mesela, yada çok büyük arkadaşlık siteleri... Bunların çoğunun veritabanı MySQL diye düşünüyorum. Aynı anda binlerce insan online, bırakın arama işlemini,birçok işlem çok hızlı gerçekleşiyor...
Mesela aklıma takılan youtube un veritabanı MySQL olabilir mi? Olduğu takdirde milyonlarca video arasından aranılan sonucu bu kadar hızlı nasıl çekebiliyor? Elimde bulunan sistem dedicated ve performansı iyi... Ancak yukarıda da bahsettiğim gibi optimize etmediğimizden, yavaşlık söz konusu.
Komplo şu an çevrimdışı  
Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Spurl'e kaydet! http://reddit.com/submit?url=%url%&title=%title%Wong'e kaydet!Yahoo'ya kaydet!Google'a kaydet!MSN'e kaydet!Facebook'e kaydet!
Mesajdan alıntı yaparak yeni bir cevap ekleyin
Old 16.04.2007   #4 (permalink)
mow
 
Üyelik Tarihi: 28.03.2003
Yer: İzmir
Yaş: 26
Mesaj: 762
Re: 20 milyon satırlık veritabanında optimize nasıl olur?

ama birşeyler ver ki yardımcı olabileyim, tablo yapısı nasıl, sorgu nasıl gibi : )
mow şu an çevrimdışı  
Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Spurl'e kaydet! http://reddit.com/submit?url=%url%&title=%title%Wong'e kaydet!Yahoo'ya kaydet!Google'a kaydet!MSN'e kaydet!Facebook'e kaydet!
Mesajdan alıntı yaparak yeni bir cevap ekleyin
Old 16.04.2007   #5 (permalink)
 
fatihunal's Avatar
 
Üyelik Tarihi: 14.06.2004
Yer: Ege'nin en büyük köyü
Yaş: 26
Mesaj: 574
Re: 20 milyon satırlık veritabanında optimize nasıl olur?

Tablo motoru nedir? MyISAM, InnoDB, Berkeley vb. Hangisi acaba?

Kendi çapımdaki basit denemelerde InnoDB 'nin yavaş olduğunu gördüm. Fakat, çok büyük veritabanların da InnoDB kullanıyorlar.
Bknz : http://www.innodb.com/userstories.php

Bir deneyim sonucu görmelisiniz.
__________________
Aza sormuşlar nereye gidiyorsun diye. Çoğun yanına demiş. :confused:
fatihunal şu an çevrimdışı  
Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Spurl'e kaydet! http://reddit.com/submit?url=%url%&title=%title%Wong'e kaydet!Yahoo'ya kaydet!Google'a kaydet!MSN'e kaydet!Facebook'e kaydet!
Mesajdan alıntı yaparak yeni bir cevap ekleyin
Old 16.04.2007   #6 (permalink)
 
fatihunal's Avatar
 
Üyelik Tarihi: 14.06.2004
Yer: Ege'nin en büyük köyü
Yaş: 26
Mesaj: 574
Re: 20 milyon satırlık veritabanında optimize nasıl olur?

Şunu da incelemeniz de fayda var diye düşünüyorum.

MySQL ile PHP, MsSQL ile ASP.NET, Eş ve Çapraz Çalışma Denemeleri

Görkem PAÇACI
İzmir Ekonomi Üniversitesi
Balçova, İzmir

http://www.gorkempacaci.name.tr/dosy...mp_bildiri.doc
__________________
Aza sormuşlar nereye gidiyorsun diye. Çoğun yanına demiş. :confused:
fatihunal şu an çevrimdışı  
Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Spurl'e kaydet! http://reddit.com/submit?url=%url%&title=%title%Wong'e kaydet!Yahoo'ya kaydet!Google'a kaydet!MSN'e kaydet!Facebook'e kaydet!
Mesajdan alıntı yaparak yeni bir cevap ekleyin
Old 16.04.2007   #7 (permalink)
 
Komplo's Avatar
 
Üyelik Tarihi: 28.03.2003
Yer: İstanbul
Yaş: 24
Mesaj: 251
Görsel: 1
Re: 20 milyon satırlık veritabanında optimize nasıl olur?

2 adet tablo var. Ana veriler ve kategoriler diye ayrılıyor. Kategoriler 20'den fazla değil. Diğer tabloya foreign key ile bağlı ve burada id'si saklanıyor. Ana verilerin bulunduğu tabloda
ID
Title
Description
Tags
CatID

kolonları var. Arama ise şu an basit bir select sorgusundan oluşuyor.
Kod:
select id from tablom where tags like '%$q[$i]' or tags like '%$q[$i]%' or tags like '$q[$i]%'  order by views desc limit 10
Burada Tags kolonu text tipinde.
Komplo şu an çevrimdışı  
Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Spurl'e kaydet! http://reddit.com/submit?url=%url%&title=%title%Wong'e kaydet!Yahoo'ya kaydet!Google'a kaydet!MSN'e kaydet!Facebook'e kaydet!
Mesajdan alıntı yaparak yeni bir cevap ekleyin
Old 16.04.2007   #8 (permalink)
mow
 
Üyelik Tarihi: 28.03.2003
Yer: İzmir
Yaş: 26
Mesaj: 762
Re: 20 milyon satırlık veritabanında optimize nasıl olur?

tags'a fulltext özelliği verip;

SELECT * FROM tablo WHERE MATCH (tags) AGAINST ('$q[$i]');
mow şu an çevrimdışı  
Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Spurl'e kaydet! http://reddit.com/submit?url=%url%&title=%title%Wong'e kaydet!Yahoo'ya kaydet!Google'a kaydet!MSN'e kaydet!Facebook'e kaydet!
Mesajdan alıntı yaparak yeni bir cevap ekleyin
Old 16.04.2007   #9 (permalink)
 
Komplo's Avatar
 
Üyelik Tarihi: 28.03.2003
Yer: İstanbul
Yaş: 24
Mesaj: 251
Görsel: 1
Re: 20 milyon satırlık veritabanında optimize nasıl olur?

Şöyle söyleyim youtube daki tags mantığı gibi, yani mesela 15 nolu id'nin tags satırında mfö sarı laleler müzik klip gibi bilgiler var...16 no'lu id'de de müzik klip coldplay in my place olabiliyor...
Komplo şu an çevrimdışı  
Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Spurl'e kaydet! http://reddit.com/submit?url=%url%&title=%title%Wong'e kaydet!Yahoo'ya kaydet!Google'a kaydet!MSN'e kaydet!Facebook'e kaydet!
Mesajdan alıntı yaparak yeni bir cevap ekleyin
Old 16.04.2007   #10 (permalink)
mow
 
Üyelik Tarihi: 28.03.2003
Yer: İzmir
Yaş: 26
Mesaj: 762
Re: 20 milyon satırlık veritabanında optimize nasıl olur?

sonradan anlayıp düzenledim önceki mesajımı. ancak fulltext yapman yarım saat sürebilir.

ek: 3 kez aynı şeyi neden tekrar tekrar yazdın sorguda?
mow şu an çevrimdışı  
Add Post to del.icio.usBookmark Post in TechnoratiFurl this Post!Spurl'e kaydet! http://reddit.com/submit?url=%url%&title=%title%Wong'e kaydet!Yahoo'ya kaydet!Google'a kaydet!MSN'e kaydet!Facebook'e kaydet!
Mesajdan alıntı yaparak yeni bir cevap ekleyin
Sponsorlu Bağlantılar
Zoque.Forum
Reklam
Yanıt

Etiketler

olur , nasil , optimize , veritabaninda , satirlik , milyon



 
Zoque'a hoşgeldiniz!
Zoque 27.02.1999 tarihinde yayın hayatına başlamış, paylaşıma dayalı bir oluşumdur. Tasarım, teknoloji, web, kültür ve sanat ana başlıkları altında bilgi paylaşımı ve benzer değerlere sahip katılımcıların birbirleriyle iletişime girmelerine imkan sağlar. "Az ama Öz" sloganından yola çıkarak, kaliteli ve nitelikli katılımı temel alır.

Saygın ve ciddi bir ortamda yardımlaşmak, haberleşmek, kendi bildiklerini diğer katılımcılarla paylaşmak isteyen, oluşumumuza düzenli katılımda bulunacağı inancını taşıyan konuklarımızı üye olmaya davet ediyoruz. [ » ]


Üye Girişi:

UslanmaM baktabul.com TEKplatform TEKplatform

En popüler ilk 100 etiket
Tag Cloud
acil adsl ajax almak arama araniyor ariyorum ariyoruz asp bilen bilgi bilgisayar blog calisma canon css div domain dosya eleman film firefox flash font form forum fotograf freelance google gore grafik grafiker hakkinda hangi hata hatasi hosting html ilgili ilk image internet istanbul istiyorum java javascript karakter kayit kisisel kullanimi link logo mac mail menu muzik mysql nasil neden nedir online oyun photoshop php problemi program programi reklam resim satilik sayfa script server ses sistemi site sitesi son soru sorun sorunsali sorunu sql swf tasarim tasarimci tasarimcisi tasarimi turk turkce veri video web windows wordpress xml yardim yazi yeni zoque
Zoque RSS Aboneliği
Son eklenen konuları e-posta ile haber verelim mi?

Forum Yazılımı: vBulletin® Version 3.7.3 Copyright ©2000 - 2008, Jelsoft Enterprises Ltd.
Search Engine Optimization by vBSEO 3.2.0

Arayüz/Skin "Güneş" © www.zoque.com / net. Copyright © 1999 - 2008
Forum Saati GMT +2. Şu anda saat: 00:56.