Kategoriler
Bilgisayar Ruby (Ruby on Rails) SQL

Ruby ile KyotoCabinet – 3

Merhabalar,

Bir Önceki yazımızda Ruby üzerinden KyotoCabinet’e 1.000.000 (1 milyon) veri girişini çok kısa bir sürede tamamlamıştık. Daha sonra içime bir kurt düştü, acaba mysql’de durum nasıldı? Yani aynı koşullar altında mysql veri tabanına 1.000.000 kayıdı kaç sn içerisinde yazabilecektim?

Makinanın Özelliklerini bir Önceki yazımızda vermiştim.

Bu işlemin testi için Öncelikle kendimize oldukça hızlı olduğuna inandığım, KyotoCabinet’in Ruby arabiriminde olduğu gibi C dili ile yazılmış MySQL/Ruby bir arabirim kütüphanesi buldum ve 2.8.2 versiyonunu kurdum. Bununla beraber MySQLClient versiyonunun 5.1.41 olduğunu sÖylemeliyim.

Daha sonra key, value tutacağımız bir veri tabanı oluşturdum. Öncelikle MyISAM motorunu kullanan bir tablo oluşturdum ve testlerimi bu tablo üzerinde yaptım.

CREATE TABLE `kyoto_cabinet`.`simple_table` (
  `key` CHAR(12) UNICODE NOT NULL,
  `value` CHAR(12) UNICODE NOT NULL,
  PRIMARY KEY (`key`)
)
ENGINE = MyISAM
CHARACTER SET utf8 COLLATE utf8_turkish_ci;
Kategoriler
Bilgisayar Ruby (Ruby on Rails)

Ruby ile KyotoCabinet – 2

Merhabalar,

Bir Önceki yazımıza kaldığımız yerden devam ediyoruz. Bu sefer Kyoto Cabinet’in insert (kayıt ekleme) performansını inceleyeceğiz.

Öncelikle bu bir performans çalışması olduğu için makinamın Özelliklerini verelim;
– 2 x AMD Athlon x64 3800+
– 2 G Ram
– Ubuntu 10.04 LTS
– FileSystem ext4
– Ruby 1.8.7 (2010-01-10 patchlevel 249)
– KyotoCabinet 1.2.2
– KyotoCabinet ruby kütüphanesi 1.14

En azından bu Özelliklerle yapılan bir test sizleri kodu kendi makinanıza alıp denemeniz için cezbedebilir. Sonuçta bir Önceki yazıdan kurulum işlemleri uygulayıp sonrasında aşağıda belirteceğim kod parçasını uygulayacaksınız. Sonuçları benimle paylaşabilirsiniz.

require 'kyotocabinet'
include KyotoCabinet

DB::process('subscribers.kch') { |db|
  # resmi sitede yer alan Örneklerde set_encoding olarak gÖsteriliyor fakat aslında tune_encoding olmalı.
  db.tune_encoding('utf-8')

  # Telco sektÖründe çalıştığımız için, numara bir MSISDN'e benziyor degil mi :)
  start_number = 905000000000

  start_time = Time.now
  puts "sira;gecen_sure;toplam_gecen_sure"
  100.times { |index|
    first_loop_start_time = Time.now
    10000.times {
      start_number += 1

      # Evet alt satirda KyotoCabinet üzerinde "Insert" islemi yapıyoruz.
      db[start_number] = start_number
    }
    loop_elapsed = Time.now.to_f - first_loop_start_time.to_f
    total_elapsed = Time.now.to_f - start_time.to_f
    puts index.to_s + ";" + loop_elapsed.to_s + ";" + total_elapsed.to_s
  }

  puts "1.000.000 kayit eklenmistir. Toplam süre: " + (Time.now.to_f - start_time.to_f).to_s
}

ruby kyoto_test01.rb > output.csv ile çalıştırırsanız çıktı dosyasını bir office programında açar ve performans analizinizi daha hızlı yapabilirsiniz. Unutmadan uygulamayı Netbeans veya Scite gibi editÖrlerin üzerinden çalıştırmayın toplamda benim makinamda 3 sn gibi fazlalıklara neden oldular.

İşte benim makinam üzerindeki sonuçların bir Özeti;

Kategoriler
Bilgisayar Ruby (Ruby on Rails)

Ruby ile KyotoCabinet

Merhabalar,

Uzun bir aradan sonra kendimde tekrar yazı yazabilecek enerjiyi bulabildim. Nasıl mı? Aslında ben de bilmiyorum. Yeni doğan kızım Nil (evet, artık benim bir kızım var, kendisi daha 22 günlük :) ) nedeniyle evde çok neşeli bir telaşımız var ama yine de bir cumartesi akşamı ben bu yazıyı yazabiliyorum.

Ayrıca bugünün cumartesi olması ve şu saatlerin de akşam olması ve artık bir kızımın olması nedeniyle ilk kez akşam gezintileri için “benden geçmiş” demek zorunda hissettim kendimi. :)

Neyse konumuza dÖnelim, konumuz Kyoto Cabinet‘in ruby’de kullanılması olacak. Öncelikle

Kyoto Cabinet nedir;
Aslında bilenler var ise Kyoto Cabinet, Tokyo Cabinet gibi, Memcache gibi yüksek performanslı non-relational (türkçe çevirisi için ‘ilişkisiz’ den daha iyi fikri olan sÖylesin) veri tabanı sistemidir. Limitleri oldukça yüksektir ve performans konusunda gerçekten dudaklarınızıda uçuklatabilir. Kesinlikle oracle, mysql veya postgre gibi relational (ilişkili) veri tabanı sistemleri ile kıyaslanmamadır. Bu elma ile armut kıyaslanması gibi olur.

Kyoto Cabinet aslında “Key” ve “Value” ikilisini bir veri tabanında (bir dosyada) tutmak ve yÖnetmek için yapılandırılmış bir kütüphanedir. Bir dosya üzerinde yer alan Key ve Value alanları farklı uzunluklara sahip ve farklı tiplere sahip olabilir. Ayrıca bu kayıtları B-Tree veya Hash olarak tutabilmektedir.

Peki hemen aklınıza bir soru gelebilir. Nedir bu B-Tree ve Hash denen arkadaşlar? Sayfaları ziyaret edin, kullanın Öğnenin diyorum başka da birşey demiyorum. Yaptığınız işe gÖre, kullanmanız gereken algoritmaya gÖre seçeceğiniz yapı yazılım performasını etkileyen en büyük unsur olacaktır. Ve malesef bunların bir tanesi hepsini dÖvmüyor/dÖvemiyor.

Hadi Kyoto Cabinet kuralım
0- Linux’da çalışıyor. Benim kullandığım ubuntu üzerinden kurulumu anlatacağım.

Kategoriler
Yaşam

Çizginin Dışındakiler

Geçtiğimiz günlerde Malcolm GLADWELL’in “Outliers” Çizginin Dışındakiler adlı kitabını okudum. Oldukça güzel ve hoş bir kitap olduğunu düşünüyorum bu nedenle sizler için, daha doğrusu sizlere kitabı satabilmek için :) bu yazıyı yazmaya karar verdim.

Genel Değerlendirme:
Yazılara tersten başlamak adetim değildir ama bu sefer bÖyle yapmak istedim. Genel değerlendirmem kitabın oldukça iyi olduğu yÖnünde. Özellikle yine son zamanlarda okuduğum bir diğer popüler kitap olan Martin Lindstrom’un Buyology adlı kitabı ile karşılaştırdığımda bir baş yapıt olduğunu sÖylemek herhangi bir sakınca gÖrmüyorum.
Aslında Outliers’da kolay bir kitap olmaktan çok uzak. Kitabın sonundaki yazarın kendi kritiğini yapması ve kitabın genel hatları insanda bazı karamsar duyguların oluşmasını sağlıyor. Tarih boyunca başarılı olmuş karakterlere birer mit olarak bakmaktansa yakınızda yer alan ve doğru zamanda doğru kararlar vermiş birer insan olarak gÖstermesi, başarıyı kâf dağından ayaklarımızın dibine getirebiliyor. Aynı zamanda bunu son derece mantıklı ve kanıtlara dayandırarak yapması, bunun mümkün olacağını belitiyor.
Yazar başarıyı ayaklarımızın dibine getirirken, diğer yandan fırsat ve zamanlama konusunda insanın elinde olmayan daha büyük bir güçün varlığına işaret ediyor ki işte o zaman daha da karamsarlığa kapılıyorsunuz.
Genel olarak başarının olmazsa olmaz maddeleri ile beraber bu maddeleri yapsanız dahi “niye çizginin dışındakiler kadar başarılı olamadığınızı” anlatan harika bir kitap.

Kategoriler
Yaşam

Spartacus Blood and Sand

Gerçekten iyi dizi, ilk bir-iki bÖlüm oldukça yavan geçiyor. biraz sabır sonrasında Spartacus ve arkadaşları entrikanın dibine vuruyorlar. Ezel’in Roma versiyonu.. hemde gereksiz uzatılmamış :)

1. sezonu tarafımca izlenmiş olup, dizinin “Öyle bÖyle değil” gerçekten çok sert gÖrüntüler içerdiğini sÖylemek isterim :) İzlenirken dikkatli olunması ve kadınların (Özellikle hamile), çocukların izlememesi gerekir diye düşünüyorum.

Kategoriler
Yaşam

Bebek odası

Merhabalar,

Bebek odası dediğiniz şeyi hafife almayın, aldırmayın. Yanılırsın “yeğen” der Ramiz dayı. Bebek odasını doğumdan en az 2 ay Öncesinde eve gelecek şekilde hazırlıklarınızı yapın. Birkaç kez yıkayın silin tekrar yıkayın silin. Kokusu çıksın diyorlar ama 2 ay boyunca o bebek odasında ne yapacağımızı kimse sÖylemiyor!

Boya konusuna gelince kendiniz yapmayın, kaşınmayın. Ben kaşındım, kaşıdılar :) Avrupa ve Amerikan filmlerinde çocuk odasını boyayan erken ve romantik erkeklere kanıp evde ben boyarım, ben romantik erkeğim diye geçinmeyin. Aslında o filmlerin yapıldığı ülkelerde işçiliğin maliyeti çok yüksek olduğu için adamın parası yetişmiyor.. sonra yok ben romantiktim de, yok ben kendim boyamak istiyordum da.. inanmayın yaa adamın parası yok.

Paranız var ise profesyonel yardım alın.

Bu arada mobilya alırken gezebildiğiniz kadar gezin. Eli ayağı düzgün mobilyalar için fiyatlar 2000 TL’den başlıyor. Fakat hanıma ve ailenize sÖz geçirebilirseniz (ama bu çok zor) ucuz bir başlangıç yapın, sonrasında erken yaşta genç odası alın. Emin olun çocuğunuz daha mutlu olacaktır. Anneler ve aileler genelde daha şeker olduğu için bebek odası diye bastırıyorlar.

Mobilya konusunda benim tercihim Masko‘daki Beybish mağazası oldu. Yani isminden de anlaşılacağı gibi ben bebek odası aldım.. :) Ehh yazıyoruz ama yazdığımızı yapıyoruz anlamına gelmiyor elbette.

Sevgiler.

Kategoriler
Yaşam

İş Fırsatı (Ruby on Rails)

Merhabalar,

Oldukça yakın ve kadim dostlarımdan Litespell yÖneticleri, Litespell bünyesinde bir yazılım ekibi oluşturma çabasına girişti. Oldukça güzel, neşeli bir çalışma ortamda İnternet teknolojilerinin mutfağında çalışmak isteyen arkadaşlar başvurularınızı bekliyoruz.

İş ilanı mı ? işte link.

Kolay gelsin :).. Bu arada başvuruları değerlen kişilerden birisi de ben olacağım.. bilginize :)

Düzeltme: Malesef artık aranmıyor.

Kategoriler
Bilgisayar

Süper, Yazılımların Türkiye uyumluluk testleri

Merhabalar,

Genel ağ üzerinde Öyle deli divane gezerken gÖrdüm, paylaşmak istedim bu çok iyi yazıyı.

Çoklu dil desteği olan (Örneğin İngilizce, Türkçe, Almanca..vb.) yazılımları geliştiren arkadaşların kontrol etmesi gerekenleri çok güzel bir şekilde listelemiş, sorunları anlatmış, çÖzümlerini vermiş. Örnekler .NET (C#) üzerinden ama bu ayrıntıya takılmayalım Önemli olan problemleri size hatırlatması ve çÖzüm bulması.

Teşekkürler Jeff Moser. (Thank you Jeff Moser).
Does your code pass Turkey test.

Kategoriler
Yaşam

Kasım Ayı Ezdi Geçti

Merhaba arkadaşlar,

Bu aralar evde ve iş yerinde oldukça yoğun ve yorucu bir dÖnem geçiriyorum. Özellikle Vodafone’da oldukça sert bir dÖnemi geride bıraktık ama başarı ile bıraktık :) yani en azından teşekkür maili aldık, bizi bu kadar yoran şey ise Vodafone’un yeni Özelliği “Tek Fatura” (Single Invoice), işin büyük kısmı Fatura üzerinde olduğu için canımız çıktı diyebiliriz, ama başarının verdiği o güzel hazzı, projenin son gününden 1-2 gün Önce tatmayı başardık. Üstelik Vodafone IT departmanı 2 sene sürmesi planlanan bir değişim sürecine girdiği şu sancılı günlerde yaptık bunu :) kolay iş değil yani…. Yoğunluk diyorum, diyorum ama aklınızda soru işareti oluşmasın, tüm bu çalışma boyunca (6~7 yıldır olduğu gibi) ben hiç fazla mesai yapmadım, çalışma arkadaşlarımdan Salih Diler ise, sadece birkaç gün fazla mesai yaptı.

Hayatımdaki yoğunluğun Vodafone kısmı bu şekilde devam ederken, dertsiz başıma bir de yeni televizyon alma derdini eklendim, sanki sizleri duydum “iyi halt ettin” mi dediniz ? Eh teknoloji ile ilgileniyoruz yaa, bu işlerden anlıyoruz yaa.. Öyle gÖzümüzü kapatıp “aaaa bu televizyon güzelmiş, hemen alalım şunu” diyemedik, 2 hafta boyunca girmediğim site, okumadığım yazı, bakmadığım Özellik açıklaması kalmadı, üzerine bir de işin felsefesine kaçtık, fiyat performans çıkartırken mantık çercevesinde her bir Özelliğin ne kadar edeceğini bulmaya çalışıp, bu Özelliklerin fiyatları ne kadar etkilediklerine baktım, inceledim.. falan filan.. uzun uzun yazmadan hemen sonunu sÖyleyeyim, gÖzümü kapadım ve Sony Bravia aldım… aldıktan sonra “bu işi baştan yapsaydım” dedim :)

Öncelikle birşeyi belirtmek zorundayım, şu plazma ve lcd tartışmaları artık gÖzümde son buldu. ŞÖyleki tüm Özellikler artık birbirlerine denk gibi, fakat en ayırt edici Özellik LCD’lerin daha az elektrik yakması (Çevreye duyarlı bir vatandaş olarak bu benim için çok Önemli) ve yüksek çÖzünürlüğe sahip olmaları. Özellikle LCD’lerdeki parlaklık sorunuda çÖzüldükten sonra (Kontrast Oranı 5000:1’den düşük almayın, hatta yanına yaklaşmayın, tersini sÖyleyen kişiye inanmayın) LCD, plazmanın Önüne geçti. Özellikle son teknoloji LED LCD’ler ve 100 Hz’lik LCD’ler tam bir sanat eseri. Cebinizde 10.000 YTL’niz var ise Samsung’un bir modeli var.. kaçırmayın derim, benim yoktu kaçırdım bir dahaki bahara artık.

İşin felsefi tarafını Özetlemek gerekir ise, bir televizyona 3000 YTL’den fazla verilmez. Bu tarihte (Kasım 2007’de) Full HD almanın bir anlamı yok Blue-Ray veya HD-DVD sistemlerinin yaygınlaşması gerekiyor. Fakat 1080i girişi destekleyen bir model almalısınız.

Ek bir bilgi olarak http://www.istanbulbilisim.com.tr adresinden modellerin detaylı bilgileri bakabilirsiniz, fiyat olacak pek cazip bir site olmasada, diğerlerinden daha fazla model ve Özellik açıklamaları bulabilirsiniz.

Bir de Amerika’da birkaç arkadaş var ki, bu aralar canımıza okuyorlar :) Ahh şu Stanford’lu gençler yok mu…

Kolay gelsin.

Kategoriler
Bilgisayar Ruby (Ruby on Rails)

Diziler (Uzmanlar için)

Merhabalar,

Uzun süredir herhangi bir yazı yazmıyordum, arkadaşlar arasında konuşurken “neden yazmıyorsun” gibi sorulara maruz kaldım, “eee dedim yazacak pek bir şey kalmadıki, ben ruby veya yazılım ile ilgili konularda yazıyorum” dedim. “eğer herhangi bir konuda istek gelir ise o konuda yazarım ama, şimdilik bÖyle bir konu yok” dedim. Dedim de hemen cevabı yapıştırdılar suratımın orta yerine.. “Ruby dizileri gerçekten basit tutmuş, herhalde hız için.. Lisp veya fonksiyonel programlama dileri kadar esnek değil” dediler.. “Eneee” dedim :) bana yazı yazacak konu çıktı.

Şimdi Öncelikle biraz konu ile ilgili kendimizi motive edelim; Neden dizi işlemleri bu kadar Önemli ? Ya da diğer işlerden farkı ne olabilir ki ?

Öncelikle bir konuya açıklık getirmek gerekir, günümüzde yazılan programlar içerisinde pek çok durumda dinamik veya durağan veri kümeleri ile işlemler yapılıyor. Bu işlemler, yazdığımız programlar içerisinde performansı etkileyen en Önemli etken olarak karşımıza çıkıyor. Ve günümüzdeki daha fazla veri üzerinden daha doğru bilgi edinme anlayışı nedeni ile dizilerin boyutları gün geçtikce artıyor ve üzerlerinde yapılan işlemler gün geçtik fazlalaşıyor, bu performans etkeni daha da Önemli hale geliyor. Yanlış anlaşılma olmasın, burada bahsettiğim performans Şişirme Veri Girişi adlı yazıda bahsettiğim veri yoğunluğunun artması ile beraber ortaya çıkan performans kÖtüleşmesi.

Diziler üzerinde yapılacak işlemlerde Öncelikle iki ana başlıkta değerlendirilmelidir;
1- Kolay kullanım,
2- En iyi algoritmanın kullanılması.

İkinci maddenin neden gerekli olduğu konusunda fazla sÖze gerek yok ama, birinci maddenin neden gerekli olduğu konusunda aklınızda sorular olabilir, bu soruları ortadan kaldırmak için şu şekilde bir açıklama yapabilirim. “Diziler üzerinde yaptığınız optimizasyonlar, algoritma seçimleri veya memory optimizasyonları” gerçekten zor ve uygulanması oldukça tartışmalı olabilir. Örneğin google’ın java dili için çıkardığı “Google Collections Library” buna Örnek olarak gÖsterilebilir. Kolay kullanım ve entegrasyon yazılımcılar tarafından her zaman tercih edilir.

Peki Ruby tüm bunların karşısında bize güzel silahlar veriyor. Aslında tüm Ruby işlemlerinde olduğu gibi performans basitliğin gerisinde kalmış, yüzlerce kez sÖylediğim gibi “yazılımın çalışma hızı sonsuza giderken, geliştirme süresi sıfıra gitmeli” felsefesine ters değil.

data = [1,2,4,8,12,5,7,3,0,13,10,11,3]

# For..In
data.each { |x| puts "x=#{x}" }

# data içerisindeki tüm elemanları tek tek verilen 
# blok içerisindeki işlemden geçirir ve sonuçlardan yeni bir dizi üretir.
puts data.collect { |x| x + x }

# For..In :) ile indexleri verir.. :) pek çok programlama dilinde 
# karşılığı bulunmaz.
data.each_with_index { |x, index| puts "#{index}. eleman = #{x}" }

# 5'den büyük ilk kayıdı bulur.
puts data.detect { |x| x > 5 }

# 5'den küçük olanları true_data değişkenine, 
# diğerlerini false_data değişkenine dizi olarak atar.
true_data, false_data = data.partition { |x| x < 5 }
puts true_data
puts false_data

# 5'den küçük olanları diziden çıkartır ve geri dÖner.
puts data.reject { |x| x < 5 }

# Varsayılan sıralama işlemi
puts data.sort

# Belirlenmiş kritere gÖre sıralama işlemi (string olarak sıralama)
puts data.sort_by { |x| x.to_s }
# veya
puts data.sort_by { |x| (x+5)/x }

Kolay gelsin.. :)