Tankut Şentürk tarafından yazılmış tüm yazılar

mzbench ile performans analizleri – 2

Selamlar,

Bugün daha önce başlamış olduğumuz mzbench ile performans analizlerinin 2. yazısı ile beraberiz. Bu yazımızda mzbench ve node’ları oluşturulmasından bahsedeceğim.

Kurulum aşaması oldukça basit ve uygulanabilir, ben özellikle “From source” bölümünü tavsiye ederim.

Bunun mzbench sunucu kurulumu linux türevi üzerine kurulması daha doğru olacaktır.

Küçük bir ek, yazını yazıldığı bu günlerde henüz mzbench kodları Erlang 21.x için uygun değildi. Bu nedenle Erlang 20.x versiyonlarını devam etmenizi öneriyorum. Erlang 21.x’e uygun gale getirmek biraz uğraştım ama o kadar da kolay değil.

Kurulum sonrasında hemen “Quickstart” bölümüne geçebilirsiniz. Bir küçük hatırlatma eğer işletim sistemi CentOs veya benzeri firewall ayarlarının tümü kapalı olan bir dağıtım ise “sudo” ile çalıştırmayı ve iptables üzerinden gerekli yetkileri vermeyi unutmayın.

İlk çalıştırma sırasında çalışması biraz uzun sürebilir, merak etmeyin ilk kez çalıştığı için kodlarını derliyor :) daha sonrasında çok hızlı açılacaktır.

Herhangi bir node tanımı yapmadık bu nedenle tek node (mzbench sunucusunun kendisi) olarak çalışacaktır. Günümüz sunucularında yer alan CPUx8 ve 32GB Memory ile aynı anda 2500 kullanıcıya kadar herhangi bir sorun çıkarmadan simule edecektir. bu birçok performans analizi yeterli bir sayıdır.

Bu sayıyı daha da arttırmak istiyorsak, mzbench sunucusuna node eklememiz gerekiyor, mzbench node’lar üzerindeki tüm işlemleri kendisi yapacaktır, sizin sadece çalışan bir linux dağıtımı ile passwordless ssh login işlemlerini gerçekleştirmeniz gerekli. Başka bir kurulum veya yetkilendirme adımına gerek yok.

Dikkat: mzbench “sudo” ile başladı ise root@xxxx olarak passwordless ssh tanımları yapılmalı.

mzbench’in konfigurasyon dosyası “/<kullanıcı adı>/config/mzbench/server.config” dır. Bu dosyanın içeriği aşağıdaki gibidir;

[{mzbench_api,
[{vm_args,[]},
{bench_poll_timeout,20000},
{max_bench_num,1000},
{bench_log_read_chunk,32000},
{node_git,"git@github.com:satori-com/mzbench.git"},
{worker_deployment_path,"~/.local/share/mzbench_workers"},
{user_authentication,[]},
{network_interface,"0.0.0.0"},
{keyfile,"~/.local/share/mzbench_api/server.key"},
{node_interconnect_port,4804},
{warn_free_disk_kb,100000},
{plugins_dir,"~/.local/share/mzbench_api/plugins"},
{final_metrics_percentiles,[min,50,90,95,max]},
{ntp_max_timediff_s,undefined},
{protocol,http},
{cacertfile,none},
{bench_metrics_compression,none},
{node_deployment_path,"~/.local/share"},
{bench_data_dir,"~/.local/share/mzbench_api/data"},
{listen_port,4800},
{bench_log_file,"log.txt"},
{metric_update_interval_ms,25000},
{tgz_packages_dir,["~/.local/cache/mzbench_api/packages",
"/opt/mzbench_api/cache"]},
{bench_metrics_file,"metrics_~s.txt"},
{white_list,[]},
{admin_list,[]},
{gc_sleep,10},
{black_list,[]},
{cloud_plugins,[{static,#{hosts => ["root@192.168.1.01","root@192.168.1.03","root@192.168.1.05", "root@192.168.1.02", "root@192.168.1.04","root@192.168.1.06"],
module => mzb_staticcloud_plugin}}]},
{bench_read_at_once,1024},
{custom_os_code_builds,enable},
{bench_log_compression,deflate},
{certfile,"~/.local/share/mzbench_api/server.crt"},
{bench_log_max_dashboard,2048000},
{auto_update_deployed_code,enable},
{bench_log_user_file,"log_user.txt"}]
}].

Özellikle kalın yazı ile belirttiğim ayarlar oldukça önemli. Bunlar;

cloud_plugins; Node listesini ve hangi kullanıcı ile bağlanacağını belirtir. Dediğim gibi passwordless ssh login ile mzbench sunucusu node’lara erişebilir olması gerekiyor. Kısaca sunucu üzerinde “ssh <kullanıcı_adı>@node_id” yazdığınızda sistemin şifre sormaması gerekiyor. Birden fazla node eklendiğinde mzbench son eklenen node’u sadece metrikleri tutmak için kullanır, yani son eklenen node yük için kullanmaz. Bunu engellemek için sunucunun kendi adresini de listenin en sonuna ekleyebilirsiniz. Bunu yaptığınızda özellikle metric_update_interval_ms ve bench_poll_timeout değerlerini yükseltmeniz gerekir ki aynı makine hem sunucu hem de metric collector olarak çalışabilsin.

metric_update_interval_ms; Bu bilgi ilgili node’ların oluşturdukları değerleri ne kadar sıklıkla sunucuya ileteceklerini gösteriyor. Gereksiz kısa bir değer sunucular üzerindeki yükü arttıracak ve node başına 2500 kullanıcı sayısı gittikçe azalacaktır.

final_metrics_percentiles; Belirlenen metriklere ait hangi değerlerin grafik olarak gösterileceğini ifade eder. Performans analizlerinde ortalama pek bir işe yaramaz. Bu nedenle bu varsayılan değerler yeterlidir, eğer çok hassas bir servis var ise 99’un da eklenmesi faydalı olacaktır.

bench_poll_timeout; Sonucunu node’lara dağıttığı kullanıcıların akıbetini öğrenmek için yaptığı çağrının zaman aşımı değeridir. Node’ların çok yoğun olduğu yüksek kullanıcılı testlerde Node’lar bazen sunucuya bu timeout değeri içerisinde yanıt veremezler. Mzbench node’lardan birisi kapandığını düşündüğü için tüm işlemleri durdurur.

Şimdilik yazacaklarım bu kadar, bir sonraki yazımda performans scriptlerinin bahsedeceğim.

Sevgiler.

mzbench ile performans analizleri

Selamlar,

Bugün özellikle geçmiş günahlarımdan biri olan performans analizleri konusunda yazacağım. Uzun bir süredir performans analizleri / iyileştirmeleri uğraşıyorum. Bu çalışmalar sırasında pek çok ürünle çalışma fırsatı buldum, bunlar arasında JMeter, IBM RPT, Microfocus (HP) Load Runner bunlardan bazıları. Bu ürünler kendi alanlarında oldukça iyi. JMeter herhangi bir “recording tool” u olmadığı için el ile çok işlem gerektiriyor ama aralarındaki en iyi de o açıkçası.

Fakat bu yazımda ben mzbench’den bahsedeceğim. Oldukça iyi ve tamamlanmış bir ürün. Hali hazırda 10k kullanıcıyı simule etmek için aktif halde kullanıyorum. Kullanmak için kesinlikle development yetenekleri gerekiyor (özellikle erlang). Hatta eğer development yeteneğiniz var ise JMeter’dan da oldukça iyi bir ürün. Eğer development yeteneğiniz yok ise topluluk desteği güçlü olmadığı için JMeter ile başa baş olabilir.

Özellikle erlang’ın gücü ile 4 node ile 10k kullanıcı etkisi yaratılabiliyor. Diğer ürünler ile bu rakamlara ulaşmak neredeyse imkansız.

Node’lar için pek de CPU’ya ihtiyaç yok fakat memory ve network sistemlerinin özellikle iyi olması gerekiyor. Herhangi bir linux dağıtımı ile sorunsuz çalışıyor. Ben CentOs ile mzbench’in adresinde verilen talimatları takip ederek sorunsuz şekilde çalışıyorum.

Cloud üzerinde yaygınlaşması ise mzbench server’ın node’lara passwordless ssh ile bağlanmalarını sağladığınızda ortadan kalkıyor.

Kendi ölçüm değerlerinizi kod içerisinde kendiniz belirtiyorsunuz. Tüm çalışmalarınızı ve raporlarınızı kayıt altında tutuyor.

Kısaca giriş seviyesinde erlang bilgisi ile belki de en iyi performans analiz ürününe sahip oluyorsunuz.

Bu performans analizleri beraber, hedef sunucu üzerindeki değerleri “node exporter” veya benzeri bir ürün ile prometheus + grafana ya almanızla beraber “high level” performans analizleri için gerekli tüm elementlere sahip olabilirsiniz. Tek yapmanız gereken şey developer olmak..

Sevgiler.

Yeni – yeniden başlangıçlar

Selamlar,

Uzun bir aradan sonra merhaba, biliyorum çok uzun süredir yazamadım belki de bu uzun araya ihtiyacım vardı.. veya başla şeylerin arkasına saklandım. Artık çok da önemli değil açıkçası yine yazmak için vaktim var. Aklımda da yazacak bir şeyler varken vakit kaybetmek istemedim.

Tekrar yazılım geliştirici olarak çalışmaya başladım. Uzun süren oldukça başarılı yöneticilik deneyimlerinden (sadece ben öyle düşünmüyorum :) ) sonra benden daha iyi veya denk olduğunu düşündüğüm bir ekip ile tekrar yazılım geliştirmeye başladım. Benim için oldukça heyecanlı ve zevkli. Uzun süredir ilk kez yaptıklarımdan mutluluk duyuyorum. İlk başlarda üretkenliğim tavan yaptı, belki de bu kadar tecrübeli olmasam maymun iştahlılık yapıp bir çok şeyi aynı anda yapmaya çalışırdım ama neyse ki şu agile & lean süreçleri kanıma işlemiş, istesem de aksi şekilde davranamıyorum.. her durumda işleri bir şekilde bu süreçlere uydurmayı başarıyorum :)

İlk yazım olduğu için çok uzatmayacağım ama söylemek istediğim, 2009’da Bilgi Üniversitesinde MBA öğrenimi ile beraber başladığım ve özellikle yazılım geliştirme ve test ekiplerinde başarıyla yürüttüğüm yöneticilik deneyimine belki bir “,” belki de bir “.” koyarak tekrar yazılım geliştirme başladım. Eskiden olduğu gibi sadece akşamları değil yani :), ilk 4 ay geride kaldı. Maşallah deyin :)

Biraz ekipten bahsedeyim, ekip içerisindeki herkes yazılım geliştirici herhangi bir sıfat veya sabit bir rol yok. Yeteneklerine ve isteklerine göre işleri alıyorsun. Zaten bir başlık altında çalışmaya başladıktan sonra o başlıktan kurtulmak zor :) ama imkansız değil. Ekip içerisindeki tecrübe ve yetkinlik (ben dahil 5 kişi daha önce ekip yönetmiş) yüksek olduğu için projenin sonunu ve yolda başımıza gelebilecek potansiyel çalışma zorluklarını en başından görebiliyoruz. Bu nedenle otomasyon, çeviklik ve değişime açık olmaktan hiç ödün vermeden devam ediyoruz. Dediğim gibi maşallah deyin :)

Sevgiler.

Bahar temizliği – zor zamanlar

Merhabalar,

Geçtiğimiz dÖnemde bir bahar temizliğine giriştik. Giriştik diyorum çünkü ne ile karşılaşacağımızı pek de bilmiyorduk açıkcası. Temizlik sırasında Ön gÖremediğimiz pek çok problem ile karşılaştık. Duvarlar üzerindeki fayansları yağ tabakası kaplamış ve aradan seneler geçtiği için bu yağ normal temizleyiciler ile çıkmadı. Kollarım koptu deyimini o an gerçekten yaşadım.

Tüm bunlara ek olarak, uzun süre temizlenmemesi nedeniyle tüm metaller paslanmıştı. Yine standart temizleyicileri deneyip başarısızlığa uğradım.

Her iki konu için de başarısızlığı uğradıktan sonra abimden yardım istedim. Özkimsan.com üzerinden pas sÖkücü ve yağ sÖkücüler sipariş ettim. Sonuç tek kelime ile mükemmel. Standart yağ ve pas sÖkücülerle bildiğin yarım yamalak temizlediğim (veya temizlediğimi zannettiğim) yüzey ve malzemeleri çarçabuk temizledik. Sonra da kendime neden daha Önce sipariş vermedim diye kızdım açıkcası.

Siz siz olun, profesyonel destek alıp bu işlere girişin. Ben Özkimsan.com’u kullandım memnun kaldım. Sizlere de tavsiye ederim.

Kolay gelsin.

Jetty Rails 0.8.1 ek güncellemesi

Merhabalar,

Bir süre Önce, çalışmakta olduğum bir projenin Windows sistemleri üzerinde yayınlanma zorunluluğu ortaya çıktı. Daha Önceki yazılarımda rails projeleri için Windows alternatiflerinden bahsetmiştim.

Jetty-rails 0.8.1 için belirttiğim güncellemeleri yaptıktan sonra kullanılan jetty sürümünü “Jetty 6.1.26” olarak güncelledim. Cisco bir firewall’ın ardından çok uzun bir süredir herhangi bir performans ve güvenlik problemi olmadan uzun süredir hizmet veriyor.

Tavsiye ederim.

Sevgiler.

Ruby 2.0 Woow

Merhabalar,

Ruby 2.0 çıktı, hem de oldukça iddialı. SÖylenene gÖre pratik kullanıma hazır ve nazır bir versiyon. Umarım ilk kullananlar gÖrüşlerini paylaşır.

Yenilikler;

  • Keyword arguments: Python kullanıcıları bilir, method çağrımları sırasında parametrelerin isimleri ile atama yapabilme yeteneği.
  • Yeni Mix-in yÖntemi
  • %w ile diziler oluşturabiliyorduk, şimdi %i ile sembol dizileri oluşturabileceğiz. Belli ki Rails için :)
  • Artık varsayılan encoding UTF-8 olmuş nihayet.. valla nihayet
  • Enumerable‘dan türeyen diğer tüm sınıflar için (genel anlamda diziler ve range’ler için) yeni mis gibi geliştirmeler.
  • Yeni regular expression motoru (Oniguruma), ilgili yazım
  • Daha gelişmiş debug desteği, belki şu debug amaçlı logger’ların sayısını azaltabiliriz.
  • Bu Önemli; GC (garbage collector…nam-ı değer çÖp toplayıcısı) için “bitmap marking” yÖnteminin kullanılması. Normalde bu yÖntem REE’deki arkadaşlar tarafından uzun süredir kullanıyor ama performans konusunda iyileştirmeler yapılmış diye okudum bakalım ne kadar doğru..
    REE’de yer alan GC performansı Q(n) di sanırım,
    Ruby 2.0’da bunu Q(1) olacak şekilde iyileştireceklerini sÖylüyorlardı.
  • Artık daha hızlı method çağrımı
  • Rail artık daha hızlı açılacakmış.. mesele açılması değil, çalışması :)
  • Noktalı sayılar için işlemleri de iyileştirmişler.

İyi çalışmalar.

Super Superonline Faciası — Son hız devam ediyor

Merhabalar,

Onlarca kez müşteri hizmetlerini aramama rağmen halen superonline’dan 2009 yılında aldığım fiber hizmet ÇALIŞMIYOR. Ama adamın biri benim yerime aşağıdaki gibi güzel güzel kullanım yapıyor. Ama ilginçtir son zamanlar kullanımı biraz düşmüş neden acaba?

Veri İletim YÖntemi Oturum Açılma Tarihi Oturum Kapanma Tarihi İndirilen Miktar(MB) GÖnderilen Miktar(MB)
Fiber 22.11.2011 03:43:10 25.11.2011 15:43:44 0,51 0,22
Fiber 22.11.2011 03:43:11 25.11.2011 03:43:45 85,67 8,44
Fiber 22.11.2011 03:43:13 24.11.2011 15:43:44 0,51 0,22
Fiber 22.11.2011 03:43:11 24.11.2011 03:43:45 31,62 1,14
Fiber 22.11.2011 03:43:12 23.11.2011 15:43:43 0,52 0,22
Fiber 22.11.2011 03:43:12 23.11.2011 03:43:46 7,10 1,47
Fiber 22.11.2011 03:43:13 22.11.2011 15:43:40 0,55 0,23
Fiber 18.11.2011 03:19:25 22.11.2011 03:40:43 22,10 1,28
Fiber 18.11.2011 03:19:23 21.11.2011 15:20:00 0,51 0,22
Fiber 18.11.2011 03:19:24 21.11.2011 03:20:01 442,65 11,14
Fiber 18.11.2011 03:19:25 20.11.2011 15:19:51 27,65 4,08
Fiber 18.11.2011 03:19:24 20.11.2011 03:19:49 291,28 17,05
Fiber 18.11.2011 03:19:26 19.11.2011 15:20:06 738,05 14,72
Fiber 18.11.2011 03:19:26 19.11.2011 03:20:05 137,45 4,32
Fiber 18.11.2011 03:19:26 18.11.2011 15:19:56 234,92 16,84

Ehh züperonline faciaları devam edecek gibi duruyor. Zaten şu zamana kadar iletişime geçtiğim hiç bir superonline personelinin kendi çalıştığı firmayı sevdiğini düşünmüyorum. Düşünselerdi, “bakın ben internete erişemiyorum, yanlış yazdığınız modem seri nosu nedeniyle başka birisi erişiyor, lütfen kontrol edin veya bir an Önce ettirtin.” dediğim zaman dikkate alıp kontrol edilmesini sağlarlardı, ama nafile.

Kolay gelsin.

Superonline faciası

Merhabalar,

Sizin başınıza gelebilir dikkatli olun. 2009’dan beri hiç sorunsuz kullandığım firma bir anda nasıl değiştiğini ben de anlamadım. Önce 14.10 tarihinde uydurma bir kampanya tanımladılar. Bir sürü telefon, bin bir dereden su getirmeler falan 30.10’da bu kampanyayı iptal ettiler. Parasını 15.11’de geri Ödediler.

Şimdi sıkı durun, 30.10’da kampanyayı iptal ederken, kampanya ile beraber tanımadığım başka bir adama verdikleri modemin internet erişimini iptal edeceklerine benim kullandığım modemin internet erişimini iptal ettiler.

30.10’dan beri her gün superonline müşteri hizmetlerini arayıp duruyorum ama son durum inanılır gibi değil ama şÖyle; adamın biri benim adıma tanımlanmış ama benim olmayan bir modem ile internete “sınırsız” bağlanabilirken, ben bağlanamıyorum.

Bu kÖtü hizmeti ne duydum, ne de biliyorum. İnsanın cinnet geçirip telefonda çıldırası ve internette alay konusu olası geliyor. 20 gündür bu karışıklığı çÖzemez mi bir firma.

Size superonline’sız mutlu internetler dilerim.

Kolay gelsin.

Adobe Flash mobil platformdan çekiliyor

Merhabalar,

Adobe Flash için mobil platformlardan çekilme kararı almış.
Konu ile ilgili haberler için;

1999 sonlarında veya 2000’in başlarında “tüm ara birimler bir gün Flash olacak” gibi bir yorum yapmıştım. İlk başlarda Macromedia ve Adobe
bu sÖzlerimi haklı çıkarmak için çok uğraştılar ve çok sıkı çalıştılar. Ama bu aralar Adobe geleceğin platformu olan mobil sistemler ve yeni browser’lar üzerinde daha fazla geliştirme yapmayacağını açıklaması biraz ilginç bir karar.

Yapılan açıklamada bahsedilen diğer bir konu var; Adobe’un, Flash uygulamalarını Adobe AIR üzerinde daha iyi çalıştırmak için daha fazla kaynak ayıracağı. Sanırım yakın gelecekte Flash’in yeni versiyonlarını çalıştırmak için AIR kullanıyor olabiliriz.

Ekleme
Sanırım Microsoft da bu konuda bazı adımlar atabilir. Örneğin bir sonraki sürümden sonra Adobe’un Flash için yaptığının bir benzerini Silverligth için yapmak gibi.

Microsoft may halt development work on Silverlight plugin after next release

İyi çalışmalar.

Ruby 1.9.3 çıktı

Merhabalar,

Ruby üzerinde 1.9 sürümlerinin yeni versiyonu 1.9.3 karşımızda. Bu versiyon ile beraber Özellikle “garbage collector” üzerinde bir takım iyileştirmeler yapılmış. Bununla beraber Change Log adresinde Özellikle thread sınıfı için işletim sistemlerine gÖre daha detaylı güncelleştirmeler yapılmış gibi gÖrünüyor. Ek olarak daha fazla “unicode” desteği de eklenmiş miş..

Yakın zamanda internet üzerinde performans değerlendirmeleri dolaşmaya başlar.

Kolay gelsin. Sevgiler.

Blackberry Ödevi

Merhabalar,

Bir arkadaşımla konuşurken sÖz MBA’den açıldı. Kendine İstanbul Bilgi Üniversitesinde MBA yaptığımı işlerin iyi gittiğini, bitirmek üzere olduğumu falan anlattım. Sonrasında bana MBA’de yaptığım Ödevleri veya çalışmaları neden paylaşmadığımı sordu, iyi ki sordu :)

Aşağıda 2009-2010 eğitim dÖneminin hemen başında (yani Aralık, 2009 gibi) Blackberry için yaptığım akademik çalışma mevcut. Hatamız var ise affola.

Blackberry Ödevi yazısına devam et

Rails için jetty_rails güncellemesi

Merhabalar,

Bir Önceki yazımızda rails için jruby kullanımından ve windows üzerinde rails uygulamalarının servis edilmesi hakkında bir yazı yazmıştık. Bu yazıda jetty_rails’in sürümünün biraz eski olduğundan (son güncelleme tarihi 2009-07-08 20:28) bazı problemle karşılaştığımı yazmıştım.

Bu yazıda sizlere bu problemleri nasıl ortadan kaldıracağımızı anlatmak istiyorum.

1. Öncelikle jetty-rails’i standart gem yÖntemleriyle yüklüyoruz.

jruby -S gem install jetty-rails

Rails için jetty_rails güncellemesi yazısına devam et