Öncelikle size ETL Nedir sorusunun cevabını açıklamalıyım.
ETL Nedir?
ETL, adını kendisini oluşturan extract (ayıklama), transform (dönüştürme) ve load (yükleme) işlemlerinden alan bir veri entegrasyon sürecidir. Veritabanlarının popülaritesi 1970’lerde arttıkça ETL, hesaplama ve analiz için verileri entegre etme ve yükleme işlemi olarak tanıtıldı. Günümüzde ise veri ambarı projelerinde verileri işlemek için temel yöntemlerden birine dönüştü. ETL kullanımının temel amaçları olarak eski sistemlerden veri ayıklanması, veri kalitesinin iyileştirilmesi ve tutarlılık sağlanması için verilerin temizlenmesi ve verilerin bir hedef veritabanına yüklenmesidir.
Google da arattığınızda direkt olarak bu çıktıya erişiyorsunuz zaten aslında.
ETL, veri analitiği ve makine öğrenimi iş akışları için temel sağlar. Bir dizi iş kuralı aracılığıyla, verileri aylık raporlama gibi belirli iş zekası gereksinimlerine uygun şekilde düzenleyebilen ETL, aynı zamanda arka uç süreçlerini ve son kullanıcı deneyimlerini iyileştirebilecek daha gelişmiş analitikleri de ele alabiliyor.
ETL sürecinin daha iyi anlaşılması için bu süreci oluşturan extract (ayıklama), transform (dönüştürme) ve load (yükleme) işlemlerinin tek tek incelenmesi gerekir.
ETL Geliştirici Nedir
Yaklaşık 14 yıl önce matematikçi ve veri bilimcisi Clive Humby şöyle demişti: “ Veri yeni petroldür .” Tüm işletmeler veri elde etmek için mücadele eder, veri günümüzün en önemli stratejik avantajıdır.
Veri mühendisliği ve veri biliminin özel uygulayıcıları, veri toplamak, işlemek ve depolamak için yeni yöntemler bulan günümüzün altın madencileridir.
ETL Geliştirici kimdir?
Bir ETL geliştiricisi, Çıkarma, Dönüştürme ve Yükleme işlemlerini yöneten ve bunu yapmak için teknik çözümler uygulayan bir tür yazılım mühendisidir. Süreç üç ana aşamaya ayrılmıştır:
İşletmeler, geçmiş bilgileri depolar veya gerçek zamanlı verileri birçok sisteme aktarır. Bu bilgiler farklı yazılımlara dağılmıştır ve çeşitli biçimlerde yapılandırılmıştır. Çıkarma aşaması, ister bir ERP, CRM veya üçüncü taraf sistemi olsun, gerekli veri kaynaklarını tanımlamayı ve bunlardan veri toplamayı içerir.
Bu sürecin içinde rol alacak bir çok uzmanlık, yetkinlik veya farklı iş tanım veya ünvanlar ortaya çıkmaktadır.
Veri mimarı. Bir veri bilimi veya veri mühendisliği ekibinin bir parçası olabilir . Veri mimarının rolü, veri mühendislerinin geliştireceği altyapıyı projelendirmektir.
Veri mühendisi . Bu, bilgiye erişmek için ara yüzler ve ekosistem geliştiren belirli bir yazılım mühendisi türüdür.
Veri analisti. Bu ekip üyesi, veri toplama yöntemlerini, veri modellerini, türlerini tanımlayan ve dönüşüm sürecini özetleyen kişidir.
Veri tabanı/Depo geliştiricisi . Diğer bilgiler gibi veriler de bir yerde saklanmalıdır. Normal bir SQL veri tabanı veya özel bir depolama türü olan Veri Ambarı olabilir. DB/ambar geliştiricisi, veri depolarının modellenmesinden, geliştirilmesinden ve bakımından sorumludur.
DBA veya Veri tabanı Yöneticisi. Bu, birden fazla veri tabanı varsa veya roket bilimi kadar karmaşık bir DB/depo yapısı varsa , veri tabanı yönetiminden sorumlu kişidir .
Veri bilimcileri . Makine öğrenimi ile ilgili projeler ayrıca bir veri bilimi uzmanı veya hatta özel bir departman içerir.
İş zekası geliştiricisi. Bu, BI arayüzleri geliştirmeye odaklanan bir yazılım mühendisidir.
ETL geliştiricisi , ilgili altyapıyı geliştirerek/yöneterek veri işlemenin Çıkarma, Dönüştürme ve Yükleme aşamalarını kapsayan bir yazılım mühendisidir.
Temel olarak aşağıdaki şemayı zaten mutlaka görmüş veya duymuşsunuzdur.
Verinin bilgiye dönüşümündeki süreç hemen hemen her anabilim dalında zaten öğretilmekte ve bu tanımlamalar günlük hayatımıza kadar inmiş durumda.
Özellikle bir karar destek sistemi geliştiriyor veya var olan bir karar destek sistemine ek çözüm geliştiriyorsanız veriden bilgiye geçişe hizmet edecek her türlü kodu, emeği veya hizmeti üretiyorsunuz demektir.
ETL uygulaması, farklı RDBMS (İlişkisel veritabanı yönetim sistemi)’den verileri çıkarır, verileri hesaplama, birleştirme vb. işlemlerden geçirerek dönüştürür ve ardından verileri bir Veri Ambarı (Data Warehouse) sistemine yükler.
Özellikle ETL Uzmanları verinin bilgiye dönüşmesi sürecini öyle bir tasarlamalı veya biliyor olmalı ki, veri taşındıktan veya entegrasyon sürecindeki sağlamaları veya testleri de uygun bir şekilde yapabiliyor olmalılar.
Wayne Yaddow(BI Danışmanı ve veri kalitesi uzmanı)’a göre
Bir ETL geliştiricisi, veri modellerini analiz etmekten, yorumlamaktan ve veri analistleriyle işbirliği içinde veri sorunlarını çözmekten sorumludur. Tüm sistem tasarımları ve yayın faaliyetleri bir ETL geliştiricisinin onayından geçer. ETL süreci için sistem kullanıcıları, geliştiriciler ile kullanıcı görüşmeleri gerçekleştirme ve iş gereksinimlerinin izlenmesini de göz önünde bulundurur.
Veri Modelleme :
Veriler kaynaklarından ayıklanmadan önce, bir ETL geliştiricisi hangi formatların gerekli olduğunu tanımlamalıdır. Ambarda (ve kullanıcı arayüzünde) temsil edilecek verilerin son biçimlerine veri modelleri denir .
Mantıksal veri modeli örneği
Bir ETL geliştiricisi, veri ambarı mimarisinin yanı sıra, içine veri yüklemek için kullanılan veya oluşturulan araçlardan sorumludur. Depolama karmaşık bir süreçtir ve gelişimi genellikle özel bir veri tabanı geliştiricisi türü tarafından gerçekleştirilir. Ancak, bir ETL geliştiricisi, onu oluşturmak için gerekli tüm beceri ve bilgilere sahip olmalıdır.
Bir ETL geliştiricisinin becerileri
Bir ETL geliştiricisi, çeşitli alanlarda uzmanlık gerektiren disipline özgü bir roldür. Bir ETL geliştiricisi, bir yazılım mühendisliği geçmişine ve veri tabanı geliştirme deneyimine sahiptir. Bu, bir ETL geliştiricisinin genel yapısıdır.
Bir ETL geliştiricisi, veri tabanı mühendisliğinde uzman olmalıdır. Veri depolama gereksinimlerini anlamak ve ambar mimarisini tasarlamak için bir ETL geliştiricisi, SQL/NoSQL veri tabanları ve veri eşleme konusunda uzmanlığa sahip olmalıdır.
Veri analizi uzmanlığı . Bir ETL geliştiricisi veri modelleme, haritalama ve biçimlendirmede yer aldığı sürece veri analizi uzmanlığı gereklidir.
Komut dosyası dilleri bilgisi . Büyük veri kümeleri ve karmaşık işlem hatlarıyla uğraşıyorsanız, biraz otomasyona ihtiyacınız olacaktır. ETL geliştiricileri, sürecin küçük kısımlarını otomatikleştirmek için komut dosyalarını kullanabilir. ETL için en popüler betik dilleri Bash, Python ve Perl’dir.
Yazılım mühendisliği geçmişi . ETL geliştiricileri, programlama dillerinde güçlü bir uzmanlığa sahiptir. ETL’de en çok C++ ve Java kullanılır. Veri temsil araçları mobil cihazlar üzerinden kullanılacaksa JavaScript de kullanılabilir.
Sorun giderme Veri işleme sistemleri, büyük miktarda veri ile çalışır ve birden çok yapısal öğe içerir. Güçlü analitik düşünme ve sorun giderme becerileri gerektiren sistemin düzgün işleyişinden bir ETL geliştiricisi sorumludur.
Bir ETL geliştiricisi ne zaman işe alınır?
Bir ETL geliştiricisi, teknik altyapı ve sorumluluk alanı nedeniyle diğer veri mühendisliği rolleriyle kesişir. Eğer büyük ölçekli bir veri işleme sistemi kurarken ve veri akışı karmaşık olduğunda bir ETL geliştiricisi kiralamaktır. Böyle bir durumda, bir ETL geliştiricisi yeri doldurulamaz olacaktır.
ETL geliştiricisi yerine ambar geliştiricisi : Sisteminizin odak noktası veri ambarı içindeki işlemlere düşüyorsa, bir ambar geliştiricisi ETL geliştiricisine iyi bir alternatiftir. BI projelerinde güçlü uzmanlığa sahip özel bir veri tabanı/depo geliştiricisi, veri akışı uygulamasını gerçekleştirebilir ve veri entegrasyon araçlarını kullanabilir.
ETL geliştiricisi yerine iş zekası geliştiricisi : BI geliştiricileri, veri hatlarına dayanan BI ara yüzlerini uygulamada uzmanlaşmış yazılım mühendisleridir. Projeniz hazır çözümlere ve iş zekası araçları sağlayıcıları ile entegrasyonlara odaklanıyorsa, bir BI geliştiricisi sistemin bakımını yapacaktır.
