Veri entegrasyonu, nihai amacı kullanıcılara konu ve yapı türleri yelpazesinde tutarlı erişim ve veri teslimi sağlamak ve tüm uygulamaların ve iş süreçlerinin bilgi ihtiyaçlarını karşılamak için farklı kaynaklardan gelen verileri tek bir veri kümesinde birleştirme pratiğidir. . Veri entegrasyon süreci, genel veri yönetimi sürecinin ana bileşenlerinden sadece bir tanesidir. Uygulamalar büyüdükçe veri paylaşma ihtiyacı artar veya dış sistemlerden gelecek olan veriler ile beslenmeye ihtiyaç duyar.

Veri entegrasyonu mimarları, kaynak sistemlerden hedef sistemlere veri bağlamak ve yönlendirmek için yazılımlar geliştirir. Bu sistemlerin verimliliği sürecin otomatikleşmesi ile doğru orantılıdır.

Veri Entegrasyonu sürecinde aşağıdaki yöntemler uygulanır.

• Extract, Transform and Load : Farklı kaynaklardan gelen veri kümelerinin kopyaları bir araya toplanır, uyumlu hale getirilir ve bir veri ambarına veya veritabanına yüklenir.
• Extract, Load and Transform: veriler, büyük veri sistemine olduğu gibi yüklenir ve belirli analitik kullanımlar için daha sonra dönüştürülür.
• Change Data Capture : Veritabanlarındaki veri değişikliklerini gerçek zamanlı olarak tanımlar ve bunları bir veri ambarına veya diğer havuzlara uygular
• Data Replication: Bir veritabanındaki veriler, bilgileri operasyonel kullanımlarla senkronize tutmak veya yedeklemek için çoğaltılır.
• Data Virtualization: Farklı sistemlerden gelen veriler yeni bir havuza yüklemek yerine birleşik bir görünüm oluşturmak için sanal olarak birleştirilir.
• Streaming Data Integration : Farklı veri akışlarının sürekli olarak entegre edildiği ve analitik sistemlere yani veri depolarına gerçek zamanlı bir veri entegrasyon yöntemi.

Uygulama Entegrasyonu

Veri entegrasyon teknolojileri, ilişkisel veritabanlarının aralarındaki bilgileri verimli bir şekilde taşıma ihtiyacının artmasından dolayı uygulama entegrasyonu kavramları ortaya çıkmıştır. Bu sebeple iki veya daha fazla uygulama arasında canlı, operasyonel verilerin gerçek zamanlı entegrasyonuna uygulama entegrasyonu denir

Uygulama entegrasyonunun nihai amacı, bağımsız olarak tasarlanmış uygulamaların birlikte çalışmasını sağlamaktır; bu, verilerin ayrı kopyaları arasında veri tutarlılığı, farklı uygulamalar tarafından yürütülen çoklu görevlerin senkronize bir biçimde yürütülmesi ve verilerin işlenmesi demektir. Bağımsız olarak tasarlanmış uygulamalar birbirirleriyle canlı olarak konuşabilmekte ve veri alışverişini kusursuz olarak yapmak hedeflenmektedir.

Uygulama entegrasyonunun gerçek zamanlı olarak yapılmasının en mümkün olduğu sistemler genellikle bulut sistemlerdir. Uygulama ile veritabanı arasında bir api veya service olmayan sistemlerde canlı tetikleyicilerin olmaığı düşünülürse anlık entegrasyonun yapılabilmesi için veri tabanının önüne bir katman oluşturmak gerekmektedir.

Veri Entegrasyon Araçları ve Teknikleri

Veri entegrasyon teknikleri, tam otomatik yöntemlerden manuel yöntemlere kadar çok çeşitli yöntemlerle uygulanır ve projelendirilir.

• Manual Integration or Common User Interface: Verilerin birleşik bir görünümü yoktur. Kullanıcılar, tüm kaynak sistemlere erişerek ilgili tüm bilgilerle çalışır.
• Application Based Integration: Her uygulamaya özel entegrasyon geliştirmek demektir ve her uygulama için ayrı efor harcanacaktır.
• Middleware Data Integration: Entegrasyon uçları arasında veya veri tabanı katmanı arasına bir ara katman geliştirilir, Entegrasyonlar dokümante edilmiş olur ve uç sistemler entegrasyon yaparken daha hızlı proje geliştirilir, Yapılan ara katmanlarda ayrıca loglama mevcuttur ve hata yönetimi bu katmanda yönetilir.
• Uniform Data Access: Veri tabanı verilerinin entegrasyon amacıyla görselleştirilmesi veya ham datanın entegrasyon uçları vasıtasıyla yetkili kullanıcı veya uygulamalar sayesinde okunması /göreselleştirilmesi sağlanır.
• Common Data Storage or Physical Data Integration: Replikasyon mekanizmasına benzese de aynı mantıkta çalışan yöntem değildir. Eski veriler alınacaksa, canlı veri aktarımı yapılmayacaksa yedek data üzerinde çalışılabilir ve sürekli olarak veri giriş çıkışı olmayan bir data üzerinde geliştirme tamamlanır.

Geliştiriciler, bir veri entegrasyon sistemini elle kodlamak için Structured Query Language (SQL) kullanabilir. Ayrıca, geliştirme sürecini kolaylaştıran, otomatikleştiren çeşitli uygulamalar da mevcuttur.

Veri Entegrasyonu Neden Önemlidir?

Rekabetçi ve alakalı kalmak isteyen şirketler, büyük veriyi ve onun tüm faydalarını ve zorluklarını benimsemektedir. Veri entegrasyonu ve büyük veri altyapısını destekleyerek iş zekası ve müşteri veri analitiğinden veri zenginleştirmeye ve gerçek zamanlı bilgi teslimine kadar her şeyden yararlanır.

Veri entegrasyonu hizmetleri ve çözümleri için en önde gelen kullanım örneklerinden biri, iş ve müşteri verilerinin yönetimidir. Müşterinin müşterisine ve hatta onun da müşterisine kadar giden süreçte ürünü ,satışı, ödemeyi veya başka bir değerli bilgiye edinmek için bugün bir çok şirket çok ciddi yatırımlar yapmaktadır. Ölçemediğiniz değeri iyileştiremeyeceğiniz gibi, önce o veriyi ölçebilmeniz için veriye sahip olmanız yada erişebiliyor olmanız gerekmektedir.

Müşteri verileri entegrasyonu, işletme yöneticilerine ve veri analistlerine temel performans göstergeleri (KPI’ler), finansal riskler, müşteriler, üretim ve tedarik zinciri operasyonları, mevzuata uygunluk çabaları ve iş süreçlerinin diğer yönleri hakkında eksiksiz bir resim sağlar.

Veri entegrasyonu sağlık sektöründe de önemli bir rol oynamaktadır. Farklı hasta kayıtlarından ve kliniklerden elde edilen entegre veriler, farklı sistemlerden gelen verileri yararlı bilgilerle eşleştirilir ve doktorların tıbbi durumları ve hastalıkları teşhis etmelerine yardımcı olur. Etkili veri toplama ve entegrasyon, tıbbi sigortacılar için talep işleme doğruluğunu da geliştirir ve hasta adlarının ve iletişim bilgilerinin tutarlı ve doğru bir şekilde kaydedilmesini sağlar. Farklı sistemler arasındaki bu bilgi alışverişine genellikle birlikte çalışabilirlik denir . Birlikte çalışılabilirliğin önemi şudur ;

Hiç bir sistem her işi yapamaz, tek başına tüm işlemleri yapabilecek bir yazılım daha henüz icat edilmedi, Zaten uygulamaların bir amacı ve hedefi vardır. Kendi amacı dışına çıkmaya başlayan her uygulama yönetilemez ve sürdürülemez olmaya mahkumdur.

Kendi uzmanlık alanına göre çalışan 2 farklı uygulamanın iyi bir entegrasyon sayesinde bütünleşik yapısı korunur ve sürdürülebilirliği artar.

Örneğin bir erp sisteminde internet üzerinden satış yapamazsınız fakat bir b2c sistemini erp ye tam ve eksiksiz bir biçimde entegre ettiğinizde, artık erp ye uç çözüm olarak geliştirilen b2c sistemi bir anda söz konusu erp sistemine manevra kabiliyeti ve verimlilik katacaktır.

Hem b2c hem de b2b bütünleşik olarak çalışabilen bir ekosistem yaratacak ve son kullanıcıya konforlu bir uygulama kullanıcı deneyimi sağlayacaktır.

Sonuç olarak, entegrasyon, beklentilerin bu kadar arttığı bir dönemde uygulamaların uyarlanabilirliğini arttıracak, olmazsa olmaz bir olgudur.