Şirketler dijital iş modellerine güvenmek istiyorsa, eski veri ambarı ve mesajlaşma mimarileri genellikle bir engel olarak ortaya çıkıyor. Akış odaklı yeni bir yaklaşım, özellikle ana bilgisayardan gelen verilerin de dahil edilmesi gerektiğinde, altyapının esnekliğini, çevikliğini ve ölçeklenebilirliğini artırmaya yardımcı olur.
Kai Wähner, Kafka’yı 120’den fazla bağlayıcı ve anabilgisayarlar da dahil olmak üzere kurumsal düzeyde güvenlik ve yönetişimle veri akışı işlemeyle tamamlayan Confluent şirketinin Saha CTO’sudur. Apache Kafka, akış işleme, gerçek zamanlı veri hatları ve yüksek ölçekli veri entegrasyonu için kullanılan açık kaynaklı, lisanslı, dağıtılmış bir akış sistemidir. Kafka, gerçek zamanlı veri akışlarını işlemek için 2011 yılında LinkedIn’de geliştirildi. O zamandan beri, bir mesajlaşma kuyruğundan saniyede bir milyondan fazla mesajı ve günde trilyonlarca mesajı işleyebilen tam teşekküllü bir olay akışı platformuna hızla dönüştü.
Çünkü gerçek zamanlı veri analiz teknolojileri ile izole silolar olarak itibarsızlaştırılan anabilgisayarları modern akış platformlarına entegre etmek artık mümkün. Özellikle veri akışlarını işlemek için kullanılan ücretsiz Apache Kafka yazılımına ek olarak, örneğin Apache Kudu (Hadoop için hızlı bir analiz motoru olarak) veya akış verileriyle uygulama yazmak için bir çerçeve olan Spark Streaming de buna dahildir.
Akış platformları, ana çerçeveler düşünülmeden geliştirildiğinden, ana çerçeve verilerini akış platformlarının desteklediği bir biçimde almak için geçerli bir yol gerekir. Teorik olarak bunu mümkün kılan birkaç seçenek var. Kai Wähner’e hangilerinin var olduğunu ve neyin önemli olduğunu sorduk.
Bay Wähner, Confluent’in Kafka’ya dayalı olarak uyguladığı akış nedir? Bu terim, son kullanıcılar tarafından kullanılması nedeniyle kullanımda oldukça belirsizdir.
Geleneksel ortamlarda veriler, veri silolarında uygulamalarınıza zincirlenir. Uygulamalar, kişiye özel konektörler aracılığıyla diğer uygulamalarla sıkı bir şekilde entegre edilir, böylece herhangi bir esnek, kapsamlı veri kullanımı çok karmaşık ve külfetlidir.
Veri akışı, uygulamaları birbirinden ayırır ve örneğin şube bankaları veya perakende zincirleri gibi yaygın olarak dağıtılmış ortamlarda özellikle önemli olan veri akışını sağlar. Çevrimiçi bir satın alma işleminden bir sistem arızasına kadar herhangi bir şey olabilen olaylar, gerçek zamanlı olarak veri üretir ve ardından akış platformuna iletilir. Bunu, alınış sırasına göre değiştirmeden kaydederek onu merkezi bilgi kaynağı yapar.
Ek olarak, verilerin içeriği, uygulamaların ihtiyaçlarına göre uyarlanabilecek sözde konulara atanır. Modern bir akış platformu, veritabanları gibi geleneksel veri kaynaklarına da kolayca bağlanarak olay verilerini envanter verileriyle bağlayabilir. Uygulamalar akış platformlarına erişirse, ihtiyaç duydukları konulara abone olurlar ve böylece kendileri için önemli olan en güncel verileri gerçek zamanlı olarak otomatik olarak alırlar. Bunlar, uygulamaları kendilerine uygun biçime getirir, böylece karmaşık ETL işlemi artık gerekli değildir.
Hemen hemen her uygulama uygun konektörler kullanılarak bağlanabilir. Bu eski veya bulutta yerel bağlayıcılar, genellikle zaten modern bir akış platformunda sağlanır.
Yani bu, hareket halindeki verilere odaklanan bir veri altyapısıdır: anabilgisayar verileri neden böyle bir akış platformuna aittir? Sonuçta, anabilgisayarlar aslında merkezi veri yönetimi kavramını uygular.
Anabilgisayarların veya diğer eski platformların, Apache Kafka’ya dayanan Confluent gibi akış ortamlarına entegre edilebilmesi, ana avantajlarından biridir: Bankalar, sigorta şirketleri, perakendeciler ve büyük endüstriyel şirketler, ölçülemeyecek kadar büyük ve değerli veri tabanları bulundururlar. anabilgisayar uygulamaları. Ek olarak, anabilgisayar uygulamaları genellikle çok işlevsel ve güçlüdür ve uzun yıllar boyunca denenmiş ve test edilmiştir. Onlarsız yapmak ne gerekli, ne de onlardan ayrılmak kolay değil.
Bir yandan, örneğin ticaret veya IoT ortamlarından sürekli olarak ortaya çıkan gerçek zamanlı olaylar kaydedilmeli ve kesin belgeler halinde sunulmalı, diğer yandan envanter verileri de bir bilgi kaynağı olarak işlev görmelidir. Yalnızca her ikisinin ortak kullanımı genellikle yeni içgörüler üretir ve yeni iş modelleri sağlar.
Haberin Sonu
Kai Wähner, Kafka’yı 120’den fazla bağlayıcı ve anabilgisayarlar da dahil olmak üzere kurumsal düzeyde güvenlik ve yönetişimle veri akışı işlemeyle tamamlayan Confluent şirketinin Saha CTO’sudur. Apache Kafka, akış işleme, gerçek zamanlı veri hatları ve yüksek ölçekli veri entegrasyonu için kullanılan açık kaynaklı, lisanslı, dağıtılmış bir akış sistemidir. Kafka, gerçek zamanlı veri akışlarını işlemek için 2011 yılında LinkedIn’de geliştirildi. O zamandan beri, bir mesajlaşma kuyruğundan saniyede bir milyondan fazla mesajı ve günde trilyonlarca mesajı işleyebilen tam teşekküllü bir olay akışı platformuna hızla dönüştü.
Çünkü gerçek zamanlı veri analiz teknolojileri ile izole silolar olarak itibarsızlaştırılan anabilgisayarları modern akış platformlarına entegre etmek artık mümkün. Özellikle veri akışlarını işlemek için kullanılan ücretsiz Apache Kafka yazılımına ek olarak, örneğin Apache Kudu (Hadoop için hızlı bir analiz motoru olarak) veya akış verileriyle uygulama yazmak için bir çerçeve olan Spark Streaming de buna dahildir.
Akış platformları, ana çerçeveler düşünülmeden geliştirildiğinden, ana çerçeve verilerini akış platformlarının desteklediği bir biçimde almak için geçerli bir yol gerekir. Teorik olarak bunu mümkün kılan birkaç seçenek var. Kai Wähner’e hangilerinin var olduğunu ve neyin önemli olduğunu sorduk.
Bay Wähner, Confluent’in Kafka’ya dayalı olarak uyguladığı akış nedir? Bu terim, son kullanıcılar tarafından kullanılması nedeniyle kullanımda oldukça belirsizdir.
Geleneksel ortamlarda veriler, veri silolarında uygulamalarınıza zincirlenir. Uygulamalar, kişiye özel konektörler aracılığıyla diğer uygulamalarla sıkı bir şekilde entegre edilir, böylece herhangi bir esnek, kapsamlı veri kullanımı çok karmaşık ve külfetlidir.
Veri akışı, uygulamaları birbirinden ayırır ve örneğin şube bankaları veya perakende zincirleri gibi yaygın olarak dağıtılmış ortamlarda özellikle önemli olan veri akışını sağlar. Çevrimiçi bir satın alma işleminden bir sistem arızasına kadar herhangi bir şey olabilen olaylar, gerçek zamanlı olarak veri üretir ve ardından akış platformuna iletilir. Bunu, alınış sırasına göre değiştirmeden kaydederek onu merkezi bilgi kaynağı yapar.
Ek olarak, verilerin içeriği, uygulamaların ihtiyaçlarına göre uyarlanabilecek sözde konulara atanır. Modern bir akış platformu, veritabanları gibi geleneksel veri kaynaklarına da kolayca bağlanarak olay verilerini envanter verileriyle bağlayabilir. Uygulamalar akış platformlarına erişirse, ihtiyaç duydukları konulara abone olurlar ve böylece kendileri için önemli olan en güncel verileri gerçek zamanlı olarak otomatik olarak alırlar. Bunlar, uygulamaları kendilerine uygun biçime getirir, böylece karmaşık ETL işlemi artık gerekli değildir.
Hemen hemen her uygulama uygun konektörler kullanılarak bağlanabilir. Bu eski veya bulutta yerel bağlayıcılar, genellikle zaten modern bir akış platformunda sağlanır.
Yani bu, hareket halindeki verilere odaklanan bir veri altyapısıdır: anabilgisayar verileri neden böyle bir akış platformuna aittir? Sonuçta, anabilgisayarlar aslında merkezi veri yönetimi kavramını uygular.
Anabilgisayarların veya diğer eski platformların, Apache Kafka’ya dayanan Confluent gibi akış ortamlarına entegre edilebilmesi, ana avantajlarından biridir: Bankalar, sigorta şirketleri, perakendeciler ve büyük endüstriyel şirketler, ölçülemeyecek kadar büyük ve değerli veri tabanları bulundururlar. anabilgisayar uygulamaları. Ek olarak, anabilgisayar uygulamaları genellikle çok işlevsel ve güçlüdür ve uzun yıllar boyunca denenmiş ve test edilmiştir. Onlarsız yapmak ne gerekli, ne de onlardan ayrılmak kolay değil.
Bir yandan, örneğin ticaret veya IoT ortamlarından sürekli olarak ortaya çıkan gerçek zamanlı olaylar kaydedilmeli ve kesin belgeler halinde sunulmalı, diğer yandan envanter verileri de bir bilgi kaynağı olarak işlev görmelidir. Yalnızca her ikisinin ortak kullanımı genellikle yeni içgörüler üretir ve yeni iş modelleri sağlar.
Haberin Sonu