Büyük Veri
Kafka Büyük Veri Data Engineering Distributed Systems

Kafka Connect Nedir?

Kafka Connect, Apache Kafka’nın tamamlayıcı bir parçasıdır ve diğer sistemleri Kafka ile entegre eder. Örneğin Kafka Connect, değişiklikleri bir veritabanından (source) Kafka’ya aktarmak ve buradan...

Kafka Büyük Veri Data Engineering Distributed Systems

Kafka Connect Nedir?

Kafka Connect, Apache Kafka’nın tamamlayıcı bir parçasıdır ve diğer sistemleri Kafka ile entegre eder. Örneğin Kafka Connect, değişiklikleri bir veritabanından (source) Kafka’ya aktarmak ve buradan...

Büyük Veri Data Engineering Genel bir bakış

Veri Kalitesi ve Güvenirliliği için Great Expectations

Meraklı okurlarımıza tekrar merhaba! Günümüzün veri odaklı dünyasında, verilerin kalitesini ve güvenilirliğini sağlamak işletmeler ve kuruluşlar için önemli bir hal almıştır.  Uygun doğrulama ve izleme...

Büyük Veri PySpark Spark

Delta Lake Temizliği ile Depolama Alanı Optimizasyonu

Herkese merhaba! Gittikçe artan veri hacimleriyle birlikte, verilerin depolanması, yönetilmesi konusundaki güçlüklerin de benzer oranda arttığını biliyoruz.  Açık kaynaklı bir depolama katmanı olan olan Delta...

Büyük Veri Genel bir bakış Makine Öğrenmesi Python Veri Bilimi

Ray: Python ile Dağıtık Veri İşleme

Ray, gerçek zamanlı veri işleme sistemleri ve yapay zeka araştırmalarının yapıldığı RISELab tarafından 2017’de başlatılan bir projedir. Apache 2.0 lisansına sahip olan Ray, açık kaynaklı...

AWS Büyük Veri Data Engineering

AWS Glue ile Basit Bir ETL Uygulaması

AWS Glue, birden çok kaynaktan veri keşfetmeyi, hazırlamayı, taşımayı ve entegre etmeyi kolaylaştıran sunucusuz bir veri entegrasyon hizmetidir. AWS üzerinde ETL ihtiyaçları genellikle Glue ile...

Büyük Veri Uygulama

Airflow EmailOperator Kullanarak E-Posta Gönderme

Merhaba, bu yazıda Airflow EmailOperator’ü kullanarak nasıl e-posta gönderileceğinden bahsedeceğim. İlk olarak Docker ile Airflow’u kuracağız. Kurulumu, Airflow’un resmi web sitesinden indirilebilen docker-compose.yaml dosyasını kullanarak...

Büyük Veri Data Engineering Docker Genel bir bakış

Trino

Merhaba bu yazıda size Trino’dan bahsedeceğim. İlk olarak Trino’nun kısaca ne olduğuna bakalım ve ardından demo uygulaması yapalım. Trino Nedir? Trino, büyük veri analizi için...

Büyük Veri PySpark Spark

Apache Spark’ı Hangi Ortamlarda Kullanabiliriz?

Apache Spark büyük veri ve analitik dünyada çok popüler bir araç. Spark’ı bir çok farklı amaçla kullanabileceğimiz gibi bir çok farklı ortamda çalıştırabiliriz. Bu yazımızda...

Büyük Veri Data Engineering

Jenkins ile bilgilendirme e-postası nasıl gönderilir?

Jenkins, herhangi bir projeyi oluşturmayı, dağıtmayı ve otomatikleştirmeyi destekleyen bir CICD aracıdır. Projeyi oluşturduk, dağıtımını da gerçekleştirip otomatize ettik peki sürecin herhangi bir yerinde hata...

Flink Büyük Veri Data Engineering Distributed Systems

Apache Flink ile Kafka’dan Mesaj Okuma (Scala)

Herkese merhaba. Apache Flink gerçek zamanlı veri işleme konusunda oldukça başarılı ve popüler bir araç. Böyle olmasına rağmen ilginç bir şekilde Flink öğrenmek için yeterli...

×

Bir Şeyler Ara