Spark Structured Streaming: Birden Fazla Kafka Topic’e Produce Etmek
Merhabalar. Apache Spark Structured Streaming yaygın kullanılan akan veri işleme platformlarından birisi. Elbette akan verinin işlendiği bir ekosistemde Apache Kafka da bir şekilde yerini alıyor....
Spark Structured Streaming: Birden Fazla Kafka Topic’e Produce Etmek
Merhabalar. Apache Spark Structured Streaming yaygın kullanılan akan veri işleme platformlarından birisi. Elbette akan verinin işlendiği bir ekosistemde Apache Kafka da bir şekilde yerini alıyor....
Apache Spark’ın Çalışma Mimarisi
Herkese merhabalar, önceki yazımda Apache Spark’a giriş yapmıştık. Bu sefer daha derinliklere inip Apache Spark’ın çalışma mimarisine ve cluster moduna göz atacağız. 1. Spark’ın Cluster...
Apache Flink FileStream Window Aggregation
Merhabalar. Bu yazımızda Apache Flink ile FileStream kaynağından veri okuyacağız ve okuduğumuz bu veri üzerinde zaman pencereli (window) aggregation yaparak ekrana yazdıracağız. Çalışmamda kullandığım ortam...
Apache Flink Dataset Api ile Temel Veri Analizi
Herkese merhabalar. Bu yazımızda Apache Flink Dataset Api ile örnek veri setleri üzerinden veri analizi yapacağız. Yapacağımız örnek meşhur retail_db veri tabanındaki csv dosyalarını kullanarak...
MXNet ile Derin Öğrenme 1.2: Doğrusal (Linear) Regresyon (Uygulama)
Herkese merhabalar, MXNet ile derin öğrenme serisine devam ediyoruz. İlk bölümde doğrusal regresyon konusunda teorik bilgiler paylaşmıştık. Bu bölümde doğrusal regresyon konusunda MXNet kütüphanesini kullanarak...
Apache Spark’a Giriş
Verinin her geçen gün katlanarak büyüdüğü günümüz dünyasında o veriyi işleyebilmenin ve veriden anlamlı çıkarımlarda bulunabilmenin önemi de katlanarak artmaktadır. Ancak terabaytlarca ve hatta petabaytlarca...
Google Bigquery ML ve Website İşlem Tahmini
Merhaba VBO okuyucuları! Bir önceki yazıda Google Analytics datasının ne gibi özelliklere sahip olduğundan bahsetmiştik ve bazı sorgular ile verilerimizi inceleyip analiz etmiştik. Bu yazıda...
Apache Spark ile LightGBM Kullanarak Sınıflandırma Yapmak
Merhabalar. LightGBM’in ününü duymuşsunuzdur. Ancak bunu Spark ile kullanmak istediğinizde maalesef bu algoritma Spark ML’de bulunmuyor. Bu yazımızda LightGBM’i Spark içinde nasıl kullanacağımızı PySpark ile...
MXNet ile Derin Öğrenme 1.1: Doğrusal (Linear) Regresyon (Teori)
Herkese merhabalar, MXNet ile derin öğrenme serisine başlayacağız. Bu seride hem teorik hem uygulama kısmına ağırlık vereceğiz. Programlama dili olarak python, derin öğrenme kütüphanesi olarak...
Database, Datawarehouse, Datalake derken bir de Lakehouse mu çıktı başımıza?
Geçenlerde lakehouse kavramını duyunca Hoppalaaa!!! diyesim geldi. Neredeyse her güne yeni bir kavramla uyandığımız bir devirde yaşıyoruz. Daha datawarehouse ne anlayamadan başımıza datalake çıkardılar, şimdi...