Gerçek Zamana Yakın – Apache Hudi
Merhaba bu yazımda sizlere Apache Hudi’yi kısaca tanıtmaya çalışacağım. Veri dünyasında uzun süredir konuşulan konuların en başında Real Time(Gerçek Zamanlı) veriler geliyor. Gerçek zamanlı veri işleme gerçekten her alanda çok önemlidir. Çünkü dikkatimiz artık saniyeler bazına düşmüş durumda ve biz saniyelerimizi merak ediyoruzdur. Örneğin bir yemek siparişinin durumunu anlık olarak takip etmek istiyoruz. Bu ne […]
Apache Spark ile LightGBM Kullanarak Sınıflandırma Yapmak
Merhabalar. LightGBM’in ününü duymuşsunuzdur. Ancak bunu Spark ile kullanmak istediğinizde maalesef bu algoritma Spark ML’de bulunmuyor. Bu yazımızda LightGBM’i Spark içinde nasıl kullanacağımızı PySpark ile uygulamalı olarak göreceğiz. Bildiğimiz gibi Apache Spark büyük veri dünyasında makine öğrenmesi çalışmalarının vazgeçilmez bir aracı. Küçük veri dünyasında scikit-learn ile yaptığımız işleri büyük veri tarafında genelde Spark ile yaparız. […]
