Spark
0 100
Büyük Veri Makine Öğrenmesi PySpark Spark Veri hazırlığı Veri Ön İşleme

Spark ML Custom Transformer Yazma

Bu yazımızda Spark ML Custom Transformer yazacağız. Spark’ın makine öğrenimi kütüphanesi (MLlib), veri bilimcilere ve makine öğrenimi mühendislerine zengin bir araç seti sunuyor. Model geliştirme...

Erkan ŞİRİN Erkan ŞİRİN 4 ay önce
0 100
Büyük Veri Makine Öğrenmesi PySpark Spark Veri hazırlığı Veri Ön İşleme

Spark ML Custom Transformer Yazma

Bu yazımızda Spark ML Custom Transformer yazacağız. Spark’ın makine öğrenimi kütüphanesi (MLlib), veri bilimcilere ve makine öğrenimi mühendislerine zengin bir araç seti sunuyor. Model geliştirme...

Erkan ŞİRİN Erkan ŞİRİN 4 ay önce
0 408
Büyük Veri PySpark Spark

Apache Spark, Minio, Nessie Catalog, Iceberg ve Docker ile Lakehouse Örneği

Veri ambarı (data warehouse) ile veri gölünün (data lake) en iyi yönlerini birleştirerek bizlere ilişkisel veri tabanı konforunu büyük veri üzerinde sunan lakehouse çözümleri gün...

Erkan ŞİRİN Erkan ŞİRİN 11 ay önce
0 658
Büyük Veri PySpark Spark

Delta Lake Temizliği ile Depolama Alanı Optimizasyonu

Herkese merhaba! Gittikçe artan veri hacimleriyle birlikte, verilerin depolanması, yönetilmesi konusundaki güçlüklerin de benzer oranda arttığını biliyoruz.  Açık kaynaklı bir depolama katmanı olan olan Delta...

Elif Sinem AKTAŞ Elif Sinem AKTAŞ 1 yıl önce
0 1958
Büyük Veri PySpark Spark

Apache Spark’ı Hangi Ortamlarda Kullanabiliriz?

Apache Spark büyük veri ve analitik dünyada çok popüler bir araç. Spark’ı bir çok farklı amaçla kullanabileceğimiz gibi bir çok farklı ortamda çalıştırabiliriz. Bu yazımızda...

Erkan ŞİRİN Erkan ŞİRİN 2 yıl önce
0 3065
Data Engineering Spark

Apache Spark, Apache Airflow, Delta Lake ve MinIO ile ETL Çalışması

Veri odaklı kuruluşlarda, çeşitli ham ve karmaşık verilerden içgörü elde etmek için gerektiğinde büyük miktarda verinin düzenlenmesi, basitleştirilmesi veya zenginleştirilmesi gerekir. ETL (Çıkart, Dönüştür, Yükle)...

Elif Sinem AKTAŞ Elif Sinem AKTAŞ 2 yıl önce
0 3984
Büyük Veri Scala Spark SQL

Spark SQL Window Functions

Window functions SQL dünyasında yaygın olarak bilinen fonksiyonlar. SQL’de kullandığımız bir çok fonksiyonu Spark ile de kullanabiliyoruz. Bu yazımızda Spark Scala ve SQL söz dizimleriyle...

Erkan ŞİRİN Erkan ŞİRİN 2 yıl önce
0 4593
Büyük Veri Kubernetes PySpark Python Spark

Spark on Kubernetes

17 Ekim 2024’de güncellendi. Merhabalar. Bu yazımızda bir Spark uygulamasını Kubernetes cluster (Minikube) üzerinde çalıştıracağız, yaygın adıyla Spark on Kubernetes. Bildiğimiz gibi Spark 2.3 sürümüne...

Erkan ŞİRİN Erkan ŞİRİN 3 yıl önce
0 1911
Büyük Veri PySpark Spark

Apache Spark AWS S3 Veri Kaynağı

Merhabalar. Bu yazımızda Apache Spark AWS S3 entegrasyonu yapacağız. Bu kapsamda bir Spark  dataframe’i AWS S3’e nasıl yazacağımızı ve S3’den Spark ile nasıl veri okuyacağımızı...

Erkan ŞİRİN Erkan ŞİRİN 3 yıl önce
0 2835
Büyük Veri İş Zekası PySpark Python Spark

Spark ve Delta Lake ile Büyük Veri Slowly Changing Dimension Type2

Bu yazımızda veri ambarı dünyasında boyut (dimension) tablolarında sıklıkla kullanılan bir güncelleme yöntemi olan slowly changing dimension örneğini Apache Spark ve Delta Lake ile yapacağız....

Erkan ŞİRİN Erkan ŞİRİN 3 yıl önce
0 1955
Büyük Veri PySpark Spark

Spark İşini Cep Telefonundan Başlatmak: Apache Livy Server

Başlık çarpıcı geldi değil mi? İnanmazsınız ancak doğru. Spark işlerini genelde client kütüphanelerinin kurulu olduğu makinelerden, yani Spark’ın Hadoop’un nerede olduğundan haberdar ve konfigürasyonları yapılmış...

Erkan ŞİRİN Erkan ŞİRİN 4 yıl önce
Bunları Okudun Mu?
Abone Ol

    ×

    Bir Şeyler Ara