dbt (DataBuildTool) ile Veri Analitiği Yolculuğunda Yeni Bir Dönem
Yeniden merhaba! Hemen hemen her yazımızda veri analitiğinin, karmaşık ve dinamik bir süreç olduğuna değiniyoruzdur. Büyük veri setleri, farklı kaynaklardan gelen veri çeşitliliği ve hızla değişen iş gereksinimleri, veri analistlerine ve mühendislerine zorlayıcı bir ortam yaratıyor. Geleneksel veri yapıları ve analitik yöntemler, bu hızlı değişime ayak uydurmakta zorlanırken ve süreçler zaman alıcı ve karmaşık hale […]
TEMPORAL FUSION TRANSFORMER
Bu yazımda sizlere Google’ın yakın zamanda geliştirmiş olduğu Temporal Fusion Transformer (TFT) mimarisini açıklamak ve Python’da örnek bir veri seti üzerinden uygulama yapmak istiyorum. Gün geçmiyor ki makine öğrenme algoritmalarının bir yenisi çıkmasın ve bir ihtiyaca merhem olmasın. Bugün sizlere tanıtımını yapacağım TFT derin öğrenme mimarisi, zaman serileri üzerine güven aralıklarıyla tahmin üretebilen bir mimari/yöntemdir. […]
MySQL Upsert İçin Alternatif Bir Yaklaşım
İş ihtiyacını karşılayacak şekilde temiz, doğru, güvenilir, istenen formatta, gıcır gıcır veri tabanında bekleyen bir veriyi kim sevmez ki 🙂 Mesela Mysql’de. Elbette herkes sever ancak bunu sağlayacak olan sağlam işleyen veri akış hatlarıdır (data pipelines). Veri akış hatları bilgi sistemi kullanan küçük veya büyük her örgüt için olmazsa olmaz bir zorunluluk haline geldi. Artık […]
Derin Öğrenme ile BBC Haberlerinin Sınıflandırılması
Merhabalar! Bu yazımda derin öğrenme (deep learning) yöntemlerinden evrişimli sinir ağları (convolutional neural networks – CNN) ve uzun kısa süreli bellek (Long short-term memory – LSTM) modelini kullanarak çoklu sınıflandırma problemini ele alacağım. Bunun yanında ilgilendiğimiz haberleri, manifold öğrenme algoritmaları arasında en popüler olan t-SNE (t-Distributed Stochastic Neighbor Embedding) ile görselleştireceğiz. Veri Seti Bu çalışma kapsamında BBC’e (British Broadcasting Corporation) ait […]
MXNet ile Derin Öğrenme 2.1: Softmax Regresyon (Teori)
Herkese merhabalar, MXNet ile derin öğrenme serisine devam ediyoruz. İlk iki bölümde doğrusal regresyon konusunda teorik bilgiler paylaşıp python programlama dili ile uygulama yapmıştık. Bu bölümde softmax regresyon konusunda teorik bilgiler paylaşılacaktır. Doğrusal regresyon teori kısmına buradan Doğrusal regresyon uygulama kısmına buradan ulaşabilirsiniz. Regresyon, ne kadar veya kaç tane? gibi sorulara cevap vermek ıstediğimizde kullandığımız […]
MXNet ile Derin Öğrenme 1.2: Doğrusal (Linear) Regresyon (Uygulama)
Herkese merhabalar, MXNet ile derin öğrenme serisine devam ediyoruz. İlk bölümde doğrusal regresyon konusunda teorik bilgiler paylaşmıştık. Bu bölümde doğrusal regresyon konusunda MXNet kütüphanesini kullanarak uygulama yapacağız. İlk bölümü incelemeyenler buradan erişebilirsiniz. Uygulama kısmında hazır verisetlerini kullanmak yerine kendi verisetimizi hazırlayacağız. Uygulama Kütüphane ekleme, Veriseti oluşturma, Verisetini okuma, Model parametrelerini belirleme, Sinir ağ modeli oluşturma, […]
Hiyerarşik Kümeleme
Merhabalar! Uzun bir aradan sonra yine sizlerleyim 🙂 Bu yazımda denetimsiz öğrenme (unsupervised learning) algoritmalarından hiyerarşik kümelemeyi ele alacağız. İlk olarak denetimsiz öğrenme nedir? Denetimsiz Öğrenme Denetimli öğrenmede (supervised learning) bilindiği üzere etiket bilgisine sahip verilerle çalışıyoruz. Buna karşılık denetimsiz öğrenmede (Gözetimsiz Öğrenme / Kümeleme) elimizde sadece girdi verileri bulunuyor. Herhangi bir sınıf (etiket) bilgisine sahip değiliz. Denetimsiz […]
TensorSensor ile Yapay Sinir Ağlarında Tensör İşlemlerinin Görselleştirilmesi
Herkese Merhabalar, bu yazıda, TensorSensor kütüphanesini kullanarak derin öğrenme modellerinin arkasında çalışan matematiksel işlemleri görselleştirmek anlatılacaktır. Çoğu insan, Pytorch veya Tensorflow gibi üst düzey kitaplıkları kullanarak derin öğrenme sorunlarını çözmektedir. Bu kütüphaneler, umursamadığımız veya daha sonra öğrenebileceğimiz birçok uygulama detayını saklar. Derin öğrenmeyi gerçekten anlamak için, bir noktada kendi ağ katmanlarını ve eğitim döngülerini tecrübe […]
Evrişimli Sinir Ağlarıyla Haberlerin Sınıflandırılması
Merhabalar! Uzun bir aradan sonra yine sizlerleyim 🙂 Bu yazımda çoklu sınıflandırma problemini inceleyeceğiz. Bunun sebebi günümüzde sınıflandırma problemlerinin büyük bölümünün ikili değil çoklu sınıflandırma problemi olmasıdır. Çoklu sınıflandırma problemi temel olarak ikiye ayrılır. Tek etiketli ve çok etiketli olanlar. Çalışma kapsamında tek etiketli çoklu sınıflandırma problemi ele alınmıştır. Bu problem için farklı haber kategorisine […]
CatBoost Nedir? Diğer Boosting Algoritmalarından Farkı Nelerdir?
Catboost, Yandex şirketi tarafından geliştirilmiş olan Gradient Boosting tabanlı açık kaynak kodlu bir makine öğrenmesi algoritmasıdır. Gradient Boosting’in performansını arttırmak amacıyla geliştirilen XGBoost ve LightGBM’e alternatiftir.
Basit Doğrusal Regresyon Nedir?
Bu yazımda Python’da basit doğrusal regresyon modeli oluşturacağız. Regresyon analizinde, iki ya da daha çok değişkenin yer aldığı istatiksel modellerde, genellikle neden-sonuç ilişkileri araştırılır. Yani değişkenlerden biri ya da birkaçının, diğer bir ya da birkaç değişkeni ne ölçüde etkilediği incelenir. Eğer değişkenler arasında ilişki varsa, ilişkinin derecesi matematiksel bir fonksiyon olarak ortaya konur. Bu fonksiyona […]
Günlük İşlerinizi Kolaylaştıracak Pandas ve Numpy Fonksiyonları
Python ortamında veri bilimi ile uğraşanların en çok kullanığı kütüphaneler Pandas ve Numpy’dır. Bu yazıda ise bu kütüphanelerde olan, işlerinizi oldukça kolaylaştıracak fonksiyonlardan bahsedeceğim. Numpy 1 – argpartition() Bu fonksiyon, bize N en büyük değerlerin indekslerini vermektedir. İhtiyaca göre bu indekslere sahip değerleri sıralayabiliriz. 2 – allclose() Bu fonksiyon, 2 tane dizinin birbirine eşit ya […]
LightGBM
LightGBM diğer boosting algoritmaları ile karşılaştırıldığında yüksek işlem hızı, büyük verileri işleyebilmesi, daha az kaynak(RAM) kullanımı, yüksek tahmin oranı, paralel öğrenme ve GPU öğrenimini desteklemesi gibi avantajları vardır.
Öneri Sistemleri 101 – İçerik Bazlı Filtreleme
Merhaba VBO okuyucuları, Bir önceki yazımda günümüzde çok popüler olan ‘öneri sistemleri’ konusuna bir giriş yapmıştık, yazıya bu linkten ulaşabilirsiniz. Bu yazımda biraz daha bu işin kodlama kısmına girerek, konuyu detaylandırmak ve çıktıları incelemek istiyorum. Uygulama olarak bir e-ticaret verisi üzerinde, girdi olarak verilen bir ürün için benzer içerikli ürünlerin bulunmasını amaçlıyorum. Öncelikle teorik kısımla […]
XGBoost Nasıl Çalışır? Neden İyi Performans Gösterir?
XGBoost, Gradient Boosting algoritmasının optimize edilmiş yüksek performanslı halidir. Yazıda XGBoost’un nasıl çalıştığı ve performansı incelenmiştir.
Derin Öğrenme ile Çoklu Sınıflandırma
Herkese Merhabalar! Bu yazımda metin verisi için çoklu sınıflandırma problemlerini inceleyeceğiz. Bir önceki yazımda derin öğrenme yaklaşımını kullanarak ikili sınıflandırma problemini ele almıştım. Yani sahte ve gerçek haberler arasında ayrım yapabilen bir derin öğrenme modeli oluşturmaya çalışmıştım. Bu yazıda ise yine metin verisinden yararlanarak çoklu sınıf tahmini yapan bir model oluşturmaya çalışacağım. Veri Seti Bu çalışma […]
Hptpy: Hipotez Testi Kütüphanesi
Herkese merhaba! Uzun zamandır veri bilimi ile alakalı bir yazı yazamamıştım. Okulda son dönemim olduğu için tez çalışmama oldukça fazla vakit ayırmak zorunda kalmıştım. Artık okulum bittiğine göre yazılarıma kaldığım yerden devam edebilirim! Uzun zamandır internette Python mu R mı muhabbeti dönmekte. Kimileri R hakkında etmediği laf kalmazken, kimileri de Python hakkında olumsuz eleştirilerini yapmaktadır. […]
Gradient Boosted Regresyon Ağaçları
Gradient Boosting, zayıf öğrenicileri güçlü öğreniciye dönüştürme yöntemidir.
Tensorflow Lite Modeli ile Colab Üzerinden Görüntü Sınıflandırma: Derin Öğrenme Uygulaması
Bildiğiniz üzere derin ağlarda / katmanlarda öğrenme işlemine biz kabaca derin öğrenme diyoruz. Bu açıklama tam karşılığı olmasa da gözünüzde bu şekilde canlandırabilirsiniz. Bu ay, yazımda sizlerle çok faydalı olacağına inandığım ve Türkçe kaynak açısından eksik bilgilerin olduğu bir konuyu ele almak istiyorum. Bu yazımda önce gözümüze Kaggle’dan bir görüntü verisi kestireceğiz. Modelimize uygun veriyi […]
Word2Vec
Aralık ayı blog yazımın konusu olan, word2vec’ten yani kelime temsil (word embedding) yöntemini teoride açıkladıktan sonra Pyhton programlama dili ile uygulamasını yaptım.
