Python ile Birliktelik Kuralları Analizi (Association Rules Analysis with Python)

Metin USLU 24 Şubat 2019 Birliktelik Kuralları Analizi, Genel bir bakış, Python 0 7549 1964 kelime - 13 dakika71

---

Bu yazıya puan ver

(No Ratings Yet)

Loading...

---

Merhabalar,

Bu gün sizlerde birlikte Python üzerinde Birliktelik Kuralları Analizi çalışmasını gerçekleştireceğiz. Çok daha evvel olması yazılması planlanan bu yazı için lütfen kusuruma bakmayınız. ☹ Birliktelik Kuralları Analizi (Association Rules Analysis) hakkındaki daha önceki yazılara aşağıdaki linklerden ulaşabilirsiniz.

1. Birliktelik Kuralları Analizi (Association Rules Analysis) https://www.veribilimiokulu.com/associationrulesanalysis/

2. R ile Birliktelik Kuralları Analizi (Association Rules Analysis with R Project) https://www.veribilimiokulu.com/association-rules-analysis-with-r/

3. IBM SPSS Modeler ile Birliktelik Kuralları Analizi (Association Rules Analysis with IBM SPSS Modeler) https://www.veribilimiokulu.com/association-rules-analysis-with-ibm-spss-modeler/

Şimdi sıra Python’da 😊

Python üzerinde Birliktelik Kuralları Analizi için kullanacağım kütüphaneler başlıca kütüphaneler: mlxtend, pandas ve numpy

MLXTEND (Machine Learning Extensions)

MLXTEND modülü içerisinde; classifier, cluster, regressor, evaluate, feature extraction&selection, frequent_patterns, general concepts, image, preprocessing, , math, plotting vb. extension’lar yer almaktadır. Şuanki mevcut sürümü BSD lisansı altında 0.13.0’tür. Kendisi hakkında daha fazla bilgi elde etmek isterseniz resmi web sayfasını inceleyebilir ve yazarı Sebastian Raschka hakkında buradan bilgi edinebilirsiniz.

Numpy ve Pandas

Numpy ve Pandas paketleri ise, Matris İşlemleri ve Input&Output işlemleri için kullanmaktayım.

Not: Kullanmış olduğum; Python versiyonu 3.6.8 ve IDE(Integrated Development Environment) olarak Jupyter Notebook kullanmaktayım. Github repo’sunda .ipynb ve.py dosyasını paylaşacağım.

Gerekli Modüllerin Kurulması

Bu projeye ait Github reposu içerisinde requirements.txt dosyası yer alacaktır. Bu dosyayı ilgili dizinde iken komut istemi kısmında

pip install -r requirements.txt

ya da

conda install --file requirements.txt

olarak çalıştırmanız ve kurulumları yapmanız gerekmektedir. Ya da modülleri manuel olarak aşağıdaki gibi kurabilirsiniz.

pip install mlxtend
pip install pandas
pip install numpy

ya da Conda Package Manager ile

conda install mlxtend --channel conda-forge
conda install pandas
conda install numpy

Conda Forge mlxtend github reposu: https://github.com/conda-forge/mlxtend-feedstock

Modülleri Import Edelim

#Importing Modules
import pandas as pd
import numpy as np

from mlxtend.preprocessing import TransactionEncoder
from mlxtend.frequent_patterns import apriori
from mlxtend.frequent_patterns import association_rules

import mlxtend as ml
#print(ml.__version__)

Veri Seti Oluşturma

Bu uygulama da daha öncekilerden farklı olarak veri setini kendimiz oluşturacağız. Hazır bir veri setinden ziyade kendimizin yazacağı ufak kodlar ile veri setini oluşturacağız. Burada oluşturacağımız veri seti gerçek dünya verisi olmadığı için birliktelik kuralları analizinde farklı çıktılar ile karşılaşmamız yüksek ile muhtemel 🙂

Veri setini oluştururken bazı kurallarımız olacak. Adımlar:

1. Ürün listesinin belirlenmesi: 16 Adet (‘Apple’,’Corn’,’Dill’,’Eggs’, ‘Ice cream’,’Kidney Beans’,’Milk’,’Nutmeg’, ‘Onion’,’Unicorn’,’Yogurt’, ‘Bread’, ‘Cheese’, ‘Butter’, ‘Sugar’,’Chocolate’)

2. Veri setinin içerisindeki gözlem sayısının belirlenmesi: 1000 Adet

dataset = []

import random

items = ['Apple','Corn','Dill','Eggs',
         'Ice cream','Kidney Beans','Milk','Nutmeg',
         'Onion','Unicorn','Yogurt', 'Bread', 
         'Cheese', 'Butter', 'Sugar','chocolate']

for i in range(1, 1000):
    k = random.randrange(1, len(items)+1)
    #print('K Values:', k)
    dataset.append(random.choices(items, k=k))
    #print(random.sample(items, k=k))
    
    #liste.append(random.sample(items, k=k))
    #print(random.sample(items, k=k))

    #random.sample
    #dataset.append(random.sample(items, k=k))
    #print(random.sample(items, k=k))

Ben 16 adet ürün belirleyerek bunları bir listeye yazdım. Devamında 1 ile bu ürünlerin sayısı olan 16 arasında rasgele bir üreterek random.choices fonksiyonu ile itemset listesi içerisinden ürünlerin seçilmesi sağlıyoruz. Bu veri seti içerisinde 1000 adet gözlem olması istediğim için de for döngüsü ile 2. adımı tekrarlıyoruz. Devamında veri setimiz oluşuyor.

Veri Seti Output: ./output/dataset.csv

df.to_csv('./output/dataset.csv', index=False)

Veri setinin boyutu: 1000 (0 – 999)

print(len(dataset))

999

İlk 5 Satırı Görelim:

print(dataset[1:5])

[['Onion', 'Cheese', 'Nutmeg', 'Corn', 'Sugar'], ['Corn', 'Unicorn', 'Chocolate', 'Apple', 'Apple', 'Corn'], ['Butter', 'Cheese', 'Bread', 'Sugar', 'Milk', 'Apple', 'Butter', 'Dill', 'Bread', 'Apple', 'Yogurt', 'Dill', 'Nutmeg', 'Kidney Beans'], ['Chocolate', 'Onion']]

Son 5 Satırı Görelim:

print(dataset[995:(len(dataset)+1)])

[['Apple', 'Unicorn', 'Kidney Beans', 'Cheese', 'Corn', 'Butter'], ['Onion'], ['Milk', 'Unicorn'], ['Butter', 'Yogurt'], ['Butter', 'Dill', 'Ice cream', 'Bread', 'Dill', 'Dill', 'Dill', 'Butter', 'Onion', 'Onion', 'Chocolate', 'Bread', 'Cheese', 'Bread', 'Ice cream', 'Bread']]

random.choices kullandığımız gibi random.sample fonksiyonunu da kullanabiliriz. Random.sample kullanmanız aynı satır içerisindeki ürünlerin benzersizliği sağlayacaktır. Yukarıda yorum satırı olarak bıraktığım (#random.sample) satırı çalıştırarak görebilirsiniz.

Veri setini oluşturduktan sonra nested list (iç içe liste) tipindeki verilerimizi tabular bir yapıya çevirmemiz gerekiyor. Bunun için mlxtend modülü içerisinde yer alan preprocessing sınıfı içerisinde TransactionEncoder fonksiyonunu kullanacağız.

Not: from mlxtend.preprocessing import TransactionEncoder

te = TransactionEncoder()
te_ary = te.fit(dataset).transform(dataset)
df = pd.DataFrame(te_ary, columns=te.columns_)

Not: TransactionEncoder hakkında daha fazla bilgi için: http://rasbt.github.io/mlxtend/user_guide/preprocessing/TransactionEncoder/

Şimdi de tabular formattaki verisetimizi görelim:

df.head()

apriori(df, min_support=0.15).[1:26]

print("Kural Sayısı:", len(apriori(df, min_support=0.15)))

Kural Sayısı: 126

apriori(df, min_support=0.15, use_colnames=True)[1:26]

frequent_itemsets = apriori(df, min_support=0.15, use_colnames=True)

# frequent_itemsets
# association_rules(frequent_itemsets, metric="confidence", min_threshold=0.30)

rules1 = association_rules(frequent_itemsets, metric="confidence", min_threshold=0.30)

Not: from mlxtend.frequent_patterns import association_rules

print("Oluşan Kural Sayısı:", len(rules1))

Oluşan Kural Sayısı: 220

rules1 = rules1.sort_values(['confidence'], ascending=False)

rules1[1:11]

rules1["antecedent_len"] = rules1["antecedents"].apply(lambda x: len(x))
rules1["consequents_len"] = rules1["consequents"].apply(lambda x: len(x))
rules1[1:6]

rules2 = association_rules(frequent_itemsets, metric="lift", min_threshold=1)

rules2 = rules2.sort_values(['lift'], ascending=False)

rules2[1:6]

rules2["antecedent_len"] = rules2["antecedents"].apply(lambda x: len(x))

rules2["consequents_len"] = rules2["consequents"].apply(lambda x: len(x))

rules2[1:6]

rules1[(rules1['antecedent_len'] >= 1) &
       (rules1['confidence'] >= 0.20) &
       (rules1['lift'] > 1) ].sort_values(['confidence'], ascending=False)[1:10]

rules1[rules1['antecedents'] == {'Bread'}].sort_values(['confidence'], ascending=False)[1:10]

rules1.to_json('./output/rules1.json')

rules2.to_json('./output/rules2.json')

1. Birliktelik Kuralları Analizi (Association Rules Analysis)
2. R ile Birliktelik Kuralları Analizi (Association Rules Analysis with R Project)
3. IBM SPSS Modeler ile Birliktelik Kuralları Analizi (Association Rules Analysis with IBM SPSS Modeler)

Kaynaklar:

• http://rasbt.github.io/mlxtend/
• https://github.com/rasbt/mlxtend
• http://pandas.pydata.org/