Doğal Dil İşleme Nedir ve Uygulama Alanları Nelerdir?

Ceylan OPUZ 31 Ekim 2019 Genel bir bakış, Makine Öğrenmesi 2 13575 935 kelime - 6 dakika136

Bu yazıya puan ver

(4 votes, average: 3,75 out of 5)

Merhaba arkadaşlar, başlıktan da anlaşılacağı üzere bu blog yazımda size kabaca doğal dil işleme ve uygulama alanlarından bahsedeceğim. Yazım seri şeklinde olacaktır, bir sonraki yazımda doğal dil işleme kütüphanesi olan NLTK anlatacağım. Umarım okurken keyif alırsınız, hadi başlayalım. 😀

Doğal dil işleme, İngilizce literatürde Natural Language Processing (NLP) diye geçmektedir. Doğal dil işleme, yapay zekanın bir alt kategorisidir. Bilgisayar dünyasında iki farklı dil vardır bunlardan biri makine dilleri yani programlama dilleri, diğeri ise doğal dillerdir. Doğal dillerden kasıt, insanların konuştuğu doğal dillerdir, bunlara; Türkçe, İngilizce ve Korece gibi diller örnek olarak verilebilir. İnsanların konuştuğu dili makinelerin alıp işlemesine doğal dil işleme denilmiştir.

Dil, insanoğlunun uygarlaşmasını sağlamakla birlikte zekasının giderek parlamasını da sağlamıştır. Kültür dediğimiz kavram dil kullanan ve iletişim kuran insanın sosyalleşme ürünüdür. Doğal dil işleme ile doğal dillerin kurallı yapısının çözümlenmesi veya yeniden üretilmesi amaçlanmıştır. Doğal dilin yapısını çözümlediğimiz ve üretim yapmaya başladığımız zaman, insanların makinelere olan beklentisi yükselmektedir ki keza, son yıllarda insanların makinelerle olan bağının giderek arttığına hepimiz şahit olmaktayız.

Peki doğal dil işleme için yapılan çalışmalar nelerdir?

Metin (Text)
Ses (Speech)

Metin verilerini doğrudan işleyip analiz yapılırken ses verileri üzerinde doğrudan işlem yapılamıyor, öncelikle ses verileri yazılı metinlere çevriliyor ve bu yazılı metinler doğal dil işleme modüllerine uygun hale getirilip makine tarafından işleniyor.

Doğal dil işleme ile ilgilenirken üzerinde çalışılan dilin, dil morfolojisi seviyelerini bilmek oldukça önemlidir, bunlar;

Kelime bilimi (Morphological-Lexical)
Sözdizimi (Syntactic )
Anlamsal (Semantic)
Söylevdir (Sragmatic-discourse )

Yüzeysel olarak bakacak olursak her maddenin literatürdeki tanımına;

Kelime bilimi: En küçük parçalar olarak ifade edilebilir. Yapım ekleri, çekim ekleri bunlara örnek verilebilir. Örneğin -cı,-ci gibi gelen yapım ekleri bir kelime parçalanırken bölünen en küçük parçadır.

Sözdizimi: Anlamlı birimlerin tümce oluşturacak biçimde bir araya gelme, tümcelerin, birbirine bağlanma, üretilme, dönüştürülme, vb. kurallarını inceleyen dilbilim dalıdır.

Anlamsal: Kelime gruplarının bilgisayarın anlayabileceği, kelimeleri birbiriyle karşılaştırabileceği gruplayabileceği eklemeler yaparak yeni kelime türetebileceği ,üretirken kullanacağı formüller halinde ele alınabilecek bir gösterim durumudur. Kısacası mantıksal gösterine ihtiyaç duyulmaktadır.

Söylev: Bir kelimenin hangi alanda ne anlama geldiğinin bilinmesi gerekir. Cümlede kullanılan bir kelime bir alan için farklı bir anlama gelebilecekken bir başka terminolojide bambaşka anlama gelebilir.

Dil morfolojisinin aklınızda az çok yer edindiğini düşünüyorum. Doğal dil işleme terminolojisinin bir alt kümesi olan NLU, yani doğal dili anlama ile ilgilenecekseniz bu kavramlar üzerinde ciddi çalışmalar yapmanız gerekir çünkü zor bir sorun olarak kabul edilmekte. Makinenin insan gibi davranarak önüne gelen bir metni yorumlama yeteneğini kazandırılmaya çalışılması örnek olarak verilebilir. 🙂

Doğal dil işleme kavramının ne olduğunu anladıktan sonra gelelim uygulama alanlarına. 😉

Named Entity Recognition(NER) uygulamasına örnek bir resim

Uygulama alanlarına 10 farklı proje örnek verilebilir, bunlar:

Metin Sınıflandırma ve Kategorizasyon (Text Classification and Categorization)
Adlandırılmış Varlık Tanıma (Named Entity Recognition (NER) )
Konuşma Bölümü Etiketleme (Part-of-Speech Tagging)
Anlamsal Ayrıştırma ve Soru Cevaplama (Semantic Parsing and Question Answering)
Yorum Bulma (Paraphrase Detection)
Dil Üretimi ve Çok Belgeli Özetleme (Language Generation and Multi-document Summarization)
Dil Çeviri (Machine Translation)
Ses Tanıma (Speech Recognition)
Karakter Tanıma (Character Recognition)
Yazım Denetimi (Spell Checking)

Bütün uygulamaları tek tek açıklamayacağım sadece fikir olsun diye bir kaç maddede doğal dil işleme alanında yapılan bazı uygulamaları sıraladım. Named Entity Recognition(NER) uygulaması için Bill Gates resimli örneği büyüterek inceleyebilirsiniz.

İlk maddede bulunan uygulamayı şöyle açıklayabilirim: Metin sınıflandırma ve kategorizasyon; Web arama, bilgi filtreleme, dil tanımlama, okunabilirlik değerlendirmesi ve duyarlılık analizi gibi birçok uygulamanın önemli bir parçasıdır. Makine öğrenmesi algoritmaları ve yapay sinir ağları bu görevler için aktif olarak kullanılmaktadır.

Örnek bir çalışma görmek isterseniz eğer Kadıköy Belediyesinin verilerini kullanarak metin sınıflandırma yapmıştım. Yani gelen metnin(text) şikayet mi, talep mi yoksa teşekkür mü olduğunu kategorize eden bir projeydi. Şuraya tıkladığınız takdirde github hesabıma giderek projeyi inceleyebilirsiniz.

Vaktinizi ayırıp okuduğunuz için teşekkür ederim, değerli yorumlarınızı heycanla bekliyorum. Bir sonraki yazımda görüşmek üzere. 🙂

Kaynaklar : https://en.wikipedia.org › wiki › Natural_language_processing https://medium.com/@datamonsters/artificial-neural-networks-in-natural-languageprocessingbcf62aa9151a#targetText=Natural%20language%20generation%20has%20many,data%2C%20and%20even%20producing%20jokes. https://www.sas.com/tr_tr/insights/analytics/what-is-natural-language-processing-nlp.html

Görsel kaynak: https://www.bbntimes.com/images/authors/Salman_Jaffer/NER_1.jpg

Ceylan Opuz