Zipf düzenlilikleri, hesaplamalı dilbilim ve doğal dil işlemenin yanı sıra bilimin başka birçok alanında da önemli deneysel yasalardır. En önemli Zipf yasalarından biri olan anlam dağılımı yasası, sözcüklerin sıklığı ile sahip oldukları anlam sayısı arasında bir kuvvet ilişkisi olduğunu belirtir. En az çaba ilkesinin bir sonucu olarak sık kullanılan sözcükler, daha az kullanılanlardan daha fazla anlama sahiptir. Başka bir deyişle sözcük sıklıkları, sözcüklerin çokanlamlılık özelliklerinin göstergesidir.
KocLab bu makalede anlambilimde başka bir Zipf düzenliliği bulunduğunu göstermiştir. Çokanlamlılık etkisi giderildiğinde sözcüklerin genelliği ve özgüllüğünün bir Zipf düzenliliği gösterdiği ortaya konmuştur. Sözcüklerin özgüllük düzeyini ölçmek için nokta olmayan bir sözcük temsili olan Gauss gömmelerinin varyans değerleri kullanılmıştır. Derlemden çokanlamlılık etkisi giderilerek sözcüklerin farklı anlamları için Gauss gömmeleri elde edilmiş ve sözcüklerin varyans değerlerinde sözcük sıklığı sıralamasına göre Zipf örüntüsü gösterilmiştir. Bu düzenlilik, “sık kullanılan sözcüklerin daha genel, seyrek kullanılanların ise daha özgül olma eğiliminde” olduğunu göstermektedir.
Makaleye [buradan] erişilebilir.
Özet:
En yaygın deneysel düzenliliklerden biri olan sözcük sıklıklarına ilişkin Zipf yasası, sözcük sıklıkları ile sıklık sıraları arasındaki bir kuvvet yasası ilişkisidir. Bu çalışmada nokta olmayan, dağılım tabanlı sözcük gömmeleri aracılığıyla sözcüklerin anlamsal belirsizliği nicel olarak incelenmekte ve Zipf düzenlilikleri ortaya konmaktadır. Bir sözcüğün belirsizliği çokanlamlılık, sözcüğün “geniş” bir anlama sahip olması (daha geniş duygu ile daha dar öfke arasındaki ilişki gibi) ya da ikisinin birleşimi nedeniyle artabilir. Bir sözcüğün farklı anlam ya da bağlamlarda ne ölçüde kullanılabildiğini nicelemek için Gauss gömmelerinin varyansları kullanılmıştır. Nokta olmayan Gauss gömmelerindeki varyans bilgisiyle, çokanlamlılık denetlendiğinde sözcüklerin anlamsal genişliğinin de Zipf örüntüleri gösterdiği nicel olarak gösterilmektedir: sık kullanılan sözcükler genel, seyrek kullanılanlar ise özgül olma eğilimindedir. Bu sonuç, Zipf’in anlam dağılımı yasasını ve ilgili anlam-sıklık yasasını tamamlamaktadır. Farklı dil ailelerine ait İngilizce ve Türkçe için de sonuçlar sunulmaktadır. Bu düzenlilikler, sözcüklerin anlamsal özellikleri ile sıklıkları arasındaki ilişkileri anlamak için değerli bilgi sağlamakta ve çeşitli uygulamalarda başarımı artırmak için kullanılabilmektedir. Ayrıca Zipf düzenliliğinden yararlanarak taban metinsel gerektirme tespiti algoritmalarının başarımını artıran bir yöntem önerilmektedir. Bilindiği kadarıyla bu çalışma, sözcük sıklıkları ile anlamsal genişlik arasındaki ilişkiyi Gauss gömmeleriyle inceleyen ilk nicel çalışmadır.