UMRAM’dan yeni bir makale: ”Learning Interpretable Word Embeddings via Bidirectional Alignment of Dimensions with Semantic Concepts”

Münih Ludwig Maximilian Üniversitesi’nin (LMU) Bilgi ve Dil İşleme Merkezi (CIS) ve ASELSAN Araştırma Merkezi ile işbirliği içinde, UMRAM Koç Lab ve Icon Lab’ ın “Learning Interpretable Word Embeddings via Bidirectional Alignment of Dimensions with Semantic Concepts” başlıklı makaleleri yayınlandı.

Makale, yorumlanabilir kelime yerleştirmeleri elde etmek için kelime yerleştirmelerinin hem olumlu hem de olumsuz boyutlarını kavramlarla hizalayan çift yönlü açıklama (BiImp) yöntemini önermektedir. BiImp’in çift yönlü doğası, daha fazla kavramı gömme boyutlarıyla hizalayarak sözcük gömmelerinin yorumlanabilirlik kapasitesini artırır.

Kavramları sözcük yerleştirmelerinin hem olumlu hem de olumsuz boyutlarıyla hizalamak, sözcük yerleştirmelerinin kalitesini artırmak için çeşitli fırsatlarla birlikte gelir. Örneğin, yorumlanabilir gömme modellerinde, gereksiz veya ilgili boyutları kaldırmak daha kolaydır, bu da hesaplama ve bellek gereksinimlerinin azalmasına neden olur. Ek olarak, önyargılı bilgiler (örn. cinsiyet, ırk vb.) belirli bir boyut altında toplanabilir. Bu boyutun çıkarılmasıyla, yansız kelime yerleştirmeleri elde edilebilir. Makale, bu kavramı toplumsal cinsiyet yanlılığı kapsamında göstermektedir. BiImp ise anlamsal görevlerde herhangi bir performans düşüşüne neden olmaz ve farklı öğrenme senaryolarına uyarlanabilme esnekliğine sahiptir.

Makaleye buradan ulaşabilirsiniz.

 

Özet:

We propose bidirectional imparting or BiImp, a generalized method for aligning embedding dimensions with concepts during the embedding learning phase. While preserving the semantic structure of the embedding space, makes dimensions interpretable, which has a critical role in deciphering the black-box behavior of word embeddings. BiImp separately utilizes both directions of a vector space dimension: each direction can be assigned to a different concept. This increases the number of concepts that can be represented in the embedding space. Our experimental results demonstrate the interpretability of BiImp embeddings without making compromises on the semantic task performance. We also use BiImp to reduce gender bias in word embeddings by encoding gender-opposite concepts (e.g., male-female) in a single embedding dimension. These results highlight the potential of BiImp in reducing biases and stereotypes present in word embeddings. Furthermore, task or domain-specific interpretable word embeddings can be obtained by adjusting the corresponding word groups in embedding dimensions according to task or domain. As a result, BiImp offers wide liberty in studying word embeddings without any further effort.