“VISPool: Enhancing Transformer Encoders with Vector Visibility Graph Neural Networks” başlıklı çalışmamız Bangkok’ta düzenlenen ACL 2024 konferansında sunulmuştur.
Çalışmada, doğal dil işlemenin sınırlarını genişletmek için dönüştürücüler ile çizge sinir ağlarının (GNN) birleşimi incelenmektedir. Dönüştürücüler doğal dil işlemeyi köklü biçimde değiştirmiştir. GNN’lerin bu yapılara katılması umut verici bir yol sunsa da mevcut yöntemler çıkarımsal (transdüktif) yaklaşımın sınırları, ölçeklenebilirlik ve karmaşık metin işleme gereksinimi gibi sorunlarla karşılaşmaktadır.
Bu sorunları gidermek için, dönüştürücü çıktılarından üretilen vektör görünürlük çizgelerini (VVG) kullanan, metin belgeleri için yeni bir dinamik çizge oluşturma yöntemi önerilmektedir. Önerilen görünürlük havuzlayıcısı (VISPool), VVG evrişim ağlarını dönüştürücü işlem zincirlerine doğrudan katmaktadır. VISPool, daha az eğitilebilir parametreyle GLUE veri setlerinde karşılaştırılan yöntemlerden daha başarılı olmaktadır.
Makale: https://aclanthology.org/2024.findings-acl.149
Kod: https://github.com/koc-lab/vispool
Özet:
Dönüştürücülerin ortaya çıkışı, çeşitli görevlerde görüldüğü gibi doğal dil işlemeyi köklü biçimde değiştirmiştir. Çizge sinir ağları (GNN) doğal dil işlemede umut vaat etse de dönüştürücülerin yerini tek başına alamaz. Bu nedenle son çalışmalar dönüştürücüler ile GNN’lerin birleştirilmesini araştırmaktadır. Mevcut GNN tabanlı yaklaşımlar aşırı metin işleme gerektiren durağan çizge oluşturma yöntemlerine dayanmakta ve çoğu belge ve sözcük sayısı arttıkça ölçeklenememektedir. Bu sınırlamalar, dönüştürücü çıktısından üretilen vektör görünürlük çizgelerine (VVG) dayanan, metin belgeleri için yeni bir dinamik çizge oluşturma yöntemiyle giderilmektedir. Ardından VVG evrişim ağlarını dönüştürücü işlem zincirlerine doğrudan katan, ölçeklenebilir bir model mimarisi olan görünürlük havuzlayıcısı (VISPool) tanıtılmaktadır. Önerilen model, Genel Dil Anlama Değerlendirmesi (GLUE) veri setlerinde değerlendirilmiştir. VISPool, daha az eğitilebilir parametreyle karşılaştırılan yöntemlerden daha başarılı olmakta ve görünürlüğe dayalı çizge oluşturmanın dönüştürücüleri GNN’lerle güçlendirmede uygulanabilir olduğunu göstermektedir.