SemantiGal

Este servizo contén varios demostradores que exemplifican algunhas das posibilidades de uso dos modelos vectoriais para o galego (ortografía ILG/RAG). Inclúe modelos contextualizados, que xeran representacións diferentes para cada palabra en función do contexto, e modelos estáticos, que representan os diferentes sentidos dunha palabra nun mesmo vector. Os demostradores son os seguintes:

Predición en contexto: utiliza modelos contextualizados baseados en BERT (Devlin et al., 2019) para predicir as palabras máis probábeis nun determinado contexto lingüístico. Inclúe dous modelos desenvolvidos no CiTIUS, un pequeno e un estándar, ademais do modelo multilingüe oficial publicado pola Google https://github.com/google-research/bert.
Palabras semellantes: mostra as formas distribucionalmente máis próximas á palabra introducida, usando modelos fastText (Bojanowski et al., 2017). Permite dous tipos de buscas: monolingüe, que usa un modelo para galego; e multilingüe, que inclúe ademais modelos para portugués, español, e inglés, mapeados no mesmo espazo vectorial que o galego usando vecmap (Artetxe et al., 2018). Os modelos empregados na busca multilingüe só inclúen lemas (non conteñen formas flexionadas nin verbos conxugados).
Similitude entre palabras: calcula a semellanza semántica entre dúas palabras usando o modelo fastText monolingüe para o galego. A redución da dimensionalidade faise con t-SNE (van der Maaten & Hinton, 2008) e visualízase con tSNEJS https://github.com/karpathy/tsnejs.
Operacións vectoriais: permite realizar operacións alxebraicas con vectores, como as analoxías semánticas e morfolóxicas propostas por Mikolov et al., (2013a, 2013b). Dada unha operación (e.g., 'rei -home +muller'), móstranse as palabras cuxos vectores son máis próximos ao vector resultante desa operación ('raíña', no anterior exemplo)..

Todos os modelos foron adestrados de maneira non supervisada usando grandes corpus, polo que poden conter formas non estándar, erros ortográficos, etc. O demostrador dos modelos contextualizados está implementado coa libraría transformers da HuggingFace https://github.com/huggingface/transformers, e os dos modelos estáticos con gensim https://radimrehurek.com/gensim/ (Radim & Sojka, 2010).

Os modelos BERT poden descargarse aquí: pequeno https://zenodo.org/record/4481575 e estándar https://zenodo.org/record/4481591. O modelo fastText pode descargarse aquí https://zenodo.org/record/4481614.

Se usas este servizo ou algún dos modelos para o galego podes citar este traballo:

Garcia, Marcos. 2021. Exploring the Representation of Word Meanings in Context: A Case Study on Homonymy and Synonymy. In Proceedings of the Joint Conference of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (ACL-IJCNLP 2021). Association for Computational Linguistics.

Referencias

Artetxe, Mikel, Gorka Labaka, Eneko Agirre. 2018. A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 789–798. Association for Computational Linguistics.
Bojanowski, Piotr, Edouard Grave, Armand Joulin, Tomas Mikolov. 2017. Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics (5): 135–146.
Devlin, Jacob, Ming-Wei Chang, Kenton Lee, Kristina Toutanova. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171–4186. Association for Computational Linguistics.
Mikolov Tomas, Kai Chen, Greg Corrado, Jeffrey Dean. 2013a. Efficient estimation of word representations in vector space. In Workshop Proceedings of the International Conference on Learning Representations (ICLR) 2013.
Mikolov Tomas, Wen-tau Yih, Geoffrey Zweig. 2013b. Linguistic regularities in continuous space word representations. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2013), pp. 746–751. Association for Computational Linguistics.
Řehůřek Radim, Petr Sojka. 2010 Software Framework for Topic Modelling with Large Corpora. In New Challenges for NLP Frameworks (NLPFrameworks 2010) at LREC 2010, pp 46–50. European Language Resources Association.
van der Maaten, Laurens, Geoffrey Hinton. 2008. Visualizing High-Dimensional Data Using t-SNE. Journal of Machine Learning Research, 9: 2579–2605.