Leksik almashtirish - Lexical substitution - Wikipedia

Leksik almashtirish gap tarkibidagi so'z o'rnini bosuvchi narsani aniqlash vazifasi. Masalan, quyidagi matn berilgan: "Keyin o'yin, Turnir davomida surunkali suvsizlanishni oldini olish uchun qolgan suyuqlik etishmovchiligini almashtiring ", o'rnini bosuvchi o'yin berilishi mumkin.

Leksikani almashtirish qat'iyan bog'liqdir so'z ma'nosini ajratish (WSD), ikkalasi ham aniqlashga qaratilgan ma'no bir so'z bilan. Biroq, WSD avtomatik ravishda tegishli tayinlashdan iborat sezgi sobit ma'noda inventarizatsiyadan, leksik o'rnini bosuvchi so'z uchun kontekstda eng yaxshi vakili sifatida tanlash uchun hech qanday cheklovlarni keltirib chiqarmaydi. Inventarizatsiyani tayinlamagan holda, leksik almashtirish hissiyotlarni farqlashning donadorligi masalasini engib chiqadi va so'zlarni avtomatik ravishda qabul qiladigan avtomatik tizimlar uchun teng sharoit yaratadi (vazifa deb ataladi) Word Sense induksiyasi ).

Baholash

Avtomatik tizimlarni leksik almashtirish bo'yicha baholash uchun vazifa tashkil etildi Semeval-2007 yilda o'tkazilgan baholash tanlovi Praga 2007 yilda. A Semeval-2010 tillararo leksik almashtirish bo'yicha vazifa ham amalga oshirildi.

Skip-gramm modeli

Skip-gramm modeli ma'nolari o'xshash so'zlarni N-o'lchovlar (elementlar ro'yxati) da bir-biriga yaqin joylashgan vektor makoniga (birlashtirilishi va raqamlarga ko'paytirilishi mumkin bo'lgan narsalar to'plami) olib boradi. Turli xil asab tarmoqlari (inson miyasi asosida modellashtirilgan kompyuter tizimi) bir-biriga bog'liq bo'lgan vektorlar va tarmoqlar natijasida birgalikda hosil bo'ladi. Bularning barchasi tarmoqda yaratilgan so'z boyligining o'lchamlarida uchraydi.[1]Model leksik almashtirishni avtomatlashtirish va bashorat qilish algoritmlarida ishlatilgan. Oren Melamud, Omer Levi va Ido Dagan tomonidan ishlab chiqilgan shunday algoritmlardan biri har bir so'z va uning sinonimlari uchun vektor topishda skip-gramm modelidan foydalanadi. So'ngra, qaysi so'zlar eng yaxshi o'rinbosar bo'lishini aniqlash uchun vektorlar orasidagi kosinus masofasini hisoblab chiqadi.[2]

Misol

"It tez tempda yurdi" kabi jumlada har bir so'z boshqasiga nisbatan o'ziga xos vektorga ega. "The" uchun vektor [1,0,0,0,0,0,0] bo'lar edi, chunki 1 so'z so'z boyligi, 0 esa vektor yaratadigan ushbu so'z birikmasi atrofidagi so'zlardir.

Shuningdek qarang

Bibliografiya

Adabiyotlar

  1. ^ Barazza, Leonardo. "Word2Vec-ning Skip-Grami qanday ishlaydi?". Insonga aylanish.
  2. ^ Melamud, Oren; Levi, Omer; Dagan, Ido (2015 yil 5-iyun). "Leksik almashtirish uchun oddiy so'zni kiritish modeli". NAACL-HLT 201 ishi: 1–7. Olingan 16 aprel 2018.