Okapi BM25 - Okapi BM25 - Wikipedia

Yilda ma'lumot olish, Okapi BM25 (BM ning qisqartmasi eng yaxshi moslik) a tartiblash funktsiyasi tomonidan ishlatilgan qidiruv tizimlari taxmin qilish dolzarbligi berilgan qidiruv so'roviga hujjatlar. Bunga asoslanadi probabilistik qidirish doirasi tomonidan 1970 va 1980 yillarda ishlab chiqilgan Stiven E. Robertson, Karen Spark Jons va boshqalar.

Haqiqiy reyting funktsiyasining nomi BM25. To'liq ism, Okapi BM25, uni ishlatgan birinchi tizim nomini o'z ichiga oladi, bu Okapi axborot qidirish tizimi bo'lib, amalga oshirildi London "s Shahar universiteti 1980 va 1990 yillarda. BM25 va uning yangi variantlari, masalan. BM25F (BM25 versiyasi, bu hujjat tuzilishi va matn matnini hisobga olishi mumkin), eng zamonaviy TF-IDF -hujjatlarni qidirishda ishlatiladigan qidirish funktsiyalari kabi.[iqtibos kerak ]

Reyting funktsiyasi

BM25 a so'zlar sumkasi qidirish funktsiyasi, hujjat ichida yaqinligidan qat'i nazar, har bir hujjatda paydo bo'lgan so'rov shartlari asosida hujjatlar to'plamini tartiblaydi. Bu biroz farqli komponentlar va parametrlarga ega bo'lgan skorlama funktsiyalar oilasi. Funktsiyaning eng muhim ko'rsatmalaridan biri quyidagicha.

So'rov berilgan Q, kalit so'zlarni o'z ichiga olgan , hujjatning BM25 ballari D. bu:

qayerda bu "s muddatli chastota hujjatda D., hujjatning uzunligi D. so'zlar bilan va avgdl - bu hujjatlar to'plami tarkibidagi hujjatlar to'plamining o'rtacha uzunligi. va b kabi kengaytirilgan optimallashtirish bo'lmasa, odatda tanlangan bepul parametrlardir va .[1] bu IDF (teskari hujjat chastotasi ) so'rov muddatining og'irligi . Odatda quyidagicha hisoblanadi:

qayerda N bu to'plamdagi hujjatlarning umumiy soni va o'z ichiga olgan hujjatlar soni .

IDF uchun bir nechta talqinlar mavjud va uning formulasida ozgina farqlar mavjud. Original BM25 lotinida IDF komponentasi Ikkilik mustaqillik modeli.

IDF uchun yuqoridagi formulada korpus hujjatlarining yarmidan ko'pida paydo bo'lgan atamalar uchun kamchiliklar mavjud. Ushbu atamalar "IDF" manfiydir, shuning uchun deyarli bir xil bo'lgan har qanday ikkita hujjat uchun atamani o'z ichiga olgan bittadan pastroq bo'lishi mumkin. Bu ko'pincha istalmagan xatti-harakatlardir, shuning uchun ko'plab dasturlar IDF formulasini turli yo'llar bilan moslashtiradi:

  • Umumiy atamalarni qisqartirish uchun har bir chaqiriqqa 0 so'zi berilishi mumkin;
  • IDF funktsiyasiga doimiylik qavati berilishi mumkin , umumiy atamalar umuman e'tibordan chetda qolmaslik uchun;
  • IDF funktsiyasini o'xshash bo'lmagan shaklga almashtirish mumkin, bu salbiy bo'lmagan yoki umuman ijobiy atamalarni e'tiborsiz qoldirmaslik uchun qat'iy ijobiy.

IDF ma'lumotlarini nazariy talqini

Axborot nazariyasining talqini. Faraz qilaylik, so'rov muddati ichida paydo bo'ladi hujjatlar. Keyin tasodifiy olingan hujjat ehtimollik bilan atamani o'z ichiga oladi (qayerda yana to'plamdagi hujjatlar to'plamining asosiy kuchi). Shuning uchun ma `lumot xabarning mazmuni " o'z ichiga oladi "bu:

Endi bizda ikkita so'rov shartlari bor deylik va . Agar bu ikki atama hujjatlarda bir-biridan mustaqil ravishda yuz bersa, unda ikkalasini ham ko'rish ehtimoli mavjud va tasodifiy olingan hujjatda bu:

va bunday tadbirning axborot tarkibi:

Kichkina o'zgarish bilan, aynan shu narsa BM25 ning IDF komponenti tomonidan ifodalanadi.

O'zgarishlar

  • Koeffitsientning haddan tashqari qiymatlarida b BM25 deb nomlanuvchi reyting funktsiyalariga aylanadi BM11 (uchun ) va BM15 (uchun ).[2]
  • BM25F[3][4] bu BM25-ning modifikatsiyasi bo'lib, unda hujjat bir nechta maydonlardan (masalan, sarlavhalar, asosiy matn, langar matni) turli xil ahamiyatga ega bo'lishi mumkin, muddatning dolzarbligi va uzunligini normallashtirish mumkin.
  • BM25 +[5] BM25 kengaytmasi. BM25 + standart BM25 ning bitta etishmovchiligini bartaraf etish uchun ishlab chiqilgan bo'lib, unda hujjat uzunligi bo'yicha chastotani normallashtirish komponenti past darajada chegaralanmagan; ushbu kamchilik tufayli, so'rov muddatiga to'g'ri keladigan uzun hujjatlar BM25 tomonidan ko'pincha nohaq to'planishi mumkin, chunki so'rov muddatini umuman o'z ichiga olmaydigan qisqa hujjatlarga o'xshashligi. BM25 + ning skorlama formulasi faqat bitta qo'shimcha bepul parametrga ega (standart qiymat 1.0 BM25 bilan taqqoslaganda).

Adabiyotlar

  1. ^ Kristofer D. Manning, Prabhakar Raghavan, Xinrix Shutze. Axborot olish uchun kirish, Kembrij universiteti matbuoti, 2009, p. 233.
  2. ^ "BM25 tortish sxemasi".
  3. ^ Ugo Saragoza, Nik Krezvell, Maykl Teylor, Suchi Saria va Stiven Robertson. TREC-13-da Microsoft Kembrij: Veb va HARD treklari. TREC-2004 materiallarida.
  4. ^ Stiven Robertson va Ugo Saragoza (2009). "Ehtimollarning dolzarbligi: BM25 va undan tashqarida". Axborot olish asoslari va tendentsiyalari. 3 (4): 333–389. CiteSeerX  10.1.1.156.5282. doi:10.1561/1500000019.
  5. ^ Yuanhua Lv va Cheng Xiang Zhai. Chastotani normallashtirishning pastki chegaralangan muddati. CIKM'2011 materiallarida, 7-16 betlar.

Umumiy ma'lumotnomalar

Tashqi havolalar