Yuzni ifodalash uchun ma'lumotlar bazalari - Facial expression databases
A yuz ifodalari bazasi bilan tasvirlar yoki videokliplar to'plamidir mimika qatorining hissiyotlar.Yaxshi izohlangan (hissiyot -tagged) yuz xatti-harakatlarining ommaviy axborot vositalari tarkibini tayyorlash, sinovdan o'tkazish va tasdiqlash uchun juda muhimdir algoritmlar rivojlanishi uchun ifodani aniqlash tizimlari. Tuyg'u izohini quyidagicha qilish mumkin alohida hissiyot yorliqlar yoki doimiy miqyosda. Ma'lumotlar bazalarining aksariyati odatda asosiy his-tuyg'ular nazariya (tomonidanPol Ekman ) oltita alohida asosiy hissiyotlarning mavjudligini (g'azab, qo'rquv, nafrat, ajablanish, quvonch, qayg'u) o'z ichiga oladi. Biroq, ba'zi ma'lumotlar bazalariga doimiy ravishda qo'zg'alish-valentlik miqyosida hissiyotlarni belgilash kiradi.
Pozitsiya qilingan ma'lumotlar bazalarida ishtirokchilarga turli xil asosiy hissiy ifodalarni namoyish qilish so'raladi, o'z-o'zidan paydo bo'ladigan ma'lumotlar bazasida esa bu so'zlar tabiiydir. O'z-o'zidan paydo bo'lgan iboralar pozitsiyalardan intensivligi, konfiguratsiyasi va davomiyligi jihatidan sezilarli darajada farq qiladi. Bundan tashqari, ba'zi bir AUlarning sintezi bog'liq hissiy holatga duch kelmasdan deyarli amalga oshirilmaydi. Shuning uchun, aksariyat hollarda, berilgan iboralar mubolag'a bilan ifodalanadi, o'z-o'zidan paydo bo'lganlar nozik va tashqi ko'rinishida farq qiladi.
Ko'pchilik uchun ochiq ma'lumotlar bazalari bu erda turkumlangan.[1][2] Bu erda ba'zi tafsilotlar yuz ifodasi ma'lumotlar bazalari.
| Ma'lumotlar bazasi | Yuz ifodasi | Mavzular soni | Rasmlar / videolar soni | Kulrang / rangli | Ruxsat berish, kvadrat tezligi | Asosiy haqiqat | Turi |
|---|---|---|---|---|---|---|---|
| Stilizatsiya qilingan belgilar uchun FERG-3D-DB (Facial Expression Research Group 3D ma'lumotlar bazasi) [3] | g'azablangan, jirkanch, qo'rquv, quvonch, betaraf, g'amgin, ajablanib | 4 | 39574 izohlangan misollar | Rang | Hissiyot yorliqlari | Frontal poz | |
| Ryersonning hissiy nutq va qo'shiqning audio-vizual ma'lumotlar bazasi (RAVDESS) [4] | Nutq: tinch, quvnoq, qayg'uli, g'azablangan, qo'rqinchli, ajablanadigan, jirkanch va betaraf. Qo'shiq: Sokin, quvnoq, g'amgin, g'azablangan, qo'rqinchli va betaraf. Ikki darajadagi hissiy intensivlikning har bir ifodasi. | 24 | 7356 video va audio fayllar | Rang | 1280x720 (720p) | Yuzni ifodalash yorliqlari 319 inson reytingi tomonidan berilgan reytinglar | Joylashtirildi |
| Kengaytirilgan Cohn-Kanade ma'lumotlar to'plami (CK +)[5] | neytral, qayg'u, ajablanib, baxt, qo'rquv, g'azab, nafrat va nafrat | 123 | 593 ta rasmlar ketma-ketligi (327 ta ketma-ket hissiy yorliqlarga ega) | Ko'pincha kulrang | 640* 490 | Yuzni ifodalash yorliqlari va FACS (har bir rasm ketma-ketligidagi yakuniy kadr uchun AU yorlig'i) | Joylashtirilgan; o'z-o'zidan tabassum qiladi |
| Yapon ayol yuz ifodalari (JAFFE)[6] | neytral, qayg'u, ajablanib, baxt, qo'rquv, g'azab va nafrat | 10 | 213 statik rasm | Kulrang | 256* 256 | Yuzni ifodalash yorlig'i | Joylashtirildi |
| MMI ma'lumotlar bazasi[7] | 43 | 1280 video va 250 dan ortiq rasm | Rang | 720* 576 | Har bir rasm ketma-ketligida yuzning tepaligi bilan tasvir doirasi uchun AU yorlig'i | Pozitsiyali va o'z-o'zidan | |
| Belfast ma'lumotlar bazasi[8] | 1-to'plam (nafrat, qo'rquv, o'yin-kulgi, umidsizlik, ajablanib) | 114 | 570 videokliplar | Rang | 720*576 | Tabiiy tuyg'u | |
| 2-to'plam (nafrat, qo'rquv, o'yin-kulgi, umidsizlik, ajablanish, g'azab, qayg'u) | 82 | 650 videokliplar | Rang | ||||
| 3-to'plam (nafrat, qo'rquv, o'yin-kulgi) | 60 | 180 videoklip | Rang | 1920*1080 | |||
| Hindistonning yuz ta'sirini ko'rsatuvchi ma'lumotlar bazasi (iSAFE)[9] | Baxtli, qayg'uli, qo'rquv, ajablanib, g'azablangan, betaraf, jirkanch | 44 | 395 ta klip | Rang | 1920x1080 (60 fps) | Hissiyot yorliqlari | O'z-o'zidan |
| DISFA[10] | - | 27 | 4.845 videoframlar | Rang | 1024 * 768; 20 kvadrat / sek | Har bir video kadr uchun AU intensivligi (12 AU) | O'z-o'zidan |
| Multimedia tushunish guruhi (MUG)[11] | neytral, qayg'u, ajablanib, baxt, qo'rquv, g'azab va nafrat | 86 | 1462 ta ketma-ketlik | Rang | 896 * 896, 19fps | Hissiyot yorliqlari | Joylashtirildi |
| Hindistonning o'z-o'zidan ifodalash ma'lumotlar bazasi (ISED)[12] | qayg'u, ajablanish, baxt va nafrat | 50 | 428 video | Rang | 1920 * 1080, 50 fps | Hissiyot yorliqlari | O'z-o'zidan |
| Radboud Faces ma'lumotlar bazasi (RaFD)[13] | neytral, qayg'u, nafrat, ajablanish, baxt, qo'rquv, g'azab va nafrat | 67 | Uch xil qarash yo'nalishi va kameraning beshta burchagi (8 * 67 * 3 * 5 = 8040 ta rasm) | Rang | 681*1024 | Hissiyot yorliqlari | Joylashtirildi |
| Oulu-CASIA NIR-VIS ma'lumotlar bazasi | ajablanish, baxt, qayg'u, g'azab, qo'rquv va nafrat | 80 | uch xil yoritish shartlari: normal, zaif va qorong'i (jami 2880 video ketma-ketlik) | Rang | 320×240 | Joylashtirildi | |
| FERG (yuz ifodalarini tadqiq qilish guruhi ma'lumotlar bazasi) -DB[14] stilize qilingan belgilar uchun | g'azablangan, jirkanch, qo'rquv, quvonch, betaraf, g'amgin, ajablanib | 6 | 55767 | Rang | 768x768 | Hissiyot yorliqlari | Frontal poz |
| AffectNet[15] | neytral, quvnoq, qayg'uli, ajablanib, qo'rquv, jirkanish, g'azab, nafrat | ~ 450,000 qo'lda izohlangan ~ 500,000 avtomatik ravishda izohlanadi | Rang | Turli xil | Hissiyot yorliqlari, valentlik, uyg'otish | Yovvoyi muhit | |
| IMPA-FACE3D[16] | neytral frontal, quvonch, qayg'u, ajablanish, g'azab, nafrat, qo'rquv, ochildi, yopildi, o'pdi, chap tomoni, o'ng tomoni, neytral sagittal chap, neytral sagittal o'ng, ensa va peshonasi (ba'zida sotib olinadi) | 38 | 534 statik rasm | Rang | 640X480 | Hissiyot yorliqlari | Joylashtirildi |
| FEI yuzlari uchun ma'lumotlar bazasi | neytral, tabassum | 200 | 2800 statik rasm | Rang | 640X480 | Hissiyot yorliqlari | Joylashtirildi |
| Aff-Wild[17] [18] | valentlik va qo'zg'alish | 200 | ~ 1,250,000 qo'lda izoh | Rang | Har xil (o'rtacha = 640x360) | Valensiya, uyg'otish | Yovvoyi muhit sozlamalari |
| Aff-Wild 2[19] [20] | neytral, baxt, qayg'u, ajablanish, qo'rquv, nafrat, g'azab + valentlik-qo'zg'alish + harakat birliklari 1,2,4,6,12,15,20,25 | 458 | ~ 2,800,000 qo'lda izohlangan | Rang | Har xil (o'rtacha = 1030x630) | Valentlik, qo'zg'alish, 7 ta asosiy ibora, har bir videofram uchun harakat birliklari | Yovvoyi muhit |
| Haqiqiy ta'sirchan yuzlar uchun ma'lumotlar bazasi (RAF-DB)[21][22] | 6 sinf asosiy his-tuyg'ular (Ajablanadigan, Qo'rquv, Jirkanish, Baxtli, Qayg'uli, G'azablangan) ortiqcha Neytral va 12 sinf aralash hissiyotlar (Qo'rqinchli hayratda, qo'rqinchli jirkanchlikda, afsuski g'azablangan, afsuski qo'rqinchli, g'azablangan jirkanch, g'azablangan, afsuski, jirkanch, hayratda qolgan, baxtli hayratga tushgan, afsuski, qo'rqinchli g'azablangan, baxtli jirkanch) | 29672 izohlangan misollar | Rang | Asl ma'lumotlar to'plami uchun har xil va moslashtirilgan ma'lumotlar to'plami uchun 100x100 | Hissiyot yorliqlari | Pozitsiyali va o'z-o'zidan |
Adabiyotlar
- ^ "hissiy ma'lumotlar bazasi to'plami". Arxivlandi asl nusxasi 2018-03-25.
- ^ "yuzni ifodalash uchun ma'lumotlar bazalari".
- ^ Aneja, Deepali va boshqalar. "Odamlardan 3D uslubidagi xarakterli ifodalarni yaratishni o'rganish." 2018 yil IEEE-ning Computer Vision dasturlari bo'yicha qishki konferentsiyasi (WACV). IEEE, 2018 yil.
- ^ Livingstone & Russo (2018). Hissiy nutq va qo'shiqning Ryerson audio-vizual ma'lumotlar bazasi (RAVDESS): Shimoliy Amerika ingliz tilidagi yuz va vokal ifodalarining dinamik, multimodal to'plami. doi:10.1371 / journal.pone.0196391
- ^ P. Lusi, J. F. Kon, T. Kanade, J. Saragix, Z. Ambadar va I. Metyus, "Kengaytirilgan Kon-Kanade ma'lumotlar to'plami (CK +): harakat birligi va hissiyot bilan ifodalangan ifodalar uchun to'liq yuz ifodalari to'plami" Insonning kommunikativ xatti-harakatlarini tahlil qilish bo'yicha CVPR bo'yicha IEEE 3-seminari, 2010
- ^ Lyons, Maykl; Kamachi, Miyuki; Gyoba, Jiro (1998). Yapon ayol yuz ifodasi (JAFFE) ma'lumotlar bazasi. doi:10.5281 / zenodo.3451524.
- ^ M. Valstar va M. Pantich, "Jirkanish, baxt va ajablanib: MMI yuz ifodasi ma'lumotlar bazasiga qo'shimcha", Proc. Int. Konf. Til resurslari va baholash, 2010
- ^ I. Sneddon, M. McRorie, G. McKeown va J. Hanratty, "Belfast tabiiy hissiyotlar bazasini yaratdi". IEEE Trans. Ta'sirli hisoblash, jild 3, yo'q. 1, 32-41 betlar, 2012 yil
- ^ Singx, Shivendra; Benedikt, Shajulin (2020). Tampi, Sabu M.; Xegde, Rajesh M.; Krishnan, Shri; Mukhopadxay, Jayanta; Chaudari, Vipin; Markes, Oge; Piramutu, Selvin; Corchado, Xuan M. (tahrir). "Hindistonning yarim harakatdagi yuz ifodasi (iSAFE) inson hissiyotlarini tanib olish uchun ma'lumotlar to'plami". Signallarni qayta ishlash va aqlni tanib olish tizimidagi yutuqlar. Kompyuter va axborot fanlari bo'yicha aloqa. Singapur: Springer: 150–162. doi:10.1007/978-981-15-4828-4_13. ISBN 978-981-15-4828-4.
- ^ S. M. Mavadati, M. H. Mahoor, K. Bartlett, P. Trin va J. Kon., "DISFA: Spontan yuz harakatlar intensivligi ma'lumotlar bazasi". IEEE Trans. Ta'sirli hisoblash, jild 4, yo'q. 2, 151-160 betlar, 2013 y
- ^ N. Aifanti, C. Papachristu va A. Delopoulos, MUG yuz ifodasi ma'lumotlar bazasi, Proc. 11-chi Int. Multimedia interaktiv xizmatlari (WIAMIS) uchun tasvirlarni tahlil qilish bo'yicha seminar, Desenzano, Italiya, 2010 yil 12-14 aprel.
- ^ S L Happy, P. Patnaik, A. Routray va R. Guha, "His-tuyg'ularni tan olish uchun hindlarning o'z-o'zidan ifodalanishi uchun ma'lumotlar bazasi", 2016 yil, Affektiv hisoblash bo'yicha IEEE operatsiyalari. doi:10.1109 / TAFFC.2015.2498174.
- ^ Langner, O., Dotsch, R., Bijlstra, G., Vigboldus, D.J., Xok, ST va van Knippenberg, A. (2010). Radboud Faces ma'lumotlar bazasini taqdim etish va tasdiqlash. Kognitiv va hissiyot, 24 (8), 1377—1388. doi:10.1080/02699930903485076
- ^ "Yuz ifodalarini o'rganish guruhining ma'lumotlar bazasi (FERG-DB)". grail.cs.washington.edu. Olingan 2016-12-06.
- ^ Mollahosseini, A .; Xasani, B .; Mahoor, M. H. (2017). "AffectNet: Yovvoyi tabiatda yuzni ifodalash, valentlik va qo'zg'alishni hisoblash uchun ma'lumotlar bazasi". Affektiv hisoblash bo'yicha IEEE operatsiyalari. PP (99): 18–31. arXiv:1708.03985. doi:10.1109 / TAFFC.2017.2740923. ISSN 1949-3045.
- ^ "IMPA-FACE3D texnik hisobotlari". visgraf.impa.br. Olingan 2018-03-08.
- ^ Zafeiriou, S .; Kollias, D .; Nikolau, M.A .; Papaioannou, A .; Chjao, G.; Kotsia, I. (2017). "Aff-Wild: vahshiylikdagi valentlik va qo'zg'alish" (PDF). Kompyuterni ko'rish va naqshlarni aniqlash bo'yicha seminarlar (CVPRW), 2017 yil.
- ^ Kollias, D .; Tsirakis, P .; Nikolau, M.A .; Papaioannou, A .; Chjao, G.; Shuller, B .; Kotsiya, I .; Zafeiriou, S. (2019). "Yovvoyi tabiatda chuqur ta'sirni bashorat qilish: Aff-Wild ma'lumotlar bazasi va muammolari, chuqur me'morchilik va undan tashqarida". International Journal of Computer Vision (IJCV), 2019 y.
- ^ Kollias, D .; Zafeiriou, S. (2019). "Ifoda, affekt, harakat birligini tan olish: Aff-wild2, ko'p vazifali o'rganish va arcface" (PDF). British Machine Vision konferentsiyasi (BMVC), 2019 yil.
- ^ Kollias, D .; Shulk, A .; Hojiyev, E .; Zafeiriou, S. (2020). "Birinchi abaw 2020 musobaqasidagi affektiv xatti-harakatni tahlil qilish". IEEE Xalqaro yuz va imo-ishoralarni tanib olish bo'yicha xalqaro konferentsiya (FG), 2020 yil.
- ^ Li., S. "RAF-DB". Haqiqiy dunyo ta'sirchan yuzlar ma'lumotlar bazasi.
- ^ Li, S .; Deng, V.; Du, J. (2017). "Tabiatda ifodalarni tanib olish uchun ishonchli kraudorsing va chuqur joyni saqlashni o'rganish". 2017 yilda IEEE konferentsiyasi kompyuterni ko'rish va naqshni tanib olish (CVPR): 2584–2593. doi:10.1109 / CVPR.2017.277.