ModelOps - ModelOps
 | Ushbu maqolada bir nechta muammolar mavjud. Iltimos yordam bering uni yaxshilang yoki ushbu masalalarni muhokama qiling munozara sahifasi. (Ushbu shablon xabarlarini qanday va qachon olib tashlashni bilib oling) (Ushbu shablon xabarini qanday va qachon olib tashlashni bilib oling)
|
ModelOps (namunaviy operatsiyalar) bu bilan bog'liq bo'lgan intizom DevOps, shu jumladan, ko'plab murakkab modellarning hayot aylanish jarayonini boshqarish uchun mo'ljallangan mashinada o'rganish (ML), sun'iy intellekt (AI) va qarorlarni optimallashtirish modellari. ModelOps dastur va modelni ishlab chiqish o'rtasidagi faoliyatni muvofiqlashtiradi. U modelni o'qitishdan modelni ishlab chiqarishga tatbiq etishgacha bo'lgan operatsiyalar oqimini tashkil qiladi, so'ngra boshqaruv qoidalari to'plamiga muvofiq olingan dasturni baholaydi va yangilaydi. U foydalanadi AutoAI va uzluksiz integratsiya va uzluksiz joylashtirish bilan birgalikda model yaratish uchun qarorlarni optimallashtirish kabi texnologiyalar (CI / CD ) modelni muntazam ravishda yangilab turish. ModelOps, vaqt o'tishi bilan modelning xatti-harakatlari va dasturni ishlab chiqish davridagi modellarni yaratish, baholash va iste'mol qilish uchun ishlatiladigan jarayonlar o'rtasidagi aniqlikni belgilaydi. Bu biznes sohasidagi mutaxassislarga ma'lumot olimlaridan mustaqil ravishda ishlab chiqarishdagi sun'iy intellekt modellarini baholash imkoniyatini beradi.[1]
ModelOps dasturni ishlab chiqish va sun'iy intellekt (AI) modelini ishlab chiqish kabi hisoblash jarayonlarida keng tarqalgan quvur liniyasi kontseptsiyasidan foydalanadi. Standart dasturni ishlab chiqishda quvur liniyasi - bu manba ma'lumotlarini yig'ishdan modelni o'qitishgacha, so'ngra yangi ma'lumotlar bilan taqdim etilgan natijalarni bashorat qilish uchun modelni joylashtirishgacha bo'lgan jarayonlar ketma-ketligi. Yilda A.I., quvur liniyasi ma'lumotlarni qabul qilish va qayta ishlash bosqichidan bir nechta transformatsiya bosqichlari orqali ko'chiradi, ular mashinani o'rganish, chuqur o'rganish modelini o'qitish, baholash va qayta tayyorlashni o'z ichiga olishi mumkin. ModelOps ishlab chiqarish quvurlarini kengaytiradi, shuning uchun u ma'lumotlarni qayta ishlash va tayyorlashni, modellarni o'qitish va qayta tayyorlashni, ishlab chiqarish muhitiga doimiy integratsiyani va joylashtirishni o'z ichiga oladi. Natijada, agar to'g'ri boshqarilsa, vaqt o'tishi bilan yaxshilanadigan dastur.
Tarix
Gartner-2018 tadqiqotida 37% respondentlar sun'iy intellektni qandaydir shaklda joylashtirganliklarini bildirishdi; ammo, Gartner joylashtirish muammolarini keltirib, korxonalar hali ham sun'iy intellektni tatbiq etishdan uzoqligini ta'kidladi.[2] Korxonalarda ishsiz, foydalanilmagan va yangilanmagan modellar to'planib turardi.[3] Mustaqil analitik firma Forrester 2018 yilda ushbu mavzuni mashinalarni o'rganish va prognozli analitik ishlab chiqaruvchilarni ishlab chiqarish bo'yicha hisobotida ham yoritgan: «Ma'lumot olimlari muntazam ravishda ularning modellari faqat ba'zan yoki hech qachon joylashtirilmasligidan shikoyat qiladilar. Muammoning katta qismi dasturlarga modellarni qanday kiritish va loyihalashtirishni tushunishda tashkiliy tartibsizlikdir. Ammo muammoning yana bir katta qismi bu texnologiya. Modellar dasturiy ta'minot kodiga o'xshamaydi, chunki ular model boshqaruviga muhtoj. "[4]
2018 yil dekabr oyida IBM Research A.I.dan Valdemar Xummer va Vinod Mutusami IBM dasturlash tillari kunida ModelOps-ni "qayta ishlatiladigan, platformadan mustaqil va kompozitsion sun'iy intellektning ish oqimlari uchun dasturlash modeli" sifatida taklif qilishdi.[5] O'zlarining taqdimotlarida ular tomonidan ishlab chiqilgan dasturni ishlab chiqish davri o'rtasidagi farqni ta'kidladilar DevOps, va AI dasturining hayotiy davri.[6]
| An'anaviy dastur hayot tsikli | AI dasturining hayot aylanishi |
|---|---|
| DevOps ko'nikmalarini talab qiladi | Turli xil mahorat to'plamlarini o'z ichiga oladi |
| Nisbatan qisqa yugurish | Uzoq muddatli, resurslarni talab qiladigan |
| Inson tezligi (past o'zgarish chastotasi) | Uzluksiz o'qitish / qayta tayyorlash |
| Dasturiy buyumlarning bir nechta versiyalari | Ko'p sonli modellar |
| Artefaktlarning chiziqli evolyutsiyasi | Ixtisoslashgan modellar bir vaqtda mavjud |
| Ish vaqtida qo'llaniladigan konfiguratsiyalar | O'quv vaqtida sozlangan parametrlar |
| Codebase-ning o'zgarishi yangi tuzilmalarni keltirib chiqaradi | Ma'lumotlar / kodlarning o'zgarishi modelni qayta tayyorlashga turtki beradi |
| Deterministik sinov | Statistik / ehtimolli sinov |
| Ilova va KPI ko'rsatkichlarining monitoringi | Modelning aniqligi, drift va KPI monitoringi |
ModelOps-ni ishlab chiqishdan maqsad, modellashtirish va DevOps o'rtasidagi farqni, sun'iy intellekt bilan ishlaydigan biznes dasturlariga olib keladigan dasturlash modeli bilan bartaraf etish edi. Hummer va Muthusami o'zlarining taqdimotlarida sun'iy intellektdan xabardor bo'lgan bosqichma-bosqich tarqatish va model versiyalarini biznes dasturlariga mos kelishiga imkon beradigan, shuningdek, sun'iy intellekt modellari tushunchalarini o'z ichiga olgan modellarni kuzatish, driftni aniqlash va faol o'rganish kabi dasturiy echimni tavsifladilar. Ushbu echim, shuningdek, model faoliyati va biznesning asosiy ko'rsatkichlari (KPI), dastur va model jurnallari, shuningdek model proksi-serverlar va rivojlanayotgan siyosat o'rtasidagi ziddiyatni hal qiladi. Turli xil bulutli platformalar taklifning bir qismi edi. 2019 yil iyun oyida Xummer, Mutusami, Tomas Raush, Parijat Dube va Kaoutar El Maghraoui 2019 yil IEEE bulutli muhandislik bo'yicha xalqaro konferentsiyada (IC2E) ma'ruza qildilar.[7] Maqola 2018 yilgi taqdimotida kengayib, sun'iy intellekt (AI) dasturlarini oxirigacha rivojlantirish va hayot aylanishini boshqarish uchun bulutga asoslangan ramka va platforma sifatida ModelOps-ni taklif qildi. Avtoreferatda ular ushbu tizim sun'iy intellekt modeli quvurlarini avtomatlashtirish, ishonch, ishonchlilik, izlenebilirlik, sifat nazorati va takrorlanuvchanligini ta'minlash uchun dasturiy ta'minotning hayot aylanish jarayonini boshqarish tamoyillarini qanday kengaytirish mumkinligini ko'rsatishini ta'kidladilar.[8] 2020 yil mart oyida ModelOp, Inc. ModelOps metodologiyasi bo'yicha birinchi to'liq qo'llanmani nashr etdi. Ushbu nashrning maqsadi ModelOps imkoniyatlari, shuningdek ModelOps amaliyotini amalga oshirish uchun texnik va tashkiliy talablar haqida umumiy ma'lumot berish edi.[9]
2020 yil oktyabr oyida ModelOp ishga tushirildi ModelOp.io, ModelOps va MLOps resurslari uchun onlayn markaz. Ushbu veb-saytni ishga tushirish bilan bir qatorda ModelOp Taklif uchun so'rov (RFP) shablonini chiqardi. Soha mutaxassislari va tahlilchilarining intervyularidan kelib chiqqan holda ushbu RFP shabloni ModelOps va MLOps echimlarining funktsional talablarini qondirish uchun ishlab chiqilgan.[10]
Ishlardan foydalaning
ModelOps uchun odatiy holatlardan biri bu yuzlab moliyaviy xizmatlar sohasidir vaqt seriyasi modellar noaniqlik va auditorlik uchun qat'iy qoidalarga e'tibor qaratish uchun ishlatiladi. Bunday hollarda modellarning adolatliligi va mustahkamligi juda muhimdir, ya'ni modellar adolatli va aniq bo'lishi kerak va ular ishonchli ishlashi kerak. ModelOps ma'lumotlarni boshqarish uchun ishlatiladigan modellarning barcha quvurlarini avtomatlashtiradi. Bunday avtomatlashtirish tarkibiga ma'lumotlarni tayyorlash, modellarni o'qitish, modelning ishlashini kuzatib borish, yon bosish va boshqa ma'lumotlar anomaliyalari uchun modellarni kuzatish va ilovalarni buzmasdan kerak bo'lganda modelni yangilash kiradi. ModelOps - barcha poezdlarning o'z vaqtida va to'g'ri yo'lda harakatlanishini ta'minlaydigan dispetcher.
Boshqa foydalanish holati - bu bemorning real vaqt ma'lumotlari asosida diabetik qondagi qand miqdorini nazorat qilish. Gipoglikemiyani bashorat qila oladigan model doimiy ravishda mavjud ma'lumotlar bilan yangilanib turilishi va tarqatilgan muhitda bo'lishi kerak, shuning uchun ma'lumot mobil qurilmada ham mavjud bo'lib, kattaroq tizimga hisobot beradi. Muvofiqlashtirish, qayta tayyorlash, kuzatish va yangilash ModelOps bilan amalga oshiriladi.
ModelOps jarayoni
ModelOps jarayoni AI modellarini yaratish va keyinchalik ularni ishlab chiqarishga qo'shish uchun sun'iy intellekt va dastur ishlab chiquvchilariga hayot aylanish jarayonining imkoniyatlarini (masalan, noaniqlikni aniqlash, mustahkamlik va ishonchlilik yoki driftni aniqlash kabi) osongina ulash imkonini beradigan platformadan mustaqil quvur liniyalari uchun domen abstraktsiyalariga e'tibor beradi. biznes dasturlari. Jarayon a-ni o'z ichiga olgan umumiy sun'iy intellekt quvurlari namoyishi bilan boshlanadi metamodel (model spetsifikatsiyasi) ma'lumotlar, apparat va dasturiy ta'minot muhiti, tasniflagichlar va kod plaginlari kabi modelni yaratishga kiradigan barcha komponentlar va qaram qismlar bilan. Sifatida amalga oshirilgan sub'ektlar mavjud Python atributlari bilan belgilangan sinflar JSON sxemasi va shunga o'xshash formatlash fayllarida saqlanadi YAML va JSON. Til xususiyatlari plaginlarni import qilish, o'zgaruvchan plomba va boshqaruv oqimini o'z ichiga oladi. Konfiguratsiyaga havola qilinishi mumkin bo'lgan plaginlar bilan kengayish mumkin. ModelOps jarayoni quyidagi ketma-ketlikni muvofiqlashtiradi:
- A quvur o'tkazuvchisi spetsifikatsiyadan kod ishlab chiqaradi va hosil bo'lgan quvur liniyasini maqsad platformaga joylashtiradi. Jurnallar va o'lchovlar platformadan olinadi. Parametrlarni yoki variantlarni kiritishga imkon beradigan quvur liniyasi shablonlari, umumiy quvur liniyalari shablonlarini yaratish, o'qitish ma'lumotlarini qayta ishlash, modelni o'qitish va quvur liniyalarini (model nomzodlar) joylashtirishlari mumkin. Shablonlar standart qiymatlar yoki maxsus konfiguratsiyalar yordamida osongina eksperimentlarni o'tkazishga imkon beradi.
- Quvur liniyasi transformatorlari qo'shimcha konfiguratsiyalarni qo'shimcha funktsiyalar bilan optimallashtirish, masalan, joylashtirish xavfsizligini qo'shish va ishonchli sun'iy intellekt uchun o'zaro faoliyat xususiyatlarni ulash. Umumiy va xususiy bulut muhiti o'rtasida uzluksiz ravishda harakatlanadigan qayta ishlatilishi mumkin bo'lgan domen abstraktsiyalari quvurga intellektni qo'shib, quvur liniyasini ish vaqtida avtomatik ravishda sozlaydi va shu bilan birga quvur liniyasini boshqarish uchun zarur bo'lgan barcha aktivlarni boshqaradi.
- Tasniflagichlar, bu ma'lumotlarni saralash algoritmlari, sinovdan o'tgan va aniq sozlangan. Namunaviy o'qitish bir nechta ixtisoslashtirilgan bosqichlarni o'z ichiga oladi va har bir bosqichda maxsus konfiguratsiya, kirish-chiqish xaritasi va boshqalar talab etiladi, bu esa qo'lda bajarilganda zerikarli bo'lishi mumkin. ModelOps model shaxsni kerakli xususiyatlar bilan izohlaydi va jarayonni avtomatlashtiradi.
- Bosqichli tarqatish modelni ishlab chiqarish muhitiga joylashtirishni boshqaradi, o'zgarishni bosqichma-bosqich amalga oshirish uchun model versiyalarini taqqoslaydi va yangilaydi va yangi modellarni yashiradi. Modellar dinamik muhitda ishlaganligi sababli ma'lumotlar va sharoitlar vaqt o'tishi bilan o'zgarib, noto'g'ri yoki noto'g'ri prognozlarni keltirib chiqaradi. Buning muddati model drift. ModelOps jarayonida modeldagi driftni aniqlash ish vaqti trafigini kuzatib boradi va agar drift topilsa va belgilangan chegaradan o'tib ketsa ogohlantirishni oshiradi.
ModelOps: MLOps evolyutsiyasi
MLOps (mashinani o'rganish operatsiyalari) - bu ma'lumot olimlari va IT mutaxassislariga mashinalarni o'rganish algoritmlarini avtomatlashtirish paytida hamkorlik qilish va muloqot qilish imkoniyatini beradigan intizom. Printsiplari bo'yicha kengayadi va kengayadi DevOps mashinalarni o'rganish modellari va dasturlarini ishlab chiqish va joylashtirishni avtomatlashtirishni qo'llab-quvvatlash.[11] Amaliyotga ko'ra, MLOps muntazam mashina o'rganish (ML) modellarini o'z ichiga oladi. Biroq, modellarning xilma-xilligi va ishlatilishi o'zgarib, qarorlarni optimallashtirish modellarini o'z ichiga oladi, optimallashtirish modellari va transformatsion modellar dasturlarga qo'shiladigan narsalar. ModelOps - bu MLOps evolyutsiyasi bo'lib, u o'zining printsiplarini kengaytiradi, bu nafaqat mashinani o'rganish modellarini muntazam ravishda joylashtirishni, balki doimiy ravishda qayta tayyorlash, avtomatlashtirilgan yangilash va yanada murakkab mashinalarni o'rganish modellarini sinxronlashtirish asosida ishlab chiqish va joylashtirishni ham o'z ichiga oladi.[12] ModelOps barcha sun'iy intellekt modellarini, shu jumladan MLOps bilan bog'liq bo'lgan mashinalarni o'rganish modellarini operatsiyalashtirishni anglatadi.[13]
Adabiyotlar
- ^ Barot, Soyeb. "Mashinada o'rganishni boshqarish uchun qo'llanma". Gartner. Olingan 6 avgust 2020.
- ^ "Gartner so'rovi tashkilotlarning 37 foizini sun'iy intellektni qandaydir shaklda amalga oshirganligini ko'rsatmoqda". Gartner Newsroom. 2018-01-21.
- ^ Vu, iyun (2020), ModelOps - bu korxona sun'iy intellektining kalitidir. (2020 yil 31 martda nashr etilgan)
- ^ "Multimodal prognozli tahlil va mashinani o'rganish echimlari, 2018 yil 3-choragida" (PDF).
- ^ "IBM dasturlash tillari kuni".
- ^ Waldemar Hummer va Vinod Mutusami, qayta ishlatiladigan, platformadan mustaqil va kompozitsion sun'iy intellektual ish oqimlari uchun dasturlash modeli,. IBM Research AI, 10 dekabr 2018 yil.
- ^ "Bulutli muhandislik bo'yicha IEEE xalqaro konferentsiyasi (IC2E)".
- ^ Xummer, Valdemar; Mutusami, Vinod. ModelOps: Ishonchli va ishonchli AI uchun bulutga asoslangan hayot aylanish jarayonini boshqarish. Bulutli muhandislik bo'yicha IEEE xalqaro konferentsiyasi. Parijat dubasi, Kaoutar El Maghraoui. p. 1.
- ^ "ModelOps Essentials: Enterprise AI bilan muvaffaqiyatga erishish uchun eng yaxshi amaliyotlar" (PDF). ModelOp. Olingan 7 avgust 2020.
- ^ "ModelOps RFP". ModelOps: ModelOps va MLOps Resurs Hub. Olingan 30 oktyabr 2020.
- ^ Talagala, Nisha (2018-01-30). "Nima uchun MLOps (va nafaqat ML) sizning biznesingizning yangi raqobatbardosh chegarasidir". AITrends.
- ^ "Bulutli ilovalar uchun aqlli avtomatizatsiya bilan ModelOps-ni yaratish raqamli transformatsiya tashabbuslari bilan o'sishni tezlashtiradi". 451 tadqiqot.
- ^ Vashisth, Shubhangi; Bretenoux, Erik; Choudxari, Farxon; Xare, Jim. "Gartner-ning 3 bosqichli MLOps ramkasidan mashina o'rganish loyihalarini muvaffaqiyatli boshqarish uchun foydalaning". Gartner. Olingan 7 avgust 2020.