1- مقدمه

با پیشرفت فناوری پردازش ویدئو و شبکه‌های عصبی عمیق، بسیاری از مطالعات بر مدل‌سازی رفتار انسان متمرکز شده‌اند. وظیفۀ ارزیابی کیفیت فعالیت (AQA)[1] مستلزم آن است که سیستمی هوشمند به طور خودکار و عینی^[2]، فعالیت انجام‌شده توسط انسان را از طریق ویدئوهای ورودی ارزیابی کند. برخلاف مسئلۀ بازشناسی فعالیت انسان[3] که نوع فعالیت را شناسایی می‌کند، در مسئلۀ AQA، به جای دسته‌بندی نمونه‌ها بر اساس نوع فعالیتشان، هدف اصلی این است که ارزیابی کند یک فعالیت چقدر خوب انجام شده است. سیستم‌های AQA دارای سناریوهای کاربردی عملی بسیاری از جمله پیش‌بینی امتیازهای رویدادهای ورزشی، مربی‌گری، رتبه‌بندی مهارت‌های جراحی، توان‌بخشی پزشکی و نظارت بر اقدامات خطرناک در تولیدات صنعتی هستند. مدل‌های AQA مبتنی بر یادگیری عمیق معمولاً از شبکه‌های عصبی کانولوشنی دوبُعدی یا سه‌بُعدی و LSTM برای استخراج و تجمیع ویژگی‌های ویدئوها و در نهایت تکمیل کار ارزیابی استفاده می‌کنند. روش‌های موجود برای ارزیابی کیفیت فعالیت عمدتاً بر اساس فرمول‌بندی مسئله به سه دستۀ روش‌های مبتنی بر رگرسیون[4]، مبتنی بر مقایسۀ زوجی[5] و مبتنی بر درجه‌بندی[6] تقسیم می‌شوند.

در دستۀ اول، امتیازدهی رگرسیون، هدف مدل پیش‌بینی یک امتیاز پیوسته برای هر ویدئو است و عموماً در حوزۀ ورزش مشاهده می‌شود. از آنجا که داوران امتیازهای واقعی[7] ویدئوها را در مجموعه‌داده‌های AQA قرار می‌دهند، مدل رگرسیون بردار پشتیبان (SVR)[8] یا شبکۀ کاملاً متصل (FCN) برای تکمیل پیش‌بینی امتیاز به طور مستقیم به کار گرفته می‌شود. میانگین مربعات خطا معمولاً به عنوان معیار متداول در امتیازدهی رگرسیون استفاده می‌شود. پژوهشگران در یک کار اولیه ]1[، با استفاده از تبدیل کسینوسی گسسته (DCT)[9] و رگرسیون بردار پشتیبان، امتیازها را در ویدئوهای المپیک پیش‌بینی کردند. همچنین، پژوهش ]2[ نشان داد آنتروپی تقریبی[10] در ویژگی‌های حالت، اطلاعات حرکتی را بهتر از روش‌های DCT/DFT رمزگذاری می‌کند. لی و همکاران ]3[ نیز یک روش یادگیری ویژگی حالت عمیق مبتنی بر اسکلت بدن ارائه دادند که در آن، یک شبکۀ عصبی بازگشتی بر روی دنباله‌های اسکلت برای مدل‌سازی فعالیت‌های زمانی اعمال می‌شود.

تخمین حالت در فعالیت‌های ورزشی چالشی است، زیرا ویژگی‌های حالت معمولاً نشانه‌های بصری مانند پاشش آب[11] در شیرجه را در نظر نمی‌گیرند. پارمار و موریس ]4[ با بهره‌گیری از شبکۀ کانولوشنی سه‌بُعدی C3D ]5[ و LSTM، مدلی برای ارزیابی عملکرد بر پایۀ نشانه‌های بصری ارائه دادند. لی و همکاران ]6[ با ترکیب تابع هزینۀ رتبه‌بندی[12] و میانگین مربعات خطا، به دنبال در نظر گرفتن هم‌زمان دقت ارزش امتیاز و جنبه‌های رتبه‌بندی بودند. پارمار و موریس همچنین یک رویکرد چندوظیفه‌ای با زیرنویس ویدئویی و تشخیص عملکرد دقیق پیشنهاد کردند ]7[. آنها همچنین در ]8[ مدل AQA را در یک رویکرد یادگیری چندوظیفه‌ای بررسی کردند که ترکیبی از بازشناسی دقیق فعالیت، تولید نظر و تفسیر عملکرد و پیش‌بینی امتیاز با استفاده از ویژگی‌های مکانی-زمانی حرکت و ظاهر و توابع هزینۀ مناسب برای هر کدام از این وظایف است.

برای کاهش ضعف میانگین‌گیری یکسان ویژگی‌ها مانند ]4[، شیانگ و همکاران ]9[ مدل S3D را بر اساس چارچوب بخش‌بندی زمانی نظارت‌شده ED-TCN[13] ]10[ توسعه دادند. این رویکرد با تمرکز بر بخش‌های خاص فعالیت، نسبت به تحلیل کل ویدئو، عملکردی بهتر نشان داد. در ]11[، روشی ارائه شد که با پیش‌بینی ویژگی هر بخش، نمایش‌های مکانی-زمانی استخراج‌شده از شبکۀ کانولوشنی سه‌بُعدی سنگین را به مدل‌های سبک‌تر دوبُعدی منتقل می‌کرد. به ‌طور مشابه، ]12[ با ترکیب شبکۀ کانولوشنی سه‌بُعدی و Bi-LSTM، قطعات کلیدی را استخراج و از راهبرد تابع هزینۀ دوگانه استفاده کرده است. در پژوهش ]13[ نیز، پیش‌بینی امتیازهای زیرفعالیت‌ها^[14] با ترکیب بخش‌بندی معنایی زمانی و رگرسیون چندمرحله‌ای انجام شد. علاوه بر این، در ]14[، با بهره‌گیری از برچسب امتیاز کلی، شبه‌زیرامتیازهایی برای زیرفعالیت‌ها تولید شد؛ با این حال، نقطه‌ ضعف اساسی این روش آن است که زیرفعالیت‌ها را به صورت کاملاً مستقل از یکدیگر ارزیابی و از پیوستگی فیزیکی و زنجیرۀ علّی‌ومعلولی حرکات چشم‌پوشی می‌کند. مدل‌سازی عدم قطعیت باعث افزایش استحکام در امتیازدهی می‌شود. تانگ و همکاران ]15[ چارچوبی مبتنی بر توزیع امتیاز با در نظر گرفتن عدم قطعیت به ‌منظور مقابله با ابهامات در امتیاز‌دهی پیشنهاد دادند. از سوی دیگر، ژو و همکاران ]16[ از خودرمزگذارهای واریاسیون شرطی[15] برای مدل‌سازی عدم قطعیت ادراکی استفاده کردند.

در حوزۀ توجه زمانی[16]، ژو و همکاران ]17[ مدل LSTM خودتوجهی[17] را برای شناسایی حرکات فنی کلیدی توسعه دادند. آنها همچنین از LSTM پرشی با هم‌پیوندی چندمقیاسی[18] برای یادگیری وابستگی‌های زمانی محلی و جهانی بهره بردند. ژانگ و همکاران ]18[ با ترکیب ویژگی‌های حرکت و حالت در یک معماری دوجریانی مبتنی بر شبکه‌های عصبی کانولوشنی گرافی[19]، روابط بین قطعات ویدئویی را مدل کردند. در ]19[، مکانیسم توجه زمانی برای وزن‌دهی موثرتر به قطعات ویدئو نسبت به روش‌های تجمیعی[20] معرفی شد. در ارزیابی مهارت‌های جراحی، وانگ و همکاران ]20[ از یادگیری تقویتی[21] برای بهینه‌سازی حالت‌ها استفاده کردند. فارابی و همکاران ]21[ بر تجمیع وزن‌دار ویژگی‌ها تمرکز داشتند. همچنین، ژانگ و همکاران ]22[ از مکانیسم‌های توجه زمانی بهره بردند. آنها همچنین در ]23[ یک ماژول توجه غیرمحلی تفکیک‌پذیر[22] را توسعه دادند که یکپارچگی ویژگی‌های اسکلتی و بصری را برای توالی‌های طولانی بهبود بخشید. آلالی و همکاران ]24[ از ترنسفورمر مبتنی بر خودتوجهی خودکار برای ثبت وابستگی‌های بلندمدت استفاده کردند. ژو و همکاران ]25[ توجه تقاطعی[23] را برای استخراج ویژگی‌های آگاه از امتیاز به‌ کار گرفتند.

رویکرد پیشنهادی در ]26[ بر ویژگی‌های خاص ورزشکار با حذف پس‌زمینه تمرکز دارد. لی و همکاران ]27[ نیز یک رمزگذار توالی فریم با راهنمایی گاوسی توسعه دادند. ژانگ و همکاران ]28[ به منظور برطرف‌کردن ابهامات درون‌کلیپی و ناهمگونی بین‌کلیپی از شبکۀ عصبی گراف کانولوشنی سلسله‌مراتبی بهره بردند. در ]29[، ماژول توجه مکان‌یابی چندمقیاسی برای شناسایی ورزشکاران در فریم‌ها به کار گرفته شد و ویژگی‌های استخراج‌شده توسط LSTM‌ها برای ادغام اطلاعات توالی‌های محلی و جهانی استفاده شدند.

ژانگ و همکاران ]30[ رمزگذار خودکار توزیعی برای کدگذاری توزیع امتیازها معرفی کردند. در ادامۀ پژوهش آنها، ]31[ با یکپارچه‌سازی توجه گروه‌آگاه و شبکه‌های عصبی گراف کانولوشنی، استخراج ویژگی‌های زمانی را بهبود داد. در ]32[، مدل IRIS برای پیش‌بینی امتیاز مبتنی بر روبریک ارائه شد. یک روش بلادرنگ ]33[ نیز با بهره‌گیری از یک معماری سلسله‌مراتبی دولایه برای ویژگی‌های حالت و پویایی‌های زمانی-مکانی معرفی شد. روش‌های نیمه‌نظارت‌شده مانند ]34[، با بازیابی خودنظارتی ویژگی‌های بخش ماسک‌شده، از وابستگی‌های زمانی در ویدئوهای بدون برچسب بهره می‌گیرند و از ترکیب رگرسیون امتیاز و یادگیری تقابلی برای هم‌ترازسازی توزیع ویژگی‌ها میان داده‌های برچسب‌دار و بدون برچسب استفاده می‌کنند.

در حوزۀ داده‌های چندوجهی، ادغام اطلاعات صوتی و بصری در ورزش‌هایی با موسیقی پس‌زمینه، دقت رگرسیون امتیاز را افزایش داده است. در ]35[، شبکه‌های فیوژن چندوجهی تطبیقی پیش‌رونده برای مدل‌سازی اطلاعات خاص حالت و ادغام ویژگی‌ها و تحلیل زمان‌بندی و ریتم فعالیت معرفی شده‌اند. داده‌های واحد اندازه‌گیری اینرسی و سیستم موقعیت‌یابی جهانی نیز می‌توانند به شبکه‌های عصبی عمیق در ارزیابی دقیق‌تر فعالیت‌ها کمک کنند ]36[.

در دستۀ دوم، یعنی مقایسۀ زوجی، مدل دو ویدئو را از کتابخانۀ ویدئویی به عنوان ورودی در نظر می‌گیرد. این دسته از روش‌ها کیفیت عملکرد دو ویدئو را به صورت مقایسه‌ای می‌سنجند و تلاش می‌کنند تا از طریق یادگیری فاصله یا امتیاز نسبی بین نمونه‌ها، مدل‌هایی بسازند که بتوانند رتبه‌بندی دقیق‌تری ارائه دهند. داتی و همکاران ]37[ مدلی مبتنی بر رتبه‌بندی عمیق زوجی[24] پیشنهاد دادند که از یک شبکۀ عصبی کانولوشنی دومسیرۀ سیامی[25] بهره می‌برد. این مدل با دو تابع هزینۀ رتبه‌بندی و شباهت آموزش داده شده است. در ادامه، آنها ]38[ مدل توجه زمانی آگاه از رتبه را توسعه دادند که با استفاده از مکانیسم توجه قابل یادگیری و تابع هزینۀ مبتنی بر رتبه، بر بخش‌های مرتبط با مهارت در ویدئو تمرکز می‌کند. لی و همکاران ]39[ یک مدل توجه مکانی[26] مبتنی بر شبکۀ عصبی بازگشتی پیشنهاد کردند که در آن، از مکانیسم‌های ادغام توجه[27] و تجمع زمانی[28] برای بهبود استخراج ویژگی استفاده می‌شود. جین و همکاران ]40[ از یک ماژول یادگیری عمیق متریک ]41[ و بهره‌گیری از یک شبکۀ سیامی برای یادگیری شباهت میان دو توالی فعالیت استفاده کرده‌اند. یو و همکاران ]42[ نیز چارچوبی با عنوان رگرسیون تضادگونۀ آگاه از گروه معرفی کردند که با ترکیب مقایسه‌های زوجی و درخت رگرسیون آگاه از گروه[29]، به پیش‌بینی امتیاز عملکرد کمک می‌کند.

ژو و همکاران ]43[ رویکردی آگاه از مراحل ارائه دادند که با بهره‌گیری از ماژول توجه بخش‌بندی زمانی، توجه تقاطعی آگاه از رویه و رگرسیون متضاد در سطح زیرفعالیت، ارزیابی کیفی دقیق‌تری را ممکن کرده است. بای و همکاران ]44[ نیز با استفاده از رمزگشایی مبتنی بر ترنسفورمر، نمایش‌های زمانی دقیق‌تری استخراج کردند و با به‌کارگیری توابع هزینۀ نوآورانۀ رتبه‌بندی و پراکندگی، عملکرد مدل را بهینه‌سازی کردند. به منظور یادگیری تفاوت‌های بین ویدئوها برای کمک به کار امتیازدهی نهایی، لی و همکاران ]45[ یک شبکۀ یادگیری متضاد زوجی طراحی کردند. در پژوهشی دیگر ]45[، یادگیری تضادگونه با رگرسیون ترکیب شد و از قید سازگاری برای حفظ انسجام میان خروجی‌ها استفاده شد. لیو و همکاران ]46[ یک روش ارزیابی کیفیت فعالیت چندمرحله‌ای ارائه دادند که هدف آن بهبود دقت ارزیابی کیفیت فعالیت با در نظر گرفتن اطلاعات چندمرحله‌ای در ویدئوهای فعالیت است. اگرچه روش‌های مبتنی بر مقایسۀ زوجی در مدیریت فرایند امتیازدهی مؤثر هستند، ایجاد مقایسه‌های زوجی معنادار نیازمند حجمی زیاد از داده‌های حاشیه‌نویسی‌شده است که محدودیتی مهم در مقیاس‌پذیری این روش‌ها محسوب می‌شود.

در دستۀ سوم، روش‌های مبتنی بر درجه‌بندی، ویدئوها به چندین سطح عملکرد، برای مثال، مبتدی، متوسط و متخصص، تقسیم می‌شوند. شکل درجه‌بندی معمولاً در وظایف ارزیابی عملیات مهارت پزشکی ظاهر می‌شود. برای مثال، در ]47[، روشی مبتنی بر داده‌های سینماتیکی ربات همراه با ویژگی‌های استخراج‌شده مبتنی بر آنتروپی و ترکیب وزن‌دار ویژگی‌ها پیشنهاد شد که نسبت به روش‌های مبتنی بر مدل‌های مخفی مارکوف عملکردی بهتر ارائه می‌دهد. ضیاء و همکاران ]48[ نیز با استفاده از معیارهای آنتروپی استخراج‌شده از داده‌های ویدئویی و شتاب‌سنج و با ترکیب فریم‌های ویدئو و حرکت اسکلتی، به بهبود آموزش مهارت‌های جراحی کمک کردند. این دسته از روش‌ها، زمانی که ارائۀ بازخورد کیفی بدون نیاز به امتیازدهی عددی دقیق کافی باشد، عملکردی مناسب دارند. با این‌ حال، به دلیل تکیه بر دسته‌بندی‌های گسسته و سخت‌گیرانه، معمولاً از درک تفاوت‌های ظریف در اجرای فعالیت‌ها بازمی‌مانند. این محدودیت، کاربرد آنها را در سناریوهای پیچیده و واقع‌گرایانه کاهش می‌دهد.

بیشتر روش‌های موجود یک امتیاز واحد برای کل ویدئو ارائه می‌دهند و ویژگی‌های سطح زیرفعالیت و وابستگی آنها را نادیده می‌گیرند؛ بنابراین، تفسیرپذیری کمی برای کاربر دارند. با این حال، مجموعه‌داده‌های موجود فاقد برچسب‌های صریح زیرامتیاز برای هر زیرفعالیت هستند. رسیدگی به این چالش نیازمند رویکردی مبتنی بر یادگیری با نظارت ضعیف است که بتواند وابستگی‌های زمانی بین زیرفعالیت‌ها را مدل‌سازی کند. این پژوهش یک چارچوب یادگیری شبه‌زیرامتیاز مبتنی بر رگرسیون امتیاز چندمرحله‌ای ارائه می‌دهد که شبه‌زیرامتیازها را به عنوان متغیرهای پنهان میانی با استفاده از استنتاج محلی تولید می‌کند. این چارچوب از بخش‌بندی معنایی زمانی برای تقسیم ویدئوها به زیرفعالیت‌های معنادار استفاده می‌کند. در این روش، ویژگی‌های مکانی-زمانی هر زیرفعالیت توسط شبکه‌های عصبی کانولوشنی سه‌بُعدی استخراج و با برچسب‌های امتیاز کلی به عنوان یک ویژگی کمکی برای تولید شبه‌زیرامتیازها برای داده‌های آموزشی تقویت می‌شوند. به منظور غلبه بر چالش استقلال زیرفعالیت‌ها، چارچوب پیشنهادی با بهره‌گیری از مفهوم «وابستگی متوالی محلی»، ویژگی‌های مکانی-زمانی را نه فقط با امتیاز کلی، بلکه با شبه‌زیرامتیاز تولیدشده در مرحلۀ بلافاصله قبل غنی‌سازی می‌کند. این فرایند، بازنمایی هر زیرفعالیت را اصلاح می‌کند، جریان اطلاعات را در طول زمان حفظ و امکان تولید شبه‌زیرامتیازهای تفسیرپذیرتر و ارزیابی‌های دقیق کیفیت کلی فعالیت را فراهم می‌کند. در گام پایانی، آموزش تکمیلی مدل با حذف برچسب امتیاز کلی انجام می‌شود. مدل آموزش‌دیده زیرامتیازها و امتیاز کلی را با دقت زیاد پیش‌بینی می‌کند.

آزمایش‌ها بر روی مجموعه‌دادۀ UNLV-Diving نشان‌دهندۀ عملکرد مطلوب، رقابتی و بهبود قابل ملاحظۀ این روش در مقایسه با روش‌های پایه هستند. این چارچوب وابستگی‌های زمانی زیرفعالیت‌های متوالی را مدل‌سازی و ضمن افزایش دقت ارزیابی، امکان ارائۀ بازخوردی دقیق‌تر را برای شناسایی نقاط قوت و ضعف عملکرد بدون نیاز به حاشیه‌نویسی دستی گسترده فراهم می‌کند. همچنین، تحلیل‌های آماری نشان می‌دهند شبه‌زیرامتیازهای استخراج‌شده توسط این مدل انطباق زیادی با قوانین داوری فدراسیون جهانی شنا (FINA) دارند که نشان‌دهندۀ تفسیرپذیری زیاد این روش است. در ادامۀ مقاله، بخش 2 به شرح جزئیات چارچوب پیشنهادی اختصاص یافته است. نتایج تجربی در بخش 3 بحث و بررسی شده‌اند و در نهایت، بخش 4 به نتیجه‌گیری و جهت‌گیری‌های بالقوه برای پژوهش‌های آینده اشاره دارد.

2- چارچوب پیشنهادی

در این پژوهش، رویکردی نوین برای ارزیابی کیفیت فعالیت در مراحل مختلف ویدئوهای ورزشی طراحی شده است. مسئلۀ امتیازدهی در قالب یک چارچوب یادگیری با نظارت ضعیف و مبتنی بر رگرسیون بررسی شده است. چارچوب پیشنهادی با استفاده از بخش‌بندی معنایی زمانی فعالیت و در نظر گرفتن وابستگی‌های زمانی متوالی میان زیرفعالیت‌ها، به تحلیل نظام‌مند هر مرحله از اجرای ورزشکار اختصاص دارد؛ از این رو، با یادگیری شبه‌زیرامتیازها برای هر مرحله و تجمیع آنها، ارزیابی دقیق‌تری ارائه می‌دهد و امکان بازخورد تفصیلی دربارۀ نقش هر زیرفعالیت در امتیاز کلی را فراهم می‌کند.

2-1- فرمول‌بندی مسئله

سیستم ارزیابی کیفیت فعالیت مبتنی بر ویدئو نوعی کار واکاوی فعالیت است که به‌ طور خودکار، ارزیابی عینی کیفیت فعالیت خاص انسان را انجام می‌دهد. مجموعه‌دنباله‌های ویدئویی  را در نظر بگیرید که شامل  ویدئو است و هر ویدئو به صورت  نمایش داده می‌شود. ویدئوی  شامل T فریم است و  نشان‌دهندۀ فریم j-ام در ویدئوی  است. H و W به ترتیب ارتفاع و عرض هر فریم هستند. متغیر  نیز برچسب امتیاز کلی (واقعی) ویدئوی i-ام را نشان می‌دهد.

شکل (1): مرور کلی چارچوب پیشنهادی. این چارچوب شامل چهار مرحلۀ کلیدی است: (1) ماژول بخش‌بندی معنایی زمانی و استخراج ویژگی: ویدئوی ورودی ابتدا به کلیپ‌هایی معنادار تقسیم می‌شود که هر کدام نشان‌دهندۀ یک زیرفعالیت جداگانه هستند. سپس، ویژگی‌های مکانی-زمانی هر زیرفعالیت با استفاده از شبکه‌های عصبی کانولوشنی سه‌بُعدی از پیش ‌آموزش‌دیده استخراج می‌شوند. (2) ماژول محاسبۀ شبه‌زیرامتیاز برای زیرفعالیت‌ها: شبه‌زیرامتیاز‌ها برای هر زیرفعالیت با ترکیب برچسب‌ امتیاز کلی با ویژگی‌های استخراج‌شده تولید می‌شوند. (3) ماژول تقویت اثر ویژگی‌ها با افزودن شبه‌زیرامتیاز زیرفعالیت قبلی به بردار ویژگی: وابستگی‌های زمانی متوالی با تقویت بازنمایی زیرفعالیت با بهره‌گیری از برچسب امتیاز کلی و شبه‌زیرامتیاز زیرفعالیت قبلی مدل‌سازی می‌شوند. (4) ماژول ارزیابی کیفیت فعالیت چندمرحله‌ای: زیرامتیاز‌های نهایی با یکدیگر تجمیع می‌شوند تا امتیاز کلی با دقت زیاد پیش‌بینی شود.

هدف ارزیابی کیفیت فعالیت در این پژوهش پیش‌بینی دقیق امتیاز کلی عملکرد یک ورزشکار است. چارچوب پیشنهادی را می‌توان به ‌صورت تابع نگاشت معادلۀ (1) فرمول‌بندی کرد:

که در آن، ،  و  به ترتیب پارامترهای سه ماژول پردازشی، یعنی ماژول استخراج ویژگی، ماژول بخش‌بندی معنایی زمانی و ماژول رگرسیون امتیازی را نشان می‌دهند. همچنین،  نشان‌دهندۀ امتیاز پیش‌بینی‌شده است. همان‌طور که در شکل (1) نشان داده شده است، چارچوب پیشنهادی از چهار بخش اصلی تشکیل شده است: مدل بخش‌بندی معنایی زمانی و استخراج ویژگی، مدل محاسبۀ شبه‌زیرامتیازهای اولیه برای زیرفعالیت‌ها، مدل تقویت اثر ویژگی‌ها با افزودن شبه‌زیرامتیاز زیرفعالیت قبلی (مدل‌سازی وابستگی‌های زمانی متوالی) و مدل ارزیابی کیفیت فعالیت چندمرحله‌ای.

2-2- مدل بخش‌بندی معنایی زمانی و استخراج ویژگی

در این مرحله، برای به دست آوردن بازخورد دقیقِ کیفیت فعالیت و تفسیرپذیری بیشتر امتیاز کلی هر ورزشکار، ابتدا ویدئوی ورودی  به چندین کلیپ معنایی بر اساس مراحل فرعی^[30] یک فعالیت خاص در طول زمان تقسیم می‌شود؛ از این ‌رو، تحلیلی دقیق‌تر از محتوای ویدئو امکان‌پذیر خواهد بود. از رویکرد پیشنهادی در ]43[ به عنوان مدل برای بخش‌بندی معنایی زمانی استفاده می‌شود. به ‌منظور شناسایی دقیق زیرفعالیت‌ها، ابتدا نقاط گذار زمانی[31] بین مراحل مختلف فعالیت تشخیص داده می‌شوند. فرض کنید لازم است L نقطۀ گذار زمانی شناسایی شوند. برای هر ویدئو، ماژول بخش‌بندی معنایی زمانی TSS احتمال وقوع مرحلۀ گذار در فریم t را با استفاده از معادله‌های (2) و (3) پیش‌بینی می‌کند:

در اینجا،  احتمال وقوع k-امین گذار زمانی در فریم t و  فریم پیش‌بینی‌شده برای آن گذار است. ماژول TSS از دو بلوک تشکیل شده است: بلوک پایین-بالا[32] و بلوک خطی[33]. بلوک پایین-بالا با بهره‌گیری از لایه‌های کانولوشن، طول ویژگی‌های I3D ]49[ استخراج‌شده از ویدئو ( ) را در امتداد محور زمانی افزایش و به کمک لایه‌های حداکثر تجمیع[34] در امتداد محور مکانی، ابعاد مکانی آن را کاهش می‌دهد. این فرایند موجب استخراج نمایش‌های عمیق‌تر مکانی-زمانی از ویژگی‌های بصری و زمینه‌ساز بخش‌بندی دقیق مراحل فعالیت می‌شود. خروجی بلوک پایین-بالا به بلوک خطی منتقل می‌شود تا توزیع‌های احتمال گذارهای زمانی برای L زیرفعالیت، یعنی مجموعۀ ، تولید شوند. برای تضمین ترتیب منطقی مراحل، شرط  در معادلۀ (3) اعمال می‌شود.

برای آموزش، از توزیع واقعی گذار زمانی مرحلۀ k-ام، یعنی ، یک توزیع دودویی  ساخته می‌شود که در آن، فقط  و در سایر فریم‌ها  است. آنگاه، با استفاده از توزیع احتمال پیش‌بینی‌شده  و توزیع احتمال واقعی ، مسئلۀ بخش‌بندی رویه به یک مسئلۀ طبقه‌بندی متراکم تبدیل می‌شود که هدف آن پیش‌بینی احتمال تعلق هر فریم به گذار مرحلۀ k-ام است. برای این منظور، از تابع هزینۀ آنتروپی تقاطعی دودویی[35] بین  و  برای بهینه‌سازی TSS مطابق معادلۀ (4) استفاده می‌شود:

کمینه‌سازی  توزیع‌های  و  را به هم نزدیک‌تر می‌کند. پس از بخش‌بندی معنایی زمانی، هر کلیپ حاصل به یکی از زیرفعالیت‌های ویدئو مربوط است که باید ارزیابی شود. این فرایند به صورت آفلاین انجام می‌شود. در نهایت، ویدئوی  به مجموعه‌ای از کلیپ‌های ویدئویی معنایی  تقسیم می‌شود که در آن، . H و W به ترتیب عرض و ارتفاع تصویر،  طول هر کلیپ و M تعداد کلیپ‌هاست. در نتیجه، بخش‌بندی معنایی زمانی می‌تواند مجموعه‌ای از کلیپ‌ها با طول‌های متفاوت، هر کدام شامل یک زیرفعالیت مشخص، تولید کند. پس از بخش‌بندی معنایی زمانی، مجموعه‌کلیپ‌های شامل مراحل فرعی به ماژول استخراج ویژگی ارسال می‌شوند. فرایند استخراج ویژگی را می‌توان به صورت زیر نشان داد:

که در آن،  شبکۀ عصبی عمیق استخراج ویژگی‌های ویدئویی است. استخراج ویژگی یک ماژول باز است که می‌تواند با بیشتر شبکه‌های یادگیری ویژگی، مانند شبکه‌های عصبی سه‌بُعدی P3D ]50[، C3D ]5[، I3D ]49[ و سایر شبکه‌های استخراج ویژگی‌های ویدئویی جایگزین شود. K نشان‌دهندۀ بُعد فضای ویژگی است. شبکه‌های عصبی کانولوشنی سه‌بُعدی، اگرچه به طور خاص برای تحلیل ویدئو طراحی نشده‌اند، به دلیل توانایی در مدل‌سازی هم‌زمان ویژگی‌های مکانی و زمانی، به یکی از روش‌های پرکاربرد در حوزۀ تحلیل ویدئویی تبدیل شده‌اند. در بسیاری از پژوهش‌های اخیر، این شبکه‌ها جایگزینی مناسب برای مدل‌های سنتی استخراج ویژگی و بازنمایی ویدئوها محسوب می‌شوند. در این پژوهش نیز از شبکۀ C3D ]5[ به عنوان شبکۀ استخراج ویژگی استفاده شده است. هنگام استفاده از C3D آموزش‌دیده، تعداد فریم‌ها در هر کلیپ روی یک مقدار ثابت تنظیم می‌شود. دو دلیل رایج برای تعیین طول زمانی مشخص وجود دارند: محلیت و حافظه. نخست، برخلاف شبکه‌های عصبی کانولوشنی دوبُعدی که صرفاً پیوستگی محلی مکانی را ثبت می‌کنند، شبکه‌های عصبی کانولوشنی سه‌بُعدی برای درک حرکت‌های محلی در بُعد زمانی طراحی شده‌اند. دوم، به دلیل محدودیت حافظه در پردازنده‌های گرافیکی، استفاده از توالی‌های بلند در شبکه‌های عصبی کانولوشنی سه‌بُعدی به افزایش چشمگیر تعداد پارامترها و نیاز بیشتر به حافظه منجر می‌شود. پس از استخراج ویژگی، بردار ویژگی  برای هر کلیپ شامل زیرفعالیت  به دست می‌آید.

2-3- مدل رگرسیون امتیازی

در این بخش، با استفاده از مجموعه‌ویژگی‌های استخراج‌شده در سطح کلیپ‌های ویدئویی به عنوان ورودی، امتیازهای ارزیابی از طریق یک رگرسیون چندمرحله‌ای به دست می‌آیند. به منظور حل مسئلۀ پیش‌بینی امتیاز برای هر زیرفعالیت با نظارت ضعیف، از یک شبکۀ رگرسیون جداگانه استفاده شده است. به عبارت دیگر، یک زیرشبکه برای هر زیرفعالیت طراحی شده است.

2-3-1- محاسبۀ شبه‌زیرامتیاز برای زیرفعالیت‌ها

به دلیل عدم وجود برچسب کیفیت برای هر زیرفعالیت، ارزیابی دقیق عملکرد در هر مرحلۀ فرعی مسئله‌ای چالش‌برانگیز است. همۀ مجموعه‌داده‌های موجود فقط برچسب امتیاز کلی را به عنوان شاخص کیفیت فعالیت ارائه می‌کنند و فاقد حاشیه‌نویسی امتیاز برای هر زیرفعالیت هستند. علاوه بر این، حاشیه‌نویسی دستی امتیازهای هر زیرفعالیت به دانش و تجربۀ حرفه‌ای نیاز دارد که به‌سختی به دست می‌آید. برای برطرف‌کردن این محدودیت، مدلی پیشنهاد شده است که با پیش‌بینی شبه‌زیرامتیازها برای زیرفعالیت‌ها، امتیاز کلی را از طریق ادغام این مقادیر محاسبه می‌کند. در گام ابتدایی رگرسیون امتیاز پیشنهادی، برای هر زیرفعالیت یک مقدار شبه‌زیرامتیاز تولید می‌شود. پس از استخراج ویژگی‌های مکانی-زمانی، کلیپ‌های ویدئویی مربوط به زیرفعالیت‌ها به مجموعه‌ای از بردارهای ویژگی به‌ صورت  تبدیل می‌شوند که در آن، هر بردار  نمایانگر زیرفعالیت m-ام است. در این گام، غنی‌سازی ویژگی‌ها با ساخت ویژگی‌های جدید ( ) از طریق ترکیب وزن‌دار ویژگی‌های مکانی-زمانی ( ) و ویژگی‌های امتیازدهی ( ) انجام می‌شود. ویژگی‌های مکانی-زمانی، ویژگی‌های بصری و ساختاری ورودی را ثبت می‌کنند؛ در حالی‌ که ویژگی‌های امتیازدهی، اطلاعات ارزیابی زمینه‌ای را ارائه می‌دهند. بردار ویژگی تقویت‌شده برای هر زیرفعالیت با استفاده از معادلۀ (6) به دست می‌آید:

مشابه رویکرد پیشنهادی در پژوهش ]14[ ، در این مرحله، برچسب امتیاز کلی به عنوان یک ویژگی امتیازدهی به بردار ویژگی اضافه می‌شود. به عبارتی، در معادلۀ (6)،  است. پارامتر  به‌ عنوان ضریب وزنی، تعادلی میان سهم امتیاز کلی و ویژگی‌های اصلی برقرار می‌کند. نماد  نیز بیانگر عملیات الحاق ویژگی‌هاست. این عملیات به تولید مجموعه‌ویژگی جدید  منجر می‌شود که در آن،  است. این مجموعه‌ویژگی‌های بهبودیافته متعاقباً به یک شبکۀ کاملاً متصل با پنج لایه وارد می‌شوند. لایۀ اولیه بردارهای ویژگی بهبودیافته را به عنوان ورودی دریافت می‌کند و تعداد گره‌ها در هر لایه به‌تدریج به 1 کاهش می‌یابد. در لایۀ نهایی، از تابع فعال‌سازی سیگموئید برای پیش‌بینی شبه‌زیرامتیاز هر زیرفعالیت استفاده می‌شود. همۀ زیرشبکه‌ها از ساختاری یکسان استفاده می‌کنند. فرایند محاسبۀ شبه‌زیرامتیاز را می‌توان به صورت زیر توصیف کرد:

در اینجا، FC(⋅) شبکۀ کاملاً متصل،  خروجی آخرین لایه،  نشان‌دهندۀ پارامترهای لایۀ t-ام و sbs_m شبه‌زیرامتیاز پیش‌بینی‌شده برای زیرفعالیت m-ام است. این فرایند تولید شبه‌زیرامتیاز برای تمام زیرفعالیت‌ها تکرار می‌شود تا شبه‌زیرامتیازها به طور مستقل پیش‌بینی شوند. پس از تولید شبه‌زیرامتیازها برای همۀ زیرفعالیت‌ها، آنها به یک شبکۀ کاملاً متصل وارد می‌شوند تا امتیاز کلی ویدئو پیش‌بینی شود. این فرایند به صورت زیر بیان می‌شود:

در این معادله،  نشان‌دهندۀ امتیاز کلی پیش‌بینی‌شده است و w_m به پارامترهای وزنی لایۀ کاملاً متصل اشاره دارد. برای آموزش این شبکه، میانگین مربعات خطا به عنوان تابع هزینه بین امتیاز پیش‌بینی‌شده و برچسب امتیاز کلی هر ویدئو اعمال می‌شود. تابع هزینه را می‌توان به شکل معادلۀ (9) فرمول‌بندی کرد:

در اینجا، N_Tr تعداد ویدئوهای آموزشی است.  امتیاز کلی پیش‌بینی‌شده برای نمونۀ آموزشی i-ام و  برچسب امتیاز کلی مربوط است. مدل آموزش‌دیده ویدئوهای آموزشی را پردازش می‌کند تا شبه‌زیرامتیازهایی را برای زیرفعالیت‌های هر ویدئو استخراج کند که با SBS = {sbs₁, ..., sbs_M} نشان داده می‌شوند. این رویکرد جامع تضمین می‌کند مدل از داده‌های آموزشی به طور مؤثر برای تولید شبه‌زیرامتیازها استفاده می‌کند.

2-3-2- تقویت اثر ویژگی‌ها با افزودن شبه‌زیرامتیاز زیرفعالیت قبلی به بردار ویژگی (مدل‌سازی وابستگی‌های زمانی متوالی)

افزودن صِرف برچسب امتیاز کلی به عنوان یک ویژگی برای تمام زیرفعالیت‌ها به ایجاد نوعی سوگیری در فرایند یادگیری منجر می‌شود. این موضوع باعث می‌شود زیرامتیازهای پیش‌بینی‌شده به‌طور غیرواقعی با امتیاز کلی هم‌راستا شوند، که در نتیجه، تنوع آنها کاهش می‌یابد و توان مدل در تشخیص تغییرات موضعی در طول فعالیت محدود می‌شود. به طور خاص، این بخش وابستگی‌های متوالی بین زیرمرحله‌های درون یک فعالیت را بررسی می‌کند. درک این وابستگی‌ها برای طراحی یک معماری مؤثر که امتیاز کیفیت فعالیت را به طور دقیق تخمین می‌زند، بسیار مهم است.

روابط زمانی میان زیرفعالیت‌های متوالی در ارزیابی کیفیت فعالیت نقش کلیدی دارند؛ زیرا عملکرد هر زیرفعالیت ممکن است مستقیماً بر زیرفعالیت بعدی تأثیرگذار باشد. برای مثال، در فرایند شیرجه، یک خطای کوچک در مرحلۀ پرش[36] ممکن است روند چرخش[37] یا پشتک‌زدن‌[38] را مختل کند و در نهایت باعث افت کیفیت اجرای کلی شود. به طور مشابه، فرم نامناسب بدن یا سرعت ناکافی در هنگام پشتک ممکن است چرخش را ضعیف کند و بر کیفیت ورود به آب اثر منفی بگذارد. مرحلۀ ورود به آب یکی از اجزای حیاتی در ارزیابی شیرجه محسوب می‌شود. ورود صحیح با بدن کشیده و بدون زاویه پاشش آب را به حداقل می‌رساند و نشان‌دهندۀ دقت و کنترل زیاد ورزشکار است. در مقابل، ورود ناهماهنگ و عدم حفظ موقعیت مناسب بدن معمولاً با پاشش شدید آب همراه است و از کیفیت کلی شیرجه می‌کاهد.

پس از تولید شبه‌زیرامتیازها، این مقادیر به صورت متوالی به عنوان ویژگی‌های اضافی برای تقویت بیشتر مدل به‌کار گرفته می‌شوند. این فرایند، با ادغام اطلاعات زمینه‌ای غنی‌تر در نمایش ویژگی‌ها، موجب توانمندی مدل برای محاسبۀ شبه‌زیرامتیازهای دقیق‌تر و صحیح‌تر برای هر زیرفعالیت می‌شود. گام دوم چارچوب رگرسیون امتیاز پیشنهادی برای تولید مقادیر شبه‌زیرامتیاز قوی‌تر برای هر زیرفعالیت طراحی شده است. در این مرحله، برچسب امتیاز کلی و شبه‌زیرامتیاز زیرفعالیت قبلی به عنوان ویژگی‌های اضافی در نظر گرفته می‌شوند. مشابه بخش قبلی، تقویت ویژگی‌ها از طریق ترکیب وزن‌دار ویژگی‌های مکانی-زمانی و ویژگی‌های امتیازدهی انجام می‌شود. در این حالت، ویژگی‌های امتیازدهی از هر دو برچسب امتیاز کلی و شبه‌زیرامتیاز زیرفعالیت بلافاصله قبل از آن استخراج می‌شوند و اطلاعات ارزیابی زمینه‌ای را فراهم می‌کنند. به طور خاص، بردار ویژگی‌های امتیازدهی در معادلۀ (6) معادل  است.

ویژگی‌های تقویت‌شده در ادامه برای محاسبۀ شبه‌زیرامتیازهای قوی‌تر استفاده می‌شوند. مراحل بعدی آموزش مدل شامل تولید شبه‌زیرامتیاز‌ها و پیش‌بینی امتیاز کلی، طبق رویۀ ارائه‌شده در زیربخش قبلی انجام می‌شوند. پس از آموزش کامل، شبه‌زیرامتیازهای به‌روزرسانی‌شده برای زیرفعالیت‌های هر ویدئوی آموزشی از مدل آموزش‌دیده استخراج می‌شوند که با نماد SBS^new = {sbs₁, ..., sbs_M}، نمایش داده می‌شوند.

2-3-3- مدل ارزیابی کیفیت فعالیت چندمرحله‌ای

در نهایت، پس از مدل‌سازی وابستگی‌های زمانی میان زیرفعالیت‌ها و محاسبۀ شبه‌زیرامتیازهای قوی برای هر زیرفعالیت، هدف دست‌یابی به امتیاز نهایی با دقتی زیاد است. از آنجا که در فاز استنتاج (آزمون) برچسب امتیاز کلی نامشخص است و باید پیش‌بینی شود، این برچسب از بردار ویژگی ورودی حذف می‌شود و یک فرایند آموزش تکمیلی (Fine-tuning) صرفاً بر پایۀ ویژگی‌های بصری (بدون ویژگی برچسب امتیاز کلی) انجام می‌شود.

در این مرحله، خروجی شبکۀ استخراج ویژگی به یک شبکۀ کاملاً متصل با پنج لایۀ متوالی وارد می‌شود. لایۀ اولیۀ این شبکه بردار ویژگی K-بُعدی را به عنوان ورودی دریافت می‌کند و با کاهش تدریجی تعداد گره‌ها در هر لایه، در نهایت آن را به یک گره منفرد می‌رساند. نحوۀ محاسبۀ این فرایند در معادلات (10) شرح داده شده است:

در اینجا،  به‌ عنوان زیرامتیاز مربوط به زیرفعالیت m-ام تعریف می‌شود. مطابق توضیحات زیربخش قبلی، برای هر ویدئوی آموزشی، برچسب‌های شبه‌زیرامتیاز قوی به دست می‌آیند. تابع هزینۀ استفاده‌شده در آموزش این مدل از دو بخش تشکیل شده است. بخش اول میانگین مربعات خطا بین زیرامتیازهای پیش‌بینی‌شده و شبه‌زیرامتیاز‌ها برای هر زیرفعالیت را محاسبه می‌کند؛ و بخش دوم میانگین مربعات خطا بین امتیاز کلی پیش‌بینی‌شده و برچسب امتیاز کلی را ارزیابی می‌کند. تابع هزینۀ نهایی مدل از ترکیب دو مؤلفۀ یادشده ساخته می‌شود (همان‌طور که در شکل (2) نشان داده شده است):

شکل (2): مدل ارزیابی کیفیت فعالیت چندمرحله‌ای.

پس از پایان آموزش تکمیلی، ویدئوهای مجموعه‌تست به مدل آموزش‌دیده تغذیه می‌شوند و در نتیجه، زیرامتیازهای مربوط به زیرفعالیت‌های مختلف هر ویدئو و همچنین امتیاز کلی آن با دقت زیاد پیش‌بینی می‌شوند.

3- ارزیابی کارایی چارچوب پیشنهادی

3-1- مجموعه‌داده و معیارهای ارزیابی

مجموعه‌داده: در این مطالعه، مجموعه‌دادۀ UNLV-Diving ]4[ برای ارزیابی عملکرد و اعتبارسنجی اثربخشی چارچوب پیشنهادی استفاده شده است. مجموعه‌دادۀ UNLV-Diving گسترش‌یافتۀ مجموعه‌دادۀ MIT-Diving ]1[ است. این مجموعه‌داده شامل ۳۷۰ نمونۀ ویدئویی از اجرای شیرجه‌های انفرادی است که از مرحلۀ نیمه‌نهایی و فینال رقابت سکوی ۱۰ متر مردان در المپیک تابستانی ۲۰۱۲ لندن گردآوری شده‌اند. هر ویدئو با مدت زمان تقریبی ۴ ثانیه، از پلتفرم یوتیوب استخراج و با امتیاز کلی، سطح دشواری و برچسب‌های بخش‌بندی زیرفعالیت در طول زمان حاشیه‌نویسی شده است که امکان محاسبۀ امتیازهای اجرا را فراهم می‌کند. سطوح دشواری اجراها در بازه‌ای بین 7/2 تا 1/4 و امتیاز کلی در محدودۀ 6/21 تا 6/102 متغیر است. تمامی فریم‌های ویدئویی با وضوح ۳۲۰×۲۴۰ پیکسل دخیره شده‌اند. در میان تمامی ویدئوها، 300 ویدئو برای آموزش و 70 ویدئو برای تست استفاده شده‌اند.

معیارهای ارزیابی: در بیشتر مطالعات، از ضریب همبستگی رتبۀ اسپیرمن ρ (SRC) به عنوان معیار ارزیابی اصلی استفاده می‌شود. ضریب همبستگی رتبۀ اسپیرمن، یا به‌اختصار همبستگی اسپیرمن، یک معیار آماری غیرپارامتری است که توسط چارلز اسپیرمن در سال 1904 پیشنهاد شد و این نام را از آن گرفته است. SRC می‌تواند همبستگی بین دو متغیر آماری را ارزیابی کند. مقدار همبستگی اسپیرمن بین 1- و 1 قرار دارد. هرچه به 1 نزدیک‌تر باشد، همبستگی بیشتر است. اگر 1 باشد، به این معناست که دو متغیر تصادفی کاملاً همبستگی مثبت دارند، 0 به معنای عدم همبستگی و نامرتبط‌بودن آنها و 1- به این معناست که رابطۀ بین آنها یک همبستگی کاملاً منفی است. همبستگی اسپیرمن معیاری از رابطۀ یکنواخت بین دو متغیر تصادفی است که به طور هم‌زمان تغییر می‌کنند، اما نه با سرعت یکسان؛ بنابراین، رابطه لزوماً خطی نیست. در اینجا، SRC توافق بین رتبه‌بندی‌های پیش‌بینی‌شده و رتبه‌بندی‌های واقعی ورزشکاران را ارزیابی می‌کند. ضریب همبستگی رتبۀ اسپیرمن به صورت زیر تعریف می‌شود:

که در آن، p و q به ‌ترتیب دنبالۀ رتبه‌بندی امتیازهای پیش‌بینی‌شده و امتیازهای واقعی هستند. cov کوواریانس این دو دنبالۀ رتبه‌بندی است و  و  انحرافات معیار استاندارد p و q هستند. هرچه مقدار ρ بزرگ‌تر باشد، مقدار پیش‌بینی‌شده به مقدار واقعی نزدیک‌تر است و دقت روش بیشتر است. در وظیفۀ AQA، شاخص ارزیابی کلی و عمومی SRC است، اما روش‌هایی نیز وجود دارند که از MSE و MED برای ارزیابی عملکرد استفاده می‌کنند (معادله‌های (13) و (14)). به ترتیب، MSE میانگین مربعات اختلاف بین امتیازهای پیش‌بینی‌شده و واقعی را اندازه‌گیری می‌کند؛ به طور مشابه، MED میانگین اختلاف مطلق بین امتیازهای پیش‌بینی‌شده و واقعی را اندازه‌گیری می‌کند:

نشان‌دهندۀ مقدار امتیاز پیش‌بینی‌شده و  نشان‌دهندۀ مقدار امتیاز واقعی و N تعداد کل نمونه‌هاست. هرچه هر یک از این مقادیر معیار کوچک‌تر باشد، فاصلۀ بین امتیاز پیش‌بینی‌شده و مقدار واقعی کمتر است؛ بنابراین، عملکردی بهتر خواهد داشت. در این کار، از تمام این معیارهای ارزیابی - SRC، MSE و MED - برای اندازه‌گیری دقت امتیاز پیش‌بینی‌شده استفاده می‌شود.

3-2- جزئیات اجرا

چارچوب پیشنهادی برای ارزیابی عملکرد ورزشکاران از طریق یک رویکرد امتیازدهی چندمرحله‌ای، مطابق معیارهای ارزیابی عینی ورزشی، طراحی شده است. در برپایش تجربی[39]، یک مدل بخش‌بندی معنایی زمانی، مبتنی بر چارچوب ]43[ ، برای تقسیم هر ویدئو به زیرفعالیت‌های مجزا به کار گرفته می‌شود. فرایند شیرجه به پنج زیرفعالیت خاص - شروع، پرش، چرخش[40]، ورود به آب و پایان - تقسیم می‌شود تا حرکات دقیق ثبت شوند. برای بازنمایی ویژگی‌ها، از یک مدل شبکۀ عصبی کانولوشنی سه‌بُعدی C3D ]5[ از پیش آموزش‌دیده استفاده می‌شود. ویژگی‌های استخراج‌شده توسط این مدل با ابعاد 4096 مشخص می‌شوند که بازنمایی قوی برای هر زیرفعالیت را تضمین می‌کند. در طول فرایند آموزش و تست، 16 فریم از هر زیرفعالیت انتخاب و به 112×112 پیکسل تغییر اندازه داده می‌شوند. فرایند آموزش از دو نوع برچسب استفاده می‌کند: امتیاز کلی و امتیاز اجرا برای هر فعالیت. امتیاز کلی برای عملکرد شیرجه به عنوان حاصل‌ضرب امتیاز اجرا و سطح دشواری فعالیت محاسبه می‌شود. برای حفظ سازگاری، امتیازات کلی با استفاده از نرمال‌سازی حداقل-حداکثر نرمال‌سازی می‌شوند، در حالی که امتیازات اجرا که از 0 تا 30 متغیر هستند، با تقسیم بر 30 نرمال‌سازی می‌شوند.

چارچوب پیشنهادی بر روی یک پردازندۀ گرافیکی NVIDIA RTX 2080 با 11 گیگابایت حافظۀ داخلی اجرا شده است. زبان برنامه‌نویسی پایتون 3 بوده و برای اجرای شبکه‌های عصبی عمیق از کتابخانۀ پایتورچ ]51[ در سیستم عامل لینوکس استفاده شده است. ترکیبی از شبکه‌های کاملاً متصل که به طور خاص برای هر زیرفعالیت طراحی شده‌اند، برای آموزش استفاده می‌شود. تابع هزینۀ MSE برای بهینه‌سازی امتیازهای پیش‌بینی‌شده استفاده می‌شود. برای کاهش بیش‌برازش، تنظیم[41] L2 با پارامتر کاهش وزن[42] 0005/0 اعمال می‌شود و احتمال رهاکردن[43] 5/0 پس از لایه‌های تجمیع متوسط[44] گنجانده می‌شود. فرایند آموزش با استفاده از بهینه‌ساز تخمین گشتاور وفقی (Adam)[45] با نرخ یادگیری[46] اولیۀ 0001/0 انجام می‌شود که هر 30 تکرار آموزش با ضریب 1/0 کاهش می‌یابد. این مطالعه همچنین پیکربندی‌های مختلف شبکه را بررسی کرد و دریافت معماری پنج لایه بهترین تعادل بین دقت و هزینۀ محاسباتی را فراهم می‌کند. نتایج نهایی با میانگین‌گیری معیارهای SRC، MSE و MED در 10 تکرار آزمایش به دست آمد.

3-3- مقایسه با روش‌های ارزیابی کیفیت فعالیت موجود

به‌ منظور ارزیابی عملکرد چارچوب پیشنهادی، نتایج حاصل از اجرای آن با نتایج چندین روش موجود، با استفاده از مجموعه‌دادۀ UNLV-Diving مقایسه شده است. خلاصۀ این مقایسه در جدول (1) ارائه شده است. اعداد ارائه‌شده برای روش‌های مرجع مستقیماً از مقاله‌های اصلی استخراج شده‌اند. گفتنی است، مقادیر مشخص‌شده با علامت «-» در جدول به این دلیل وارد نشده‌اند که نتایج مربوط به آن معیارها در مقالۀ اصلی مربوط گزارش نشده‌اند. همان‌طور که از نتایج جدول مشخص است، روش پیشنهادی در تمامی معیارهای ارزیابی عملکردی بسیار مطلوب و رقابتی نسبت به بیشتر روش‌های موجود از خود نشان داده است. به طور خاص، این روش با دست‌یابی به ضریب همبستگی رتبۀ اسپیرمن 90/0، همبستگی قوی بین رتبه‌بندی امتیازهای پیش‌بینی‌شده و واقعی را اثبات می‌کند. همچنین، با کاهش مقادیر MSE و MED به ترتیب تا 42/32 و 83/2، میزان خطای پیش‌بینی کاهش یافته است.

همان‌طور که در جدول (1) مشاهده می‌شود، چارچوب پیشنهادی با سایر روش‌های نوین ارزیابی کیفیت فعالیت از جمله مرجع ]14[ و رویکرد اخیر ارائه‌شده در پژوهش ]52[ مقایسه شده است. نتایج نشان می‌دهد مدل‌ها از نظر نحوۀ رویارویی با وابستگی‌های زمانی، رفتارها و دقت‌هایی متفاوت از خود نشان می‌دهند. در مقایسه با مرجع ]14[ ، مدل پیشنهادی توانسته است مقدار SRC را به میزان 1/0 افزایش و مقادیر MSE و MED را به ترتیب 95/53 و 76/4 واحد کاهش دهد. دلیل این برتری آن است که مرجع ]14[ برای جبران کمبود برچسب فقط به ترکیب امتیاز کلی با ویژگی‌ها بسنده می‌کند و توالی منطقی حرکات را نادیده می‌گیرد (استقلال زیرفعالیت‌ها). در مقابل، چارچوب پیشنهادی ما با تزریق شبه‌زیرامتیاز مرحلۀ پیشین (sbs_m-1) توانسته است یک بافت زمانی محلی[47] ایجاد و تأثیر زنجیره‌وار کیفیت زیرفعالیت‌ها بر یکدیگر را به‌خوبی مدل‌سازی کند.

از سوی دیگر، با مقایسۀ نتایج روش پیشنهادی با پژوهش ]52[، مشاهده می‌شود مدل ارائه‌شده در ]52[ به نتایج کمّی بهتری دست یافته است. این اختلاف در نتایج ریشه در دو تفاوت ساختاری دارد: نخست آنکه پژوهش ]52[ به جای وابستگی محلی، از یک تاریخچۀ تجمعی بلندمدت^[48] بهره می‌برد که اطلاعات تمامی مراحل پیشین را تجمیع می‌کند تا تأثیر انباشتۀ خطاها در طول توالی حرکات مدل‌سازی شود. دوم آنکه، مسئله را در قالب رگرسیون متغیرهای پنهان مدل و از یک تابع هزینۀ جریمۀ یکنواختی^[49] برای اعمال محدودیت‌های فیزیکی استفاده می‌کند. با وجود این، مدل پیشنهادی در این مقاله، با تمرکز بر وابستگی‌های محلی مارکوفی، یک معماری پایه، منسجم و با پیچیدگی ساختاری و محاسباتی کمتر ارائه می‌دهد که به‌ طور مؤثر چالش نبود برچسب برای زیرفعالیت‌ها را برطرف می‌کند. این روش توانسته است شکاف بین مدل‌های مستقل [14] و مدل‌های جامع را به‌خوبی پر کند و با ایجاد توازنی میان دقت و هزینۀ محاسباتی، به دقتی کاملاً رقابتی و قابل ‌قبول دست یابد.

این نتایج بیانگر دقت زیاد مدل در پیش‌بینی رتبه‌بندی‌ها و امتیازهای کلی کیفیت فعالیت‌ها و نیز قابلیت تعمیم مناسب آن در مواجهه با نمونه‌های جدید است. این موفقیت نقش مؤثر بهره‌گیری از وابستگی زمانی میان زیرفعالیت‌ها را در ارتقای کیفیت ارزیابی عملکرد برجسته می‌کند. نتایج آزمایش‌ها در جدول (1) نشان می‌دهد حتی با مدل‌سازی وابستگی محلی، دقت ارزیابی نسبت به روش‌های پایه [14] بهبود یافته است.

جدول (1): مقایسۀ نتایج چارچوب پیشنهادی با روش‌های ارزیابی کیفیت فعالیت موجود. مقادیر پررنگ بهترین نتایج را نشان می‌دهند. توجه شود که اعداد مربوط به سلول‌های مشخص‌شده با علامت (-) در مقالۀ اصلی گزارش نشده‌اند.

شکل (3): نتایج امتیازدهی چارچوب پیشنهادی برای ۷۰ ویدئوی تست.

این مدل در مقایسه با رگرسیون تک‌مرحله‌ای و رویکردهای اخیر مبتنی بر بخش‌بندی ارزیابی شده است. برای بررسی دقیق‌تر عملکرد روش پیشنهادی، نمودار شکل (3) امتیازهای پیش‌بینی‌شده را در مقایسه با امتیازهای واقعی برای 70 نمونه ویدئوی تست نمایش می‌دهد. تطابق زیاد منحنی مدل پیشنهادی با مقادیر واقعی گواهی بر اثربخشی چارچوب طراحی‌شده در این پژوهش است. نتایج حاصل دقت مطلوب مدل را برای بیشتر نمونه‌های تست نشان می‌دهد و فقط در مواردی محدود انحراف قابل ملاحظه مشاهده می‌شود.

تحلیل کیفی نتایج نشان می‌دهد چارچوب پیشنهادی قادر است امتیازهایی واقع‌بینانه را در سطوح دشواری مختلف تولید کند. ارزیابی‌های مقایسه‌ای کارایی این مدل را در مواجهه با چالش‌هایی برجسته می‌کند که در رویکردهای مرتبط پیشین، مانند ]13[، به خطاهایی قابل ملاحظه منجر می‌شدند. برای نمونه، ویدئوی شمارۀ 235 از مجموعه‌تست که مربوط به اجرای یک «شیرجۀ معکوس» با سطح دشواری نسبتاً زیاد 6/3 و امتیاز کلی واقعی 6/21 است، توسط رویکرد ]13[ به طرزی قابل ملاحظه بیش از حد تخمین زده شده و مقدار 84/73 برای آن پیش‌بینی شده است؛ در حالی ‌که چارچوب پیشنهادی، برای همین نمونه، امتیاز 90/44 را پیش‌بینی کرده که به مقدار واقعی نزدیک‌تر است (شکل (4)). این‌گونه فعالیت‌ها (مانند توالی‌های شیرجۀ معکوس یا بالانس بازو) به دلیل ساختار پیچیده و حساسیت زیاد، پیش‌بینی دقیق امتیاز کلی را دشوارتر می‌کنند و به‌شدت مستعد تخمین بیش از حد هستند.

بخشی از خطای مدل‌های پیشین به مسئلۀ عدم توازن در توزیع برچسب‌های امتیاز کلی در مجموعه‌دادۀ UNLV-Diving بازمی‌گردد. در این مجموعه، مقادیر امتیاز کلی از 6/21 تا 6/102 گسترده هستند، اما میانگین آنها تقریباً ۷۸ است. بیشتر نمونه‌ها دارای برچسب‌های امتیاز کلی بالا هستند، در حالی که نمونه‌هایی با امتیاز پایین به‌ طرزی قابل ملاحظه کمتر در توزیع داده‌ها حضور دارند. این عدم تعادل، همراه با سطح دشواری بالای برخی از حرکات، موجب می‌شود رویکردهای قبلی در پیش‌بینی نمونه‌هایی با امتیاز پایین (مانند ویدئوی شمارۀ 235) عملکردی ضعیف‌تر داشته باشند. در مقابل، چارچوب پیشنهادی با بهره‌گیری از یادگیری متوالی شبه‌زیرامتیازها و درک وابستگی زمانی، از تخمین بیش ‌از حد اجتناب کرده و توانسته است حتی برای نمونه‌های پیچیده با برچسب امتیاز پایین، پیش‌بینی‌ها را به‌خوبی با مقادیر واقعی هم‌راستا کند.

شکل (4): نمونه‌ای با پیش‌بینی نادرست از شیرجۀ معکوس با امتیاز کلی واقعی نسبتاً پایین نمایش داده شده است. مقدار سبز نمایانگر امتیاز کلی واقعی، مقدار قرمز نشان‌دهندۀ امتیاز پیش‌بینی‌شده توسط رویکرد ]13[ و مقدار آبی مربوط به امتیاز پیش‌بینی‌شده با استفاده از چارچوب پیشنهادی است.

3-4- بررسی عملکرد مدل در مراحل مختلف شیرجه

نتایج آزمایش‌ها نشان می‌دهد ادغام شبه‌زیرامتیازها دقت پیش‌بینی امتیاز کلی را بهبود می‌بخشد و امکان ارائۀ بازخورد جزئی برای هر زیرفعالیت را فراهم می‌کند. تحلیل عملکرد چارچوب پیشنهادی در زیرفعالیت‌های مختلف ویدئوهای تست نشان می‌دهد زیرامتیازهای سه زیرفعالیت نخست معمولاً به یکدیگر نزدیک هستند. در مقابل، زیرفعالیت‌های ورود به آب و پایان بیشترین تنوع در امتیازها را در میان نمونه‌ها دارند. این موضوع بیانگر حساسیت زیاد مدل نسبت به این دو مرحله است؛ به ‌گونه‌ای که پیش‌بینی‌ها در این زیرفعالیت‌ها بیشتر دچار نوسان می‌شوند. بنابراین، می‌توان آنها را به‌ عنوان مراحل کلیدی در ارزیابی کیفیت اجرای شیرجه در نظر گرفت. این دو مرحله به ‌ترتیب شامل ارزیابی موقعیت بدنی ورزشکار هنگام جمع‌کردن بالاتنه به سمت پاها، با تأکید بر کشیدگی کامل پاها و تماس بیشینۀ بالاتنه با پاها و سنجش اندازۀ پاشش آب هنگام ورود به آب هستند.

به‌ منظور درک بهتر نقش مراحل مختلف اجرای شیرجه در شکل‌گیری امتیاز نهایی، شکل (5) به تحلیل پنج زیرفعالیت شیرجه در سه نمونۀ منتخب اختصاص یافته است. این سه نمونه به ترتیب نمایندۀ اجراهایی با امتیاز کلی بالا، متوسط و پایین هستند. مقادیر واقعی امتیاز کلی آنها به ترتیب 75/99، 7/77 و 9/42 هستند و مقادیر پیش‌بینی‌شده توسط چارچوب پیشنهادی نیز به ترتیب 31/98، 93/76 و 85/38 به دست آمده‌اند. دو نمونه از این مجموعه (نمونه‌های 102 و 238) دارای نوعی خاص از شیرجه با سطح دشواری نسبتاً بالا هستند که در آن، ورزشکار ابتدا روی دستان خود روی سکوی شیرجه می‌ایستد و سپس شیرجه را انجام می‌دهد. در شکل (5)، مقادیر سبز نمایانگر امتیازهای واقعی و مقادیر آبی نشان‌دهندۀ امتیازهای پیش‌بینی‌شده توسط چارچوب پیشنهادی هستند. برای هر یک از زیرفعالیت‌ها، یک فریم نماینده و مقادیر زیرامتیاز پیش‌بینی‌شده برای این سه نمونه در تصویر نمایش داده شده‌اند. این نمایش بصری امکان مقایسه‌ای دقیق‌تر از کیفیت پیش‌بینی در مراحل مختلف شیرجه را فراهم می‌کند. ‌به‌وضوح، در نمونۀ شمارۀ 238 که امتیاز کلی بالاتری دارد، مرحلۀ چهارم با زیرامتیاز 61/0 بالاترین ارزیابی را دریافت کرده است. در این مرحله، ورزشکار از وضعیت بدنی استانداردی برخوردار است و زاویۀ میان بالاتنه و پاها کمتر است؛ این مسئله با درک عمومی و همچنین دانش تخصصی داوری در شیرجه نیز هم‌خوانی دارد. در مرحلۀ‌ پنجم که تمرکز بر اندازۀ پاشش آب به‌ جای تحلیل حرکات بدن است، این نمونه زیرامتیاز نسبتاً بالایی برابر 93/0 به دست آورده است. این مقدار نشان‌دهندۀ کوچک‌ترین میزان پاشش آب و در نتیجه، اجرای دقیق‌تر و فرود تمیزتر در آب است. در مقابل، نمونۀ شمارۀ 324 که امتیاز کلی پایین‌تری دریافت کرده ‌است، در تمامی مراحل، زیرامتیازهای پایین‌تر کسب کرده است. به ‌ویژه در مرحلۀ ورود به آب، زیرامتیاز 47/0 و در مرحلۀ پایان 39/0 ثبت شده که نشان‌دهندۀ کیفیت پایین‌تر فرود و در نتیجه پاشش زیاد آب است.

این تحلیل مؤید آن است که چارچوب پیشنهادی نه فقط توانایی پیش‌بینی امتیاز کلی را دارد، بلکه قادر به ارزیابی دقیق عملکرد ورزشکار در مراحل جزئی نیز هست. چنین قابلیتی به مربیان و داوران این امکان را می‌دهد تا علت اصلی افت کیفیت در هر اجرای خاص را به‌راحتی شناسایی و برطرف کنند. همچنین ورزشکاران را قادر می‌کند تا بر بهبود جنبه‌های خاص عملکرد خود تمرکز کنند و در نتیجه، مهارت‌های فنی و نتایج رقابتی خود را ارتقا دهند.

شکل (5): سه نمونه با امتیازهای متنوع. مقدار سبز نشان‌دهندۀ برچسب امتیاز کلی و مقدار آبی مربوط به امتیاز پیش‌بینی‌شده با استفاده از چارچوب پیشنهادی است.

3-5- تحلیل تفسیرپذیری ارزیابی کیفیت در سطح زیرفعالیت‌ها و ارزیابی معنایی شبه‌زیرامتیازها در مجموعه‌دادۀ UNLV-Diving

یکی از چالش‌های اصلی در رویکردهای مبتنی بر یادگیری با نظارت ضعیف، اثبات معناداربودن متغیرهای پنهان یا همان شبه‌زیرامتیازهای تولیدشده است. برای بررسی اینکه آیا رویکرد پیشنهادی «وابستگی متوالی» توانسته است منطق داوری انسانی را به‌درستی مدل‌سازی کند، یک تحلیل توزیع طبقه‌بندی‌شده^[50] بر روی نمونه‌های آزمون در مجموعه‌دادۀ UNLV-Diving انجام شد. به منظور فراهم‌سازی امکان مقایسۀ بصری و تحلیلی، ویدئوهای مجموعه‌آزمون بر اساس برچسب امتیاز کلی واقعی به سه دستۀ کیفیتی تقسیم شدند: کیفیت ضعیف (امتیاز کمتر از 70)، کیفیت متوسط (امتیاز بین 70 تا 85) و کیفیت عالی (امتیاز بیشتر از 85). سپس توزیع شبه‌زیرامتیازهای پیش‌بینی‌شده برای هر 5 زیرفعالیت ورزش شیرجه تحلیل شد. این دسته‌بندی امکان مقایسۀ واضحِ عملکردِ شبکه در زیرفعالیت‌های مختلف (شامل 1: شروع، ۲: پرش، ۳: چرخش، ۴: ورود به آب و ۵: پایان) را برای سطوح مختلفِ مهارت ورزشکار فراهم می‌کند.

در راستای ارائۀ درک بصری دقیق‌تر، نمودارهای جعبه‌ای^[51] در شکل (6) با استفاده از طراحی دومحوره^[52] رسم شده‌اند. محور عمودی سمت چپ نشان‌دهندۀ توزیع «شبه‌زیرامتیازهای پیش‌بینی‌شده» است، در حالی که محور عمودی سمت راست و خط ممتد سبزرنگ نمایانگر «میانگین امتیاز کلی واقعی» در هر یک از دسته‌های کیفی است. همان‌طور که در نمودارها مشاهده می‌شود، نتایج حاکی از وجود یک تناسب کاملاً منطقی و مستقیم میان شبه‌زیرامتیازهای پیش‌بینی‌شده و کیفیت واقعی عملکرد ورزشکار در تمامی مراحل است. به عبارت دیگر، با افزایش سطح مهارت و امتیاز کلی، میانۀ شبه‌زیرامتیازها در هر زیرفعالیت نیز به طور پیوسته افزایش می‌یابد. این هم‌راستاییِ دقیق به‌ صورت کمّی و بصری ثابت می‌کند شبه‌زیرامتیازهای یادگرفته‌شده بازنمایی‌کننده‌ای بسیار خوب از امتیاز کلی هستند و شبکه توانسته است سهم هر حرکت را در نمرۀ نهایی به‌درستی تخمین بزند.

با بررسی روند هر 5 زیرفعالیت، به‌ صورت بصری کاملاً مشهود است که دو زیرفعالیت نهایی، یعنی مرحلۀ 4 (ورود به آب) و مرحلۀ 5 (پایان)، نقشی بسیار بارزتر و تأثیرگذارتر در محاسبۀ امتیاز کلی ایفا می‌کنند. برای نمونه، در زیرفعالیت پنجم (پایان)، تفکیکی بسیار واضح میان کلاس‌ها دیده می‌شود: گروه با کیفیت پایین حول میانۀ 41/0 متمرکز شده‌اند، در حالی که گروه با کیفیت بالا به طرزی قابل‌ ملاحظه میانۀ بالاتری در حدود 85/0 را ثبت کرده‌اند.

این رفتار مدل در تطابق کامل با قوانین فنی و داوری فدراسیون جهانی شنا (FINA) قرار دارد. تحلیل‌ها نشان می‌دهند شبه‌زیرامتیازهای مربوط به مراحل «ورود به آب» و «پایان» بیشترین قدرت تفکیک را میان سطوح کیفی از خود نشان می‌دهند. شیرجه‌های با کیفیت کم در این مراحل دارای پراکندگی (واریانس) بالا و میانۀ بسیار پایینی هستند؛ رفتاری که دقیقاً بازتاب‌دهندۀ جریمه‌های سنگینِ داوران به دلیل خطای پاشش شدید آب است. در مقابل، شیرجه‌های با کیفیت زیاد دارای توزیعی متراکم، فشرده و با مقادیر بالا هستند که نشان‌دهندۀ اجرای مداوم و تکنیک ورود تمیز و بدون پاشش آب است که همواره امتیازات طلایی داوران متخصص را به همراه دارد.

این تحلیل کمّی و بصری ثابت می‌کند چارچوب پیشنهادی ما صرفاً یک جعبه‌سیاه نبوده و فقط به بهینه‌سازی ریاضی بسنده نکرده است، بلکه با بهره‌گیری از مکانیسم ادغام شبه‌زیرامتیازِ مرحلۀ قبل با ویژگی‌های مرحلۀ فعلی، موفق شده است وزن، اهمیت و زنجیرۀ علّی‌ومعلولی مراحل مختلف اجرای حرکت را دقیقاً هم‌راستا با معیارهای ارزیابی داوران متخصص انسانی یاد بگیرد.

 شکل (6): تحلیل توزیع طبقه‌بندی‌شدۀ شبه‌زیرامتیازهای تولیدشده در سه دستۀ کیفی مختلف (پایین: کمتر از 70، متوسط: بین 70 تا 85، و بالا: بیشتر از 85) بر روی مجموعه‌دادۀ UNLV-Diving. روند صعودی و یکنواخت میانۀ امتیازها از دستۀ با کیفیت کم به دستۀ با کیفیت زیاد در تمامی زیرفعالیت‌ها به ‌صورت کمّی انسجام معنایی شبه‌زیرامتیازهای یادگرفته‌شده را اثبات می‌کند. گفتنی است، زیرفعالیت‌های ورود به آب (د) و پایان (هـ) بیشترین پراکندگی (واریانس) را در گروه با کیفیت کم نشان می‌دهند که به‌خوبی بازتاب‌دهندۀ جریمه‌های سنگین مرتبط با خطای پاشش آب است؛ در حالی ‌که شیرجه‌های باکیفیت توزیعی متراکم با مقادیر بالا را نشان می‌دهند که گواهی بر اجرای پایدار و بی‌نقص حرکت است.

4- جمع‌بندی و نتیجه‌گیری

در این پژوهش، یک چارچوب نوین برای ارزیابی کیفیت فعالیت ارائه شد که با بهره‌گیری از ساختار زیرفعالیت‌ها و یادگیری متوالی شبه‌زیرامتیازها، به‌ صورت مؤثر به چالش نبود برچسب‌های صریح در سطح زیرفعالیت پاسخ می‌دهد. مدل پیشنهادی با ترکیب بخش‌بندی معنایی زمانی، استخراج ویژگی‌های مکانی-زمانی و تقویت گام‌به‌گام نمایش زیرفعالیت‌ها، توانسته است وابستگی‌های زمینه‌ای درون‌مرحله‌ای و روابط زمانی میان زیرفعالیت‌ها را به‌دقت مدل‌سازی کند. با استفاده از ویژگی‌های مکانی-زمانی و برچسب امتیاز کلی، شبه‌زیرامتیازهای اولیه برای زیرفعالیت‌ها در داده‌های آموزشی تولید می‌شوند. سپس، چارچوب پیشنهادی با بهره‌گیری هم‌زمان از امتیاز کلی و شبه‌زیرامتیاز مرحلۀ قبل، بازنمایی دقیق‌تری از زیرفعالیت‌ها ایجاد می‌کند. این طراحی به مدل اجازه می‌دهد تا علاوه بر پیش‌بینی دقیق امتیاز کلی، بازخوردهای هدفمند و قابل ‌تفسیر برای هر مرحله از اجرای فعالیت ارائه دهد؛ به ‌طوری ‌که تحلیل‌های بصری و آماری اثبات می‌کنند این زیرامتیازها انطباق بسیار زیادی با معیارهای داوری انسانی (مانند قوانین داوری FINA) دارند.

نتایج مقایسه‌ای نشان می‌دهد چارچوب پیشنهادی، به ‌ویژه در سناریوهای ورزشی که در آنها زیرفعالیت‌ها به‌ طور زنجیره‌وار بر کیفیت نهایی تأثیر می‌گذارند، عملکردی مطلوب، رقابتی و بهبودیافته نسبت به روش‌های پایه (که زیرفعالیت‌ها را مستقل فرض می‌کنند) ارائه می‌دهد. بهبود معیارهایی مانند SRC، MED و MSE، اثربخشی این معماری را تأیید می‌کند. در ادامه، توسعۀ این چارچوب برای کاربرد در حوزه‌های ورزشی متنوع و بهره‌گیری از مجموعه‌داده‌های غنی‌تر در دستور کار قرار دارد. تمرکز اصلی، ایجاد مجموعه‌داده‌هایی با برچسب‌های کیفیت در سطح زیرفعالیت است تا امکان اعتبارسنجی مستقیم زیرامتیازهای پیش‌بینی‌شده فراهم شود. همچنین، بهبود روش‌های یادگیری بازنمایی ویدئویی نیز می‌تواند استحکام چارچوب را در شرایط پیچیدۀ بصری افزایش دهد.

[1] Action Quality Assessment (AQA)

[2] objectively

[3] Human Action Recognition (HAR)

[4] Regression-based

[5] Pairwise-comparison based

[6] Grading-based

[7] ground-truth scores

[8] Support Vector Regression (SVR)

[9] Discrete Cosine Transformation (DCT)

[10] approximate entropy

[11] splash

[12] ranking loss

[13] Encoder-Decoder TCN (ED-TCN)

[14] sub-actions

[15] Conditional Variational Auto-Encoders

[16] Temporal Attention

[17] self-attentive LSTM

[18] multi-scale convolutional skip LSTM

[19] Graph Convolutional Networks (GCN)

[20] pooling

[21] reinforcement learning

[22] discriminative non-local attention

[23] cross-attention

[24] pairwise deep ranking

[25] Siamese two-stream CNN

[26] spatial attention

[27] attention pooling

[28] temporal aggregation

[29] Group-Aware Regression Tree

[30] sub-stages

[31] step transitions

[32] down-up

[33] linear

[34] max pooling

[35] binary cross-entropy loss

[36] take-off

[37] rotation

[38] somersault

[39] experimental setup

[40] dropping

[41] regularization

[42] weight decay

[43] drop-out

[44] average pooling

[45] adaptive moment estimation (Adam)

[46] learning rate

[47] Local Context

[48] Long-range Cumulative Context

[49] Monotonic Penalty Loss

[50] Stratified Distribution Analysis

[51] Boxplots

[52] Dual-axis