mindspore_intelligent_fitness_action_recognition

在后疫情时代背景下，刘畊宏引发的“本草纲目”在线健身热潮也正式开启了居家健身时代。在当前时代背景下，居民生活模式与在线运动健身方式有极大的改变。与此同时人们对智能化的在线健身动作识别、矫正、计数和个性化课程推荐有着强烈需求。由此真正做到从智能监测到智能带练的跃变，用户能充分利用在线健身的轻便优势，同时能更好地掌握自身的健身成效、健身进展和健身规划。 在健身场景下，识别人体骨骼点的位置变化有助于视频判定动作类型与姿势，因此本次课题采取人体关键点检测技术实现智能化健身动作识别、计数与健身成效的记录。能通过对用户上传的健身带练视频进行分析，形成课程标准数据库，能动态适应用户不同课程需求，并对用户跟练课程过程中的动作进行识别校正和计数。并且可进一步应用多模态知识图谱推荐系统，基于图像与健身成效识别的课程推荐。 在后疫情时代背景下，刘畊宏引发的“本草纲目”在线健身热潮也正式开启了居家健身时代。在当前时代背景下，居民生活模式与在线运动健身方式有极大的改变。与此同时人们对智能化的在线健身动作识别、矫正、计数和个性化课程推荐有着强烈需求。由此真正做到从智能监测到智能带练的跃变，用户能充分利用在线健身的轻便优势，同时能更好地掌握自身的健身成效、健身进展和健身规划。 在健身场景下，识别人体骨骼点的位置变化有助于视频判定动作类型与姿势，因此本次课题采取人体关键点检测技术实现智能化健身动作识别、计数与健身成效的记录。能通过对用户上传的健身带练视频进行分析，形成课程标准数据库，能动态适应用户不同课程需求，并对用户跟练课程过程中的动作进行识别校正和计数。并且可进一步应用多模态知识图谱推荐系统，基于图像与健身成效识别的课程推荐。

本次将使用Microsoft 的Common Objects in Context比赛中的COCO开源数据集来完成训练、测试和验证。数据收集包含人体检测和人体关键点检测两部分，均使用COCO train2017和AI Challenger trainset作为训练集。将两数据集标注含义进行统一，并转换为COCO数据格式后执行训练。 COCO的全称是Common Objects in Context，是微软团队提供的一个可以用来进行图像识别的数据集。COCO数据集是一个大型的、丰富的物体检测，分割和字幕数据集。MS COCO数据集中的图像分为训练、验证和测试集。这个数据集以scene understanding为目标，主要从复杂的日常场景中截取，图像中的目标通过精确的segmentation进行位置的标定。图像包括91类目标，328,000影像和2,500,000个label。目前为止有语义分割的最大数据集，提供的类别有80 类，有超过33 万张图片，其中20 万张有标注，整个数据集中个体的数目超过150 万个。