目	录




摘	要	I
ABSTRACT	II
第一章 引言	1
1.1 研究背景和动机	1
1.2 人机交互的重要性	2
1.3 传统的人机交互方式	2
1.4 手势识别技术的出现和发展	3
第二章 相关技术综述	5
2.1 基于姿态估计的人机交互技术	5
2.2 MediaPipe 的相关介绍与应用	5
2.3 系统相关技术应用	6
2.3.1 手部检测	6
2.3.2 姿态检测	6
第三章 系统需求分析	7
3.1 功能需求	7
3.1.1 手势识别	7
3.1.2 姿势检测	7
3.1.3 动作识别	7
3.1.4 实时反馈	7
3.1.5 用户界面	8
3.2 性能需求	8
3.2.1 实时性	8
3.2.2 精度和准确性	8
3.2.3 鲁棒性	8
3.2.4 可扩展性	9
3.2.5 资源消耗	9
3.3 技术需求	9
3.3.1 MediaPipe	9
3.3.2 计算机视觉算法	10
3.3.3 实时图像处理	10
3.3.4 算法优化和加速	10
3.3.5 硬件要求	11
3.4 用户体验需求	11
3.4.1 直观性和易用性	11
3.4.2 响应性和流畅性	11
3.4.3 友好的界面设计	11
3.5 总结	11
第四章 系统设计与实现	12
4.1 系统框架	12
4.2 手势检测与识别模块实现	12
4.2.1 数据获取与预处理	12
4.2.2 姿态估计模型	14
4.2.3 交互逻辑与控制模块	15
4.3 用户交互模块实现	16
4.3.1 系统功能设计	16
4.3.2 系统实现和调试	23
4.3.3 系统创新功能实现	32
4.3.4 系统性能评估和优化	35
第五章 试验和结果分析	37
5.1 实验环境和数据集介绍	37
5.1.1 实验环境	37
5.1.2 数据集	37
5.2 实验设计	38
5.3 实验测试	38
5.3.1 摄像头连接测试	38
5.3.2 手部姿态识别测试	39
5.3.3 人体姿态估计测试	39
5.3.4 系统稳定性测试	39
5.3.5 响应时间性能测试	40
5.3.6 平均帧率测试	40
5.3.7 单人手势识别测试	41
5.3.8 单人姿态估计测试	41
5.4 .实验结果	41
第六章 讨论与展望	43
6.1 本研究的成果和不足	43
6.2 应用和推广前景	43
6.3 结论	45
参考文献	46
附录 健身 AI 实现关键代码	48
致	谢	57




摘	要
随着科技的不断发展，人机交互技术也越来越受到关注。在传统的人机交互系统中，用户通常需要通过键盘、鼠标或触摸屏等输入设备与计算机进行交互，用户不一定能方便使用这些输入设备，比如在进行运动、开车等情况下。为了应对上述问题， 特设计一个基于 MediaPipe 的人机交互系统，利用先进的姿态估计技术和机器学习算法，开发出一种更加高效、准确和自然的人机交互方式，以满足用户在不同场景和应用中的交互需求。通过这种方式，可以在移动设备和 PC 端实现更加直观、人性化和方便的人机交互方式，在日常生活中也提供一个实时 AI 健身监测功能，提升用户体验和工作效率。本文首先分析了研究背景、研究方法等内容，并介绍了相关技术，接着详细阐述了系统的设计和实现，最后进行了系统测试并分析了存在的不足之处，同时提出了今后改进方向。
关键词：人机交互；手势识别；姿态估计；MediaPipe



Abstract
With the continuous development of technology, human-computer interaction technology is also receiving increasing attention. In traditional human-computer interaction systems, users usually need to interact with computers through input devices such as keyboards, mice, or touch screens. Users may not be able to easily use these input devices, such as when exercising or driving. To address the above issues, a MediaPipe based human-machine interaction system is designed, utilizing advanced pose estimation technology and machine learning algorithms to develop a more efficient, accurate, and natural human-machine interaction method to meet the interaction needs of users in different scenarios and applications. Through this approach, a more intuitive, user-friendly, and convenient human- computer interaction can be achieved on mobile devices and PCs. It also provides a real-time AI fitness monitoring function in daily life, improving user experience and work efficiency. This paper first analyzes the research background, research methods, and introduces relevant technologies, Subsequently, the design and implementation of the system were elaborated in detail. Finally, system testing was conducted and the existing shortcomings were analyzed. At the same time, future improvement directions were proposed.
Key words: Human machine interaction; Gesture recognition; Attitude estimation; MediaPipe