前言

在计算机毕设与课程设计选题中，计算机视觉方向的手势交互项目一直是热门选择，但很多同学面临免费源码环境不兼容、核心逻辑残缺、运行报错无人答疑的问题。本文分享一套基于 MediaPipe 的轻量化手势识别音乐控制系统，无需深度学习模型训练，仅通过几何规则法即可实现 6 种静态手势的精准识别，搭配 PySide2 可视化界面与 Pygame 音频控制，完整覆盖图像采集、关键点检测、手势匹配、指令执行全流程，非常适合用作本科毕设或 Python 课程设计项目。

项目概述与技术栈

本系统是一套非接触式手势音乐控制桌面应用，通过普通 RGB 摄像头采集手部画面，实时检测 21 个手部关键点，基于几何关系判断手指状态并匹配预设手势，最终映射为音乐播放、暂停、音量调节、切歌等控制指令，同时提供登录验证、手势功能对照表、音乐歌单管理等可视化交互功能。

项目核心优势：纯 CPU 即可实时运行，无需 GPU 算力支持；采用几何规则法识别手势，无需标注数据与模型训练；模块化架构低耦合，便于二次功能扩展；自带完整 GUI 界面，交付展示效果直观。

系统整体架构与核心流程

系统采用分层解耦架构设计，自下而上共分为 5 层，各层职责独立便于维护与扩展：

1. 采集层：基于 OpenCV 调用摄像头，完成视频帧采集、水平翻转、颜色格式转换等预处理

2. 检测层：调用 MediaPipe Hands 模型，输出 21 个手部关键点的像素坐标

3. 识别层：通过欧氏距离、余弦定理计算手指状态，匹配预设手势模板生成控制指令

4. 控制层：基于 Pygame.mixer 执行音乐播放、暂停、音量调节、曲目切换等操作

5. UI 层：基于 PySide2 实现登录界面、主功能界面、视频流实时展示与数据可视化

核心业务执行流程：启动程序→登录验证→初始化摄像头与检测模型→实时采集画面→关键点检测与手指状态分析→手势匹配生成指令→执行音乐控制→界面更新反馈→循环运行直至退出。

核心功能模块实现

1. 手部关键点检测模块

该模块负责将 OpenCV 采集的 BGR 图像转换为 RGB 格式输入 MediaPipe 模型，将模型返回的归一化坐标转换为像素坐标，并完成关键点可视化绘制。

import cv2 as cv
import mediapipe as mp

# 模型初始化配置
mp_hands = mp.solutions.hands
hands = mp_hands.Hands(
    static_image_mode=False,  # 视频流模式
    max_num_hands=1,          # 最多检测1只手
    min_detection_confidence=0.75,
    min_tracking_confidence=0.75
)
mp_drawing = mp.solutions.drawing_utils

def hand_landmarks_detect(frame):
    # BGR转RGB适配模型输入
    img_rgb = cv.cvtColor(frame, cv.COLOR_BGR2RGB)
    result = hands.process(img_rgb)
    landmarks = []
    
    if result.multi_hand_landmarks:
        for hand_lms in result.multi_hand_landmarks:
            # 绘制关键点与连接线
            mp_drawing.draw_landmarks(frame, hand_lms, mp_hands.HAND_CONNECTIONS)
            # 归一化坐标转像素坐标
            for idx, lm in enumerate(hand_lms.landmark):
                pos_x = int(lm.x * frame.shape[1])
                pos_y = int(lm.y * frame.shape[0])
                landmarks.append((pos_x, pos_y))
        return landmarks
    else:
        return None

2. 手势识别核心逻辑

基于几何规则法判断五根手指的抬起 / 放下状态，将结果编码为 5 维二进制向量，与预设的 6 种手势模板匹配，输出对应控制指令编号。

import math

# 计算两点间欧氏距离
def vector_distance(p1, p2):
    return math.sqrt((p1[0] - p2[0])**2 + (p1[1] - p2[1])**2)

# 计算三点夹角（余弦定理）
def vector_angle(p1, p2, p3):
    b = vector_distance(p2, p1)
    c = vector_distance(p2, p3)
    a = vector_distance(p3, p1)
    if 2 * b * c > 1e-10:
        angle = math.acos((b**2 + c**2 - a**2) / (2 * b * c))
    return math.degrees(angle)

# 判断手指抬起状态
def get_fingers_status(landmarks):
    fingers = []
    # 大拇指：通过夹角判断
    if vector_angle(landmarks[0], landmarks[3], landmarks[4]) > 130:
        fingers.append(1)
    else:
        fingers.append(0)
    # 其余四指：通过指尖与关节到腕部的距离判断
    for i in range(1, 5):
        tip_idx = i * 4 + 4
        joint_idx = i * 4 + 2
        if vector_distance(landmarks[0], landmarks[tip_idx]) > vector_distance(landmarks[0], landmarks[joint_idx]):
            fingers.append(1)
        else:
            fingers.append(0)
    return fingers

# 手势模板匹配
def gesture_recognize(landmarks):
    command = 0
    fingers = get_fingers_status(landmarks)
    
    # OK手势 → 播放
    if fingers == [1, 0, 1, 1, 1]:
        command = 1
    # 点赞 → 音量+
    elif fingers == [1, 0, 0, 0, 0]:
        command = 2
    # 拳头 → 音量-
    elif fingers == [0, 0, 0, 0, 0]:
        command = 3
    # 单中指 → 暂停
    elif fingers == [0, 0, 1, 0, 0]:
        command = 4
    # 蜘蛛侠手势 → 下一曲
    elif fingers == [1, 1, 0, 0, 1]:
        command = 5
    # 六手势 → 继续播放
    elif fingers == [1, 0, 0, 0, 1]:
        command = 6
    return command

3. 音乐控制与防抖机制

基于 Pygame 实现音频控制，加入 1 秒冷却防抖机制，避免连续帧重复触发同一指令，提升交互稳定性。

import pygame
import os
import time
import re

# 初始化音频与音乐列表
pygame.mixer.init()
music = pygame.mixer.music
music_path = "./music/"
music_list = os.listdir(music_path)
current_idx = 0
volume = 0.5
music.set_volume(volume)

last_cmd_time = 0
COOLDOWN = 1.0  # 1秒冷却时间

def music_control(command):
    global current_idx, volume, last_cmd_time
    
    current_time = time.time()
    # 冷却期内不执行新指令
    if current_time - last_cmd_time < COOLDOWN:
        return re.sub(r'\.mp3$', '', music_list[current_idx], flags=re.IGNORECASE)
    
    last_cmd_time = current_time
    if command == 1 and not music.get_busy():
        music.load(music_path + music_list[current_idx])
        music.play()
    elif command == 2 and volume < 0.9:
        volume += 0.1
        music.set_volume(volume)
    elif command == 3 and volume > 0:
        volume -= 0.1
        music.set_volume(volume)
    elif command == 4:
        music.pause()
    elif command == 5:
        current_idx = (current_idx + 1) % len(music_list)
        music.load(music_path + music_list[current_idx])
        music.play()
    elif command == 6:
        music.unpause()
    
    return re.sub(r'\.mp3$', '', music_list[current_idx])

系统功能界面展示

系统包含登录界面与主功能界面两大交互场景：

1. 登录界面：支持账号密码验证，默认管理员账号 admin，验证通过后进入主界面

2. 主功能界面：左侧实时显示摄像头画面与手部关键点，同步展示当前帧率、手部重心标记；右侧分为上下两区，分别展示手势 - 功能对照表与本地音乐歌单，底部实时显示当前播放的歌曲名称

3. 手势交互效果：用户做出对应手势后，系统在 100ms 内响应执行对应音乐操作，画面同步标记手势识别结果与手掌重心位置

对应的系统全功能操作演示、部署步骤实拍视频，我也同步更新在了 B 站账号兵慌码乱，想看动态运行效果、跟着视频一步步部署的同学，可以自行搜索查看。

本地部署与运行步骤

1. 环境准备：安装 Python 3.9 版本，配置好 pip 环境变量，准备普通 USB 摄像头

2. 依赖安装：在项目根目录执行以下命令安装所有依赖库

pip install mediapipe==0.9.1.0 opencv-python==4.7.0.72 PySide2==5.15.2 pygame==2.1.3

1. 文件配置：在项目根目录创建 music 文件夹，放入需要播放的 MP3 格式音乐文件

2. 启动运行：运行 [Login.py](Login.py) 文件，输入账号密码登录后即可启动摄像头开始使用

项目总结与扩展方向

本项目完整实现了基于计算机视觉的手势音乐控制功能，核心优势在于轻量化、易部署、无需深度学习训练，CPU 端即可稳定达到 30FPS 以上帧率，手势识别平均准确率达 96%，完全满足毕设与课程设计的工作量与展示效果要求。

可扩展的优化方向包括：增加动态手势识别实现挥手切歌；支持双手检测扩展更多控制指令；接入在线音乐 API 替代本地文件；增加手势自定义配置功能；引入图像预处理提升复杂光照下的识别鲁棒性。

资料获取

• 视频讲解：https://space.bilibili.com/1565906988
• 项目资料：https://shop309466137.m.taobao.com