Hooop鸿蒙客户端正式上架鸿蒙应用市场
作者: Mike98
责任编辑: 耿立影
来源: 专栏
时间: 2025-11-21 14:56
关键字: Hooop AI 大模型
浏览: 2274
点赞: 124
收藏: 20
Hooop 是一款鸿蒙单框架版App,深度融合AI与鸿蒙端侧能力,针对篮球训练全流程进行智能化升级:
1. 端侧大模型实时分析:通过加载端侧大模型与视频编解码能力,实时识别投篮动作、轨迹与落点,无需网络即可在设备本地完成推理,保障低延迟与数据安全。
2. 实时进球判定与统计:自动识别命中/未中,统计出手次数、命中次数、命中率等关键指标,生成训练数据看板,助力科学训练与复盘。
3. 离线视频分析:支持将历史训练视频导入本地离线分析,自动抽取关键帧与高光片段,适配不同分辨率与帧率的视频素材。
4. 高光集锦一键生成:基于识别结果与评分模型,自动挑选精彩片段生成高光集锦,支持手动微调与导出分享,让每一次训练都能成为高光时刻。
5. 隐私优先与低功耗:核心识别在本地完成,尽量减少数据上行;结合端侧NPU/GPU算力做能耗优化,长时训练更稳定。
项目亮点:
1. 鸿蒙底层模型推理能力
熟练运用鸿蒙CANN Kit实现模型的高效推理加速,解决移动端算力有限的问题。通过鸿蒙提供的omg模型转换工具,构建了“PyTorch(PT)→ONNX→OM”的完整模型适配流程,攻克鸿蒙系统暂不支持PT/ONNX 模型的兼容性难题,形成了一套可复用的鸿蒙离线模型集成标准。
2. 视频处理技术沉淀
● 视频采集与编解码:基于FFmpeg实现视频抽帧(支持指定时间点启动抽帧)、进球片段自动剪辑,解决了“实时录制帧提取”与“本地视频离线分析 的共性需求,沉淀了移动端轻量化视频处理的优化方案(如仅采集篮筐中心局部帧)。
● 图像预处理标准化:通过OpenCV完成视频帧的“缩放- 转置- 数据入队”全流程,形成了“预处理 - 推理”的数据衔接标准,确保输入模型的帧数据一致性与有效性。
3. 高性能并发架构设计
● 生产者 - 消费者模式落地:针对“预处理(15ms /帧)+ 推理(40ms/帧)总耗时超帧率要求”的问题,设计双线程分离架构 —— 线程 A 负责预处理并将数据存入无锁队列,线程B从队列取数执行推理,将单帧总处理时间从55ms降至40ms,满足20fps帧率需求;同时规避了主线程卡顿问题,形成了移动端“多任务并行 - 数据安全流转”的优化范式。
● 无锁队列与状态同步:采用无锁数据结构减少线程间竞争,结合鸿蒙系统的状态管理,确保帧数据在多线程间的实时性与一致性,避免数据丢失或重复处理。
关键技术
本项目目前为鸿蒙单框架平台首发
单独编译OpenCV为HarmonyOS版本
单独编译FFmpeg为HarmonyOS版本
CANN Kit:视频帧推理,深度使用端侧能力
Model Zoo,目标检测离线模型
pytorch模型转化为onnx模型
onnx模型转化为om模型
Camera Kit:视频采集与编解码
Media Kit: 融合OpenCV对媒体文件抽帧并压缩处理投喂大模型
NDK开发:模型调用,数据交互核心逻辑通过NDK实现
Mike98
十年以上软件开发经验,近两年积极拥抱鸿蒙生态,主导多款鸿蒙app的研发工作,欢迎一起交流
帖子
鸿蒙如何在Native调用ArkTS方法
2025-11-21 15:03:31 发布