开物实验室
围绕无人系统类生命智能发育科学问题，针对当前研究缺乏行为学习数据以及算法依赖于被动数据的局限，以机器人仿人技能学习大数据库及具身交互两个方向为重要抓手，构建人-机-物三元空间高维交互感知大数据表征体系，通过与环境的交互实现智能持续增长，形成机器人发育从“形似”（运动学）到“神似”（动力学），再到“灵似”（智能自涌现）的知识增长新范式。 创新设计了数物融合的无人系统高效学习实验平台，主要硬件包括动多模态运动高精度感知设备、灵巧操作技能精细交互力感知设备、人类意图推理与人机共融互信平台，人-机交互视-触融合平台等。
开物数据集
"开物"多模态数据集，旨在解决复杂装配场景中缺失的真实世界同步多模态数据问题，尤其是动态信息及其细粒度标签。该数据集提供了一个整合人类、环境和机器人数据的收集框架，包含20个主体和30个交互对象，共产生11,664个综合动作实例。每个示范动作都记录了手部动作、操作压力、装配过程的声音、多视角视频、高精度动作捕捉信息、眼球注视与第一人称视频、肌电信号。基于绝对时间戳的细粒度多级标注和语义分割标注均已完成。开物数据集旨在促进机器人学习、灵巧操作、人类意图调查和人机协作研究。
请在使用 KAIWU 数据集时引用以下论文:
S. Jiang, H. Li, R. Ren, Y. Zhou, Z. Wang and B. He, "Kaiwu: A Multimodal Manipulation Dataset and Framework for Robot Learning and Human-Robot Interaction," in IEEE Robotics and Automation Letters, doi: 10.1109/LRA.2025.3609615.
