标题：Meta最新触觉机械手登Science子刊封面，操作未知物体精度最高提升94%

正文：

Meta FAIR团队最新研发的NeuralFeels技术，通过融合触觉和视觉，使机械手能更精确地操作未知物体，精度最高提升了94%。这项研究已登上《Science Robotics》封面，并公开了包含70个实验的新测试基准FeelSight。

如何让机械手精确操作未知物体？

传统机械手在操作常见物体时已游刃有余，但在处理未知物体时仍面临挑战。当前机械手训练依赖视觉，且通常只针对已知物体，导致在视觉遮挡情况下难以进步。NeuralFeels技术通过结合触觉和视觉，克服了这一难题。

融合了触觉的多模态感知

NeuralFeels技术通过多模态融合，让机械手能够对未知物体进行3D建模，更精确地估计物体姿态和形状。在遮挡视角下，触觉和视觉融合提高了跟踪性能，尤其在视觉严重遮挡时，触觉的作用更大。

前端深度学习策略

NeuralFeels技术的前端采用基于深度学习的分割策略和触觉Transformer，精确提取目标对象深度。前端还包括动力学感知分割策略，以应对遮挡问题。触觉Transformer则用于预测接触深度，通过监督学习获得。

后端姿势优化

NeuralFeels的后端使用自定义测量因子将前端输出转化为非线性最小二乘问题进行优化。后端模块在线构建对象模型，整合视觉和触觉信息，实现更准确的姿态跟踪。对于已知物体，NeuralFeels还能冻结神经场权重，仅使用前端估计进行跟踪。

NeuralFeels提升了机械手性能

研究团队在模拟和真实世界环境中进行了多次实验，涉及14种不同物体。结果显示，NeuralFeels技术在物体重建精度、姿态跟踪和应对复杂场景方面均有显著提升。尤其在严重遮挡和视觉深度噪声条件下，其表现尤为突出。

研究意义

NeuralFeels技术融合多模态数据和在线神经场，使机器人能在操作未知物体时实现更准确的姿态跟踪和形状重建。与复杂的传感器相比，所需硬件更少，也更易解释。未来，研究人员将进一步优化技术，提升长期跟踪精度。