发布日期：2025-03-20 20:40    点击次数：85

对面有个东说念主向你迟缓抬起手厕所 偷拍，你会怎么报恩呢？合手手，如故挥手请安？

在生存中，咱们每天皆在和别东说念主互动，但这些互动好多工夫皆不太细目，很难径直猜到对方动作意图，以及应该作何响应。

为此，来自东说念主大高瓴的征询团队提议了一种新的框架 ——Think-Then-React (TTR)，禁受预考试大谈话模子（LLM）+ 畅通编码器的战略，使模子大概先「想考」输入动作的道理，再推理出妥当的响应，终末生成连贯的响应动作。该论文已被 ICLR 2025 吸收。

论文标题：Think-Then-React: Towards Unconstrained Human Action-to-Reaction Generation

论文趋承：https://openreview.net/pdf?id=UxzKcIZedp

神志趋承：Think-Then-React.github.io

图1 ：Think-Then-React (TTR) 模子总览图。TTR 通过动作编码器将东说念主类动作编码为大谈话模子可读的标识，进而在掂量东说念主类响应过程中使用大谈话模子识别动作，推理出合适的响应动作。推理过程中，模子不阻隔地进行再行想考，以幸免动作的诞妄识别以及累计差错。

重要

颐养畅通编码器

TTR 重要的第一步是通过颐养畅通编码器处罚输入的动作数据。曩昔的责任经常将东说念主类动作肇始姿态在空间上表率化至坐标轴原点，以保证编码器的高效诓骗。但是这种时势忽略了东说念主类交互场景中的相对位置关系。

为此，作家团队提议解耦空间 - 位姿编码，将东说念主类动作的全局信息（空间中的位置与形体朝向）与局部信息（畅通位姿）折柳编码并组合使用，同期保证了编码系统的高效诓骗与交互过程中两东说念主相对位置信息保留。

图2 ：空间 - 位姿解耦编码器与传统编码器架构对比。

畅通 - 文本聚会预考试

为了造就模子对畅通数据停战话的交融才智，作家计算了一系列畅通与文本商量的预考试任务。这些任务的方向是让大谈话模子大概同期处罚文本和畅通数据，从而在多模态的环境中进行学问迁徙和任求实行。

在这个阶段，模子通过将畅通数据与文本数据结合，学习到两者之间的对应关系，以便在后续的响应生成过程中大概更好地交融和生成与动作商量的响应。

图3 ：TTR 预考试与微调阶段任务暗示图。

想考 - 响应生成（Thinking-Reacting）

TTR 重要的中枢是分阶段生成响应动作。具体来说，模子率先干涉「想考」阶段（Think），在此阶段中，模子交融输入动作的含义，并判断出什么样的响应是合适的。

接下来，干涉「响应」阶段（React），模子左证想考效果生成与输入动作商量的响应动作。这一过程肖似于东说念主类的方案和行为经过，在某种进程上模拟了东说念主类对外界刺激的响应机制。

履行

响应动作生成质地测评

TTR 在不同的任务上，包括 R-Precision、分类准确率（Acc.）、Frechet Inception Distance (FID)、多模态距离（MMDist.）等方面，均得到了优异的性能。

TTR 的 FID 仅为 1.942，相较于次优重要 ReGenNet (3.988) 显耀裁减。此外，在 R-Precision 和分类准确率方面，TTR 也得到了更高的分数，标明其生成的响应动作愈加合适输入动作的语义。

相同，在对比 TTR 与 ReGenNet 的用户征询中，受试者更偏好 TTR 生成的动作，卓绝是在较万古辰序列的场景中，TTR 以 76.2% 的胜率胜出。

图4 ：TTR 想考与掂量响应（绿色）可视化样例。在样例 (a) 至 (c) 中，TTR 想考过程正确识别并推理出了相应动作，进而掂量了正确的响应。在样例 (d) 中，TTR 诞妄地将对方动作（蓝色）识别为「摔跤」（正确动手脚「拥抱」），掂量了诞妄的响应。

消融履行

为了更进一步考据文中所提重要的灵验性，作家团队进行了多项消融履行：

去除想考（w/o Think）：FID 从 1.942 高潮到 3.828，诠释了想考阶段对响应生成的首要性。

去除预考试（w/o All PT.）：模子性能大幅下落，标明预考试关于适合畅通 - 谈话模态至关首要。

去除不同预考试任务：三种预考试任务（动作 - 动作、空间 - 位姿、动作 - 文本）均有正向孝敬，互为补充。

去除单东说念主数据（w/o SP Data）：仅依赖多东说念主的数据仍可得到较好效果，单东说念主数据的补充对模子推崇造就不显耀。

图五：多东说念主交互数据集 Inter-X Action/Reaction 以及单东说念主动作数据集 HumanML3D 动作特征暗示图。

系统分析

单东说念主动作数据灵验性

为了进一步分析单东说念主数据孝敬较小的原因，作家在兼并空间中可视化了单东说念主畅通（HumanML3D）、交互动作（Inter-X Action）和交互响应（Inter-X Reaction）的畅通序列，如上图所示。

具体而言，该团队使用 t-SNE 用具将畅通分词序列的特征投影到二维空间。从上图不错看出，单东说念主畅通与两东说念主畅通序列险些莫得相通。

在案例分析中，作家发现大多数交互畅通是独到的，举例推拿、被拉拽等，而这些动作不会出当今单东说念主畅通数据中。相同，大多数单东说念主畅通亦然独到的，举例 T 字姿势，很少出当今多东说念主交互中。两者只消小数相通的畅通，如静止耸峙。

再行想考时辰间隔

TTR 的再行想考（re-thinking）机制不错动态疗养生成的响应描写，从而减少积聚差错，同期在计较本钱上保持高效。

履行标明，过高与过低的再行想考频率均会导致性能下落。在保证高性能的情况下，TTR 的平均推理时辰不错在单张 Tesla V100 上已毕及时推理（蔓延低于 50 毫秒）。

动作描写质地

作家还在畅通描写任务上对 TTR 模子进行了评估，效果下表所示。基线重要的效果起头于 Inter-X 论文的附录 A.1。由于基线重要均使用动作和响应手脚输入，而 TTR 的想考过程仅能走访实在的动作，因此作家率先疗养 TTR 的成立，使其与基线重要一致，记作 TTR∗。

从效果不错看出，收货于作家的细粒度考试和高效的畅通线路，TTR∗ 在通盘看法上皆得到了最好的畅通描写性能。

随后在实在场景下评估 TTR，即仅能看到部分输入动作。作家折柳使用 25%、50% 和齐备的输入动作，让 TTR 进行为作到文本的生成。

效果标明，即使仅提供四分之一的输入动作，TTR 仍然大概准确掂量对应的动作和响应描写，展现出较强的泛化才智。

想考 / 动作描写

为了探究想考过程的必要性，作家比较了不同的领导对响应生成的影响。

率先，将实在领导 (w/ GT Prompt) 输入到想考过程中，效果标明，掂量的响应质地显耀造就。

然后，作家禁受了一个增强版的想考模子 (w/ Thinking*)，效果 FID 从 1.94 降至 1.88，这诠释了更好的想考过程大概灵验造就后续的响应生成才智。

此外，当十足去除想考过程时，模子的响应生成质地大幅下落，这标明想考与再行想考（re-thinking）过程在相通响应生成和减少积聚差错方面至关首要。

归来

说七说八，该团队借用大谈话模子的推理才智，计算了「先想考，后响应」的东说念主类响应动作掂量框架 Think-Then-React (TTR)，而且通过解耦空间 - 位姿编码系统已毕了东说念主类动作高效编码，造就了掂量响应动作质地。

与过往责任比拟，TTR 模子在 Inter-X 数据集多个看法上均有显着造就，同期作家通过广泛消融履行与分析履行考据了重要的灵验性。

在改日，作家团队运筹帷幄探索更高效的跨类别数据集诓骗，包括单东说念主与多东说念主动作数据，以已毕更高的泛化性能。

© THE END厕所 偷拍

上一篇：夜夜撸最新版 两会会客厅 | 济南市东谈主大代表，山东黄金集团有限公司党委文书、董事长李航：靠拢上风力量，助推济南市打造黄金产业新高地    下一篇：刘亦菲 ai换脸 民国铁血少帅冯庸，誓为中华崛起而战，再现民族英杰外传