机器人能否像人类一样感知时间?新研究使用强化学习赋予时间感知

 

首先,他们提出了一个称之为KnowIT(knowledge informated temporal)VQA的视频数据集。该数据集源自电视剧生活大爆炸(The Big Bang Theory),其中包含了众多知识问答。KnowIT拥有24000多个人工生成的问答对,并将视觉、文本和时间与基于知识的问题相结合。其次,他们提出了一个视频理解模型,将视频的视觉和文本内容与特定的节目知识结合起来。

他们发现:

知识的结合为视频中的VQA带来了显著改进;KnowIT VQA的性能仍然落后于人类的准确性,这表明它对于研究当前视频建模的局限性是有所帮助的。

 

他们的工作表明了基于知识的模型在视频理解问题中的巨大潜力,这些模型将会为将自然语言处理(NLP)和图像理解的进步结合发挥重大作用。

该框架证明,视频理解和基于知识的推理都是回答问题所必需的。它能够检索并融合语言和视频的时空域,以便对问题进行推理,从而来预测正确答案。

但相比于人类的表现,(该框架)仍存在着很大差距。研究人员希望该数据集将有助于在该领域开发更鲁棒的模型。

原文:

https://arxiv.org/abs/1910.10706v3

用强化学习教机器人感知时间

众所周知,人类和动物的大脑具有负责时间认知的不同区域,而机器人则根据将时间视为外部实体(例如时钟)的算法来执行任务。是否有可能从生物学上激发时间感知机制,并在机器人中重现它们呢?

在这项工作中,研究人员观察了大脑用来负责时间感知的计时机制。他们利用贝叶斯推断得出的结果来预估数据的时间流逝,并利用TD学习特征表示来训练代理成功完成与时间相关的任务。由于选择了代表时间的特征,他们表明,在这种情况下,他们能够为代理提供一种类似人类和动物所经历的时间流失的感知。

本文的主要贡献:

提出了一种从机器人传感器收集环境数据的建模方法;在特定假设下,可以从数据中获得正确的时间估算;成功将时间认知机制应用于强化学习问题当中;赋予机器人在与时间有关的任务中复制动物行为的能力。

这项工作提出了一种为代理提供时间认知的过程。对机器人来说,对于时间的感知能够让它们像人类一样,在不同的环境和人物中学习适应对话。该框架已被提议在未来在真正的机器人中实现。

原文:

https://arxiv.org/abs/1912.10113

Lite BERT:自监督学习语言表示

在本文中,Google AI的研究人员设计了一种Lite BERT(ALBERT)架构,该架构具有比传统BERT少得多的参数。一个类似于BERT-large的ALBERT配置与前者相比,参数减少了18倍,并且训练速度提高了约1.7倍。

ALBERT集成了两种参数归约技术:第一种技术是分解式嵌入参数化;第二种技术是跨层参数共享,它可以防止参数随着网络深度的增加而增长。这两种技术在不严重影响性能的前提下大大减少了BERT的参数数量,从而提高了参数效率。

 

参数归约技术也可以作为正则化的一种形式,从而稳定训练并有助于泛化。

为了进一步提高ALBERT的性能,研究人员还引入了一种自监督的损失来进行句子顺序预测。结果,他们能够扩展到更大的ALBERT配置,同时这些配置的参数仍然比BERT-large少,但性能却明显提高,从而在GLUE、SQuAD和RACE基准上为自然语言理解建立了全新的结果。

ALBERT的成功证明了它在识别模型方面的重要性,因为它在这些方面产生了强大且适当的表示。

通过集中精力改进模型体系结构的这些方面,这项研究表明了可以在广泛的NLP任务上极大提高模型的效率与性能。为了促进NLP领域的进一步发展,研究人员已将ALBERT开源给研究界。

代码与预训练模型:

https://github.com/google-research/google-research/tree/master/albert

原文:

https://ai.googleblog.com/2019/12/albert-lite-bert-for-self-supervised.html

有序还是无序?让我们重新审视用于视频的人物身份识别

基于视频的人员身份“再识别”方法是近些年来计算机视觉领域中一个热门研究方向,因为它可以通过充分利用时空信息来达到更好的识别结果。

在本文中,研究人员提出了一种简单但十分惊艳的VPRe-id方法,他们将VPRe-id视为基于图像的人员重新识别问题的有效无序集合。

 

具体来说,研究人员们将一段视频划分为许多个单独的图像,然后对这些图像中出现的人进行识别和排序、并重新组合出最终结果。他们以i.i.d.假设为前提,提供了一个错误边界用于阐明改进VPRe-id的方式。

这项工作还提出了一种很有前景的方,可以弥合视频和人物信息重新识别结果之间的差距。研究人员们对这个差距进行评估,证明了他们所提出的这一方案在多个数据集(包括iLIDS-VID、PRID 2011、和MARS)中都达到了业界领先的水平。

基于视频的人物重新识别非常重要,因为它在视觉监视和取证等领域有着广泛应用。这项工作通过将VPReid视为一个进行无序整体排名的任务,提出了一种简单而强大的人物重新识别的解决方案。其中,每个基本排名都由一个具有单个人员身份的标识符来体现。

该解决方案通过使用RNN输出在不同时间步长上的时间池中的多个特征表示,学习了无序表示,研究人员认为这对于VPRe-id更为重要。结果也证明了我们可以从不同角度解决VPRe-id这一事实。

创建时间:2022-12-21 09:44
首页    通用    机器人能否像人类一样感知时间?新研究使用强化学习赋予时间感知