神经科学家将建立视频数据集，捕捉人们在看(任何东西)

为了更好地了解人类的大脑组织和感知倾向，一个由四名科学家组成的团队正在用四个头戴式摄像头录制视频——带有眼球追踪和头部运动功能——并将超过240小时的第一人称视频组装成一个庞大的视频数据库，供世界各地的研究人员使用。

里诺内华达大学心理学系助理教授和神经科学家马克·莱斯克罗特(Mark Lescroart)说:“大脑已经适应了我们周围的世界，但对于人类观察者眼中的世界到底是什么样子，我们还没有很好的数据。”“没有像人类那样的视频集合来展示这个世界，好莱坞电影摄影师不能像人类眼睛移动那样快速地转动摄像机，所以电影不能真正反映我们在这个世界上所采取的方式。”

由神经科学家和社会科学家旨在构建可用于更准确反映人类活动的可视数据库。他们将创建广大视频画廊，显示人们在日常活动中看到的。他们的视觉体验数据库可用于支持研究和影响依赖于分析和识别图像的领域的未来研究，包括神经科学，视觉科学，认知科学，人工智能可能是数字人文和艺术。

为了收集这些视频，科学家们设计了一种耳机/眼镜设备来收集数据。虽然早期的版本看起来像博格设备的原型，但该团队正在简化系统，以降低重量并提高可穿戴性。它有两个面向前方的摄像头可以看到世界，两个面向眼睛的摄像头可以跟踪眼球运动。参与研究的4个实验室每个都将配备5个耳机。

佩戴头戴式视觉数据采集装置的受试者年龄从5岁到70岁不等。他们会去各种各样的空间，参与许多活动:博物馆、图书馆、购物、通勤、骑自行车、步行。该研究团队将分析三维空间感知的线索，以及人们通常如何体验墙壁、角落、地标和世界上其他建筑结构。摄像机所看到的一个样本显示了眼睛移动和头部转向看人和物体。

“我们想用微型电脑,但他们不够强大来处理我们的需求,所以我们最终与笔记本电脑背包,它使得耳机更用户友好的所以我们的技术科目不会分心,”保罗•MacNeilage和大学的神经科学副教授内华达大学里诺,说。“我们决定使用小学生实验室的产品作为基础，并为其添加设备。我们也不想让别人太分心。”

该系统必须能够收集GPS数据，运行四个摄像头，访问软件，有一个像样的电源，同时记录三个视讯流，利用内部运动传感器和加速计。这种技术比实验室里通常用于带下巴托和显示器的眼球追踪研究的固定设备要复杂得多。

MacNeilage说:“这与实验室里用下巴托和展示环境图片的方式做的眼动研究完全不同。”“这是在现实世界中，人们与他们的环境互动。”

这对MacIilage尤为重要，他们在里诺内华达大学运营的自动运动实验室，研究生参与了突破性的研究。

“系统通过空间测量头部和身体运动，”他说。“这允许我们重建视觉输入时刻，并在感觉电机控制上获得见解。没有现有数据库包括头部运动。”

麦克尼拉奇、莱斯克罗特和研究生克里斯蒂安·辛诺特试用了这款耳机，并将其带到了户外。他们在街上遇到的人向他们投来奇怪的目光。

“这就像野外的研究一样，”Lescroart说。“横跨校园和寻找对象会让我们看看在尝试导航环境时如何发生变化。我们能够询问”我们如何根据任务选择更改？“当人们搬家和走路时，我们会看到它看起来像什么。“

“我们正在构建一个第一人称观点视频数据库提供的视觉数据,更符合人类的经验,这应该有助于人工智能类人做决定,“MacNeilage,团队成员之一,和大学的神经科学助理教授内华达大学里诺,说。“我们的目标是找出人们走路和移动头部在世界中导航时是什么样子。”我们使用一个简单的范例，找出人们如何用他们的眼睛对视觉环境进行采样。”

视觉数据库的另一个用途是为人工智能提供信息。虽然人工智能正在成为技术的前沿，但它的工作质量与它接受训练的数据质量一样好。这组科学家将数据库视为一个新的更精确的数据来源，而不是仅仅基于互联网上的照片和视频。

“我们的目标是基于人类感知的基于人类的偏见建立我们的数据库，”MacIilage表示。用于AI的其他Visual数据库具有内置偏置。例如，摄影师针对特定目的专注于特定对象，无论是商业或纪录片视频;或带固定位置的安全摄像头。“所以科学家需要更多更好的数据库。我们的数据库将与人类行为一致的偏见，这可能是AI的优势。”

识别视觉内容的当前人工智能系统需要数百万次培训的例子来实现良好的性能。用于培训此类系统的数据库通常从互联网上拍摄照片和视频，因此不代表人类每天看到的内容。这个新数据库将以人以人为本的偏见引入AI系统，这对于自动驾驶汽车等基于AI的应用具有严重，积极影响。

在所有数据源之间，该团队预计每记录小时将产生大约80gb的数据，总共大约20tb的原始数据。

所有数据将被上传并存储在一个中央位置的内华达大学里诺高性能集群的计算机服务器安置在“叉角羚”太浩雷诺数据中心,先进的设施由开关,总部位于拉斯维加斯,内华达州,数据中心在雷诺。

从20岁的原始数据中，该团队将向HighCentered视频的至少240小时编制，包括头部和眼睛运动。他们将自由地向公众提供这些数据，这将使科学家，历史学家甚至艺术家们能够受益于丰富的资源。

该团队包括来自缅因州贝茨学院的神经科学和计算视觉科学家助理教授Michelle Greene;Lescroart;MacIilage;本杰明巴拉斯，北达科他州立大学的视觉和认知神经科学家和心理学副教授。

该项目的各种目标将继续MacIilage对自然环境中的头部运动的调查，并将继续进行Lescroart对结构场景表现的调查。这数据库作为一个整体，将为正在进行的功能磁共振成像实验提供一个极有价值的刺激源。它将继续格林的研究统计对象位置和共现和视觉搜索;并将继续Balas关于环境对感知发展的影响的研究。

---

---