英伟达重磅开源Kaolin:基于PyTorch的3D深度进修减

来源:原创作者:编辑:admin2020-03-23 09:48

  起源:雪球App,作者: AI前线,(https://xueqiu.com/9217191040/136260278)

  编译整顿 | Maglish

  筹划 | 蔡芳芳

  AI 前线导读: 英伟达最新开源了一个用于三维深度进修研究的 PyTorch 库——Kaolin。Kaolin 供给了可用于三维深度进修系统的可微三维模块。具有加载和预处理罕见的三维数据集的功用,同时完成了处理网格、点云、符号距离函数和体素网格的函数,从而增加了编写样板代码的担当。Kaolin 封装了经常使用的可微图形模块,包罗衬着、照明、阴影和视图曲解。Kaolin 还支撑一系列损掉函数和评价目标,以完成对模型的无缝评价,并供给可视化功用以出现三维结果。主要的是,Kaolin 供给了一个单方面的 Model zoo,收纳了很多最早辈的三维深度进修架构,可以作为未来研究任务的终点。本文是 AI 前线第 101 篇论文导读,我们将对英伟达的最新论文 《Kaolin: A PyTorch Library for Accelerating 3D Deep Learning Research》 停止具体解读。更多优良内容请存眷微信大众号“AI 前线”(ID:ai-front)

  Kaolin 开源地址:

  网页链接

  1 引见

  三维深度进修 与某些复杂义务高度相干,如机械人、主动驾驶、增强和虚拟抱负,因此遭到了遍及的存眷和承认。深度进修和不时开展的基础计算装备使得人们可以剖析高度复杂的三维数据。固然人们对这一范围的研究兴味不时增强,但因为缺少规范化的对象,在这一范围展开研究面对着陡峭的进修曲线。今朝还没有一个可以完成复杂加载 3D 数据集、将 3D 数据转换成分歧数据表现、与现代机械进修框架融合,并练习和评价深度进修结构的系统。这关于新接触 3D 深度进修范围的研究人员很不友好,他们必须从各类代码库中编译互不婚配的代码片段才华完成一些基础义务。这也招致 state-of-the-art 的方法之间缺少有效的对比。

  为了助力 3D 深度进修 的入门和深化研究,英伟达的研究人员宣布了 Kaolin,一个基于 PyTorch 的三维深度进修库。Kaolin 供给了快速构建 3D 深度进修应用依次所需的一切中间模块,从加载和预处理数据、将其转换为经常使用的三维表现(网格、体素、符号距离函数、点云等),到基于这些表现完成深度进修义务,和计算评价规范和三维数据可视化,Kaolin 使 3D 深度进修的全部开辟周期变得直不美观且复杂。另外,Kaolin 的 Model zoo 中完成了一系列经常使用的 3D 义务方法和预练习的模型。基于 Model zoo 可以轻松完成新方法,因此它可以作为未来 3D 深度进修研究的大年夜本营。最后,随着三维深度进修应用中几何结构显式建模和其他物理过程(照明、阴影、投影等)的可微衬着的出现,Kaolin 具有一个通用的、模块化的可微衬着器,便利扩大到其他罕见的可微衬着方法,便于未来的研究和开辟。