您现在的位置:新闻首页>人工智能

搜索速度快9倍!Uber创建新的GAN网络,可媲美当前最好架构

2020-02-24 15:06科技新闻网编辑:admin人气:


大数据文摘出品

来源:venturebeat

编译:奥vi丫、武帅

生成对抗网络(GAN)可以分为两部分,创建样本的生成器和区分生成样本和真实样本的判别器。它的用途很多,其中之一就是生成合成数据。

Uber的研究人员最近在题为“通过学习加快神经结构的搜索速度”的论文中利用这一点提出了一种特殊的GAN——生成式教学网络(GTN)。该网络可以先从生成的数据或训练环境中学习,再在目标任务上进行测试。

论文指出,与仅使用真实数据的方法相比,GTN最多可将搜索速度提高9倍;并且在使用低“数量级”数据计算的情况下,GTN可媲美目前性能最高的架构。

论文链接:

https://arxiv.org/abs/1912.07768

利用机器学习创建训练数据

特约作者在博客文章中解释道,大多数模型搜索都需要“大量”资源,因为它们依靠在数据集上训练模型来评估模型,直到模型性能不再提高为止。单个周期内可能会训练数千个或更多模型架构,这在计算上很昂贵又特别耗时。

因此,某些算法只是减少模型训练的时间并将训练结果作为真实情况的估计值,从而降低训练成本,但是也可以利用机器学习(即GTN)来创建训练数据,从而达到加速训练的目的。

GTN通过在学习过程中创建有用的非真实数据来取得成功。它们能够将不同类型对象的信息组合在一起,或者专注于最难训练的示例,并根据在真实数据上的训练结果来评估模型表现。此外,GTN通过使用一组特定顺序的训练样本来提高生成器的性能,从而生成样本的无序随机分布序列。

GTN训练的数据集准确度高,学习速度更快

研究小组表示,实验表明GTN训练流行的开源MNIST数据集时,在32步(约0.5秒)内达到了98.9%的准确度。在此过程中,模型一次摄取了4096张合成图像,是MNIST训练集中图像数的不到10%。在用于衡量模型搜索性能的数据集CIFAR-10上进行评估,即使与同表现水平的优化的真实数据学习算法相比,GTN的学习速度也要快四倍。

此外,事实证明,GTN生成的数据通常可以用于预测模型的真实性能,也就是说,模型在GTN生成的数据上执行仅128步即可获得在真实数据上执行至少1200步才能获得的效果。

论文合著者说:“由于GTN可以更快地评估每种架构,因此在固定的计算预算内它们可以评估更多的总体架构。在我们尝试过的每种情况下,使用GTN生成的数据都比使用真实数据要更快地得到结果,并且伴随着更高的性能。即使模型在真实数据上训练十天,与在GTN生成的数据上训练三分之二天相比,后者仍然更快且效果更好。通过研究,我们证明了GTN生成的训练数据创建了一种可与最优算法媲美的方法,这个方法速度更快且采用的是完全不同于最优算法的方法。Uber甚至全球所有公司和科学家都可以借助GTN这种额外的工具提高深度学习的性能。”

相关报道:

https://venturebeat.com/2019/12/18/uber-creates-ai-to-generate-data-for-training-other-ai-models/

(来源:未知)

  • 凡本网注明"来源:科技新闻网的所有作品,版权均属于中科技新闻网,转载请必须注明中科技新闻网,/。违反者本网将追究相关法律责任。
  • 本网转载并注明自其它来源的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品来源,并自负版权等法律责任。
  • 如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。





图说新闻

更多>>
阿尔维斯:感谢巴黎这个大家庭 这段旅程结束了

阿尔维斯:感谢巴黎这个大家庭 这段旅程结束了