全球最权威人脸识别测试:刚被中国团队夺了第一

2017-07-19 19:59:37来源: 雷锋网 关键字:人脸识别  测试

在最近公布的国际权威人脸识别供应商测试 FRVT(Face Recognition Vendor Test)结果中,中国公司依图科技获得了四项测试的第一名,超过了俄罗斯公司 Vocord (Vocord是国际老牌安防厂商,长久以来超越Google等公司盘踞人脸识别算法第一名。

FRVT是由美国国家标准技术局NIST(National Institute of Standards and Technology)组织的人脸识别供应商测试,作为美国国家采购的官方指导,其测试的权威性是全球工业界实际应用的黄金标准。

FRVT的人脸识别测试集合来自美国国土安全局的真实业务场景,例如出入境、刑侦过程中收集的大量照片。与时下热门的由学术机构举办的LFW、MegaFace测试相比, FRVT更贴近实战,测试规模更大,不仅拥有百万量级测试数据,同时这些测试数据均不公开,有效避免算法过拟合甚至是作弊手段。

LFW是由美国马萨诸塞大学发布并维护的公开人脸数据集,测试数据规模为万,国内多个团队例如百度、腾讯、大华、旷视、商汤都曾获得了99.5%以上的成绩。

MegaFace是由美国华盛顿大学发布并维护的公开人脸数据集,测试规模比LFW大100倍,更能区分各个算法的性能差异。第一名是创立于1999年的老牌俄罗斯公司Vocord,获得91.7%的成绩,比第二名腾讯优图高出8%,优势明显。由此可见,虽然国内大互联网公司拥有超大规模计算算法训练平台、互联网级的数据优势,但离全球顶级的测试结果还有差距。

在顶级的竞争中,数据和计算的优势并不能保证输出最优秀的算法性能。

由美国国家标准技术局(NIST)主持的FRVT,除了主持机构的权威性外,测试结果的权威性还来自其评测的严谨和全面性:

1、数据均来自真实业务场景,测试结果好则代表该技术可以在实战场景中直接应用。

2、数据规模是通过对百亿对样本采样,达到百万量级。如此大规模的测试集可以稳定评估算法性能,详细区分不同算法的优劣。

3、测试数据不公开(盲测),这保证了测试的公正性。因为参赛的算法团队无法利用测试数据做模型训练,可以有效避免过拟合或直接作弊等手段,因此相对于LFW、MegaFace而言,FRVT则更能体现测试的公正性。

4、科学专业性,FRVT对不同实战场景、人种、年龄、性别,做了详细分解下的识别性能比较,并在模型速度、特征库大小、比对阈值等做了详细评估。

据官方最新发布的报告,FRVT 的第一名是中国公司依图科技,在千万分之一误报下(采样百亿对样本)的准确率为 95.5%,比第二名俄罗斯公司Vocord 93.5%的准确率高出 2%。这是目前为止全球公开的、最大规模测试集、最权威测试指标下的最好成绩,比2014年参与同样测试的第一名日本公司NEC在准确率上有大幅提高。

NIST针对测试作了不同场景、不同人种、不同性别、不同年龄的识别性能比较。从 FRVT 的官方描述来看,其提供的测试数据对应了出入境管理、身份门禁认证、平安城市监控等实战应用场景,依图在四项主要的测试场景中均获得第一名。

在更详细的人种(黑人、白人、亚洲人等)、性别比较中,依图的算法表现几乎没有差异;而其他算法随着识别难度增加,识别率出现了不同程度的较大降低。对比结果说明依图的算法可以在不同类型数据分布的实用场景中,例如黑人较多的场景下,算法也可有稳定表现。

过去四年,从LFW到FRVT,测试指标已经从千分之一误报到千万分之一误报,识别性能已经提高一万倍,意味着误报降低万倍。可以预见,很快就会出现测试指标在亿分之一、十亿分之一、百亿分之一误报下的识别性能比较,这将是另一个千倍的智能识别能力的增长。

可以想象,在十亿级超大规模比对、十亿分之一超低误报下的高识别性能,意味着智能技术将解锁更多的应用场景,从楼宇建筑到城市量级,甚至多城联动,再到全国范围内的人脸比对、安防布控都将成为可能。

依图科技CEO朱珑说到:“NIST是工业界最权威的测试,有最直接的应用指导价值。从测试的结果来说,有两个意义: 我们可以平静的接受,来自中国的算法技术超过全球的竞争对手;更大的意义在于,掌握标准制定话语权和实际全球影响力的美国国家标准技术局,已经显得'没见过世面',千万分之一的误报下的识别率并不能拉开我们和第二名的差距,我们的算法已经在 10 亿分之一的误报下达到超过90%的识别率。希望将来,国际主流学术机构能接受,只有中国参与的标准测试,才反映全球最前沿的技术理解。”


关键字:人脸识别  测试

编辑:鲁迪 引用地址:http://www.eeworld.com.cn/afdz/article_2017071910910.html
本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:三种方式保护云端数据安全
下一篇:2017年二季度安防行业景气指数报告发布

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利
推荐阅读
全部
人脸识别
测试

小广播

独家专题更多

东芝在线展会——芯科技智社会创未来
东芝在线展会——芯科技智社会创未来
2017东芝PCIM在线展会
2017东芝PCIM在线展会
TI车载信息娱乐系统的音视频解决方案
TI车载信息娱乐系统的音视频解决方案
汇总了TI汽车信息娱乐系统方案、优质音频解决方案、汽车娱乐系统和仪表盘参考设计相关的文档、视频等资源

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 视频监控 智能卡 防盗报警 智能管理 处理器 传感器 其他技术 综合资讯 安防论坛

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2017 EEWORLD.com.cn, Inc. All rights reserved