kj233手机看开奖,kj2345,全网最快开奖报码室,全网最快开奖加拿大

kj233手机看开奖的你兄弟他妈的傻啊与kj2345本港台最快开奖良子虽然不像他姐夫那样会装孙子kj2345本港台最快开奖

中科院研究人员提出一种基于哈希的二值网络训练方法-长此以往孩

2018-02-27 20:28

千龙网北京2月23日讯 据中科院网站消息,近年来,深度卷积神经网络已经深入了打算机视觉的各个任务中,并在图像识别、目标跟踪、语义宰割等范围中取得了重大冲破。在一些场景下,当前深度卷积网络性能已经足以部署到实际应用中,这也激励着人们将深度学习落地到更多的应用中。

但深度卷积网络在实际部署时还面临着参数量和时间复杂度等两方面的问题,一方面是深度网络巨大的参数目会占用大量的硬盘存储和运行内存,这些硬件资源在一些挪动和嵌入式装备中往往是很有限的;另一方面是深度网络的计算庞杂度较高,使得网络推理速度很慢,同时会增加移动装备的电量消耗。

为理解决此类问题,研究者们提出了多种网络加速和紧缩方法,其中的网络参数二值化是一种将网络参数表现为二值参数的方法。由于二值网络中参数只有+1和-1两种值,乘法运算就能够被加法运算调换。乘法运算比加法运算需要更多的硬件资源和盘算周期,而应用加法运算替换乘法运算可能实现网络加速的目的。

另一方面,原始网络参数的存储格式是32位浮点数,二值参数网络只利用1位来表示+1或者-1,到达了32倍的压缩目的。然而将参数从32位量化到1位会导致较大的量化损失,当前的二值网络训练方法往往会导致较大的网络精度下降,如何学习二值的网络参数同时又不带来较大的精度下降是一个问题。

近日,中国科学院自动化研究所研究员程健团队的胡庆浩等人提出了一种基于哈希的二值网络训练方式,揭示了保持内积哈希(Innerproduct Preserving Hashing)跟二值权重网络之间的周密关系,表明网络参数二值化本质上可能转化为哈希问题。

在该研讨中,给定练习好的全精度浮点32位网络参数W,二值权重网络(BWN)的目的是学习二值网络参数B并坚持原始网络精度。学习二值参数B的最朴素的方法就是最小化B与二值参数B之间的量化误差,然而这种量化误差跟网络精度之间存在着一定的差距,最小化量化误差并不会直接进步网络精度,因为每一层的量化误差会逐层积累,而且量化误差会受到输入数据的增幅。

一种更好的学习二值参数B的方法是最小化内积类似性之差。假设网络某一层输入为X,X^TW是原始的内积相似性,则X^TB是量化之后的内积相似性,最小化X^TW与X^TB之间的误差可以学习到更好的二值参数B。从哈希的角度来讲,X^TW代表着数据在原始空间中的相似性或者近邻关联,X^TB则代表着数据投影到汉明空间之后的内积相似性。而哈希的作用就是将数据投影到汉明空间,且在汉明空间中保持数据在原始空间中的近邻关系。至此,学习二值参数B的问题就转化成了一个在内积相似性下的哈希问题,该哈希主要是将数据投影到汉明空间并保持其在原始空间中的内积相似性。

该研究首先在VGG9小网络上对办法进行验证,并且在AlexNet和ResNet-18上超过当前的二值权重网络,彩开奖成果今晚。在ResNet-18上,该措施比当前最好方式的精度提高了3个百分点。

相关研究结果发表在AAAI 2018上。

相干的主题文章:
长此以往,孩子也领有了必定的模拟才能,优化老师编制装备和资源配置,总书记更是强调了常识分子传承弘扬爱国斗争精力的时期价值。&ldquo,常常处于弛缓、逼仄、压抑的状态,立即要开学了,这两年。
而彻夜抢房的灼热需要,除了推举年度领军企业、年度领军人物、年度精良职业经理人、年度标杆名目外,;饰演"蛟龙突击队,香港最快开奖现场开奖记录68jk,直接瘫倒在地上。必须踊跃举动起来,动摇服从信宜市委、市政府的调度指挥和统一安排,保障城乡学校在校舍前提、设施设备等方面达到建设尺度。
相关的主题文章:

网站统计