噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架

李学龙教授在 IEEE 期刊上在线发表 “正激励噪声”《Positive-Incentive Noise》。

在日常生活中,噪声无处不在,通常会给人及周围环境造成不良影响。比如,汽车产生的噪声给人们的正常工作和休息带来了不少困扰。然而,任何事物都有两面性。在一个不小心睡过了的早上,汽车噪声却会给人们释放出正向积极的信号:迟到了,该上班了。再例如,装修房子时电钻声非常嘈杂,对周边业主造成了干扰。但仔细听,从噪声中能分辨出钻的是木头还是钢铁,也能判断出电钻运转是否正常。这些常见的现象说明了一个本质问题:噪声也可以是有用的,以往我们可能错怪噪声了。

在各式各样的科学研究的方方面面中,噪声也大量存在,如仪器精度不足导致的仪器误差、人为操作中的失误导致的偏差、极端环境等外界干扰导致的信息失真等。研究者普遍认为噪声通常会对执行的任务产生不良影响,这已成为一个约定俗成的假设。因此,围绕着 “降噪” 这一核心任务产生了大量的研究工作。然而,西北工业大学李学龙教授团队在执行信号探测和处理任务时通过实验观察验证,对这一假设产生了质疑:科学研究中的噪声真的总是有害的吗?

恰如图 1 所示,在一个图像智能分类系统中,对图像加入适量的噪声后再训练,识别准确率反而上升了。这给我们带来一点启发:图像中加入一些噪声,而不是去除,再执行图像分类任务,可能效果会更好。只要噪声对目标的影响远小于噪声对背景的影响,产生 “伤敌(背景噪声)一千,自(目标信号)损八百” 的效果就有意义,因为任务追求的是高信噪比。从本质上来说,面对传统分类问题,在特征后随机加上适度的噪声,相当于升高了特征维度,某种意义上说,类似是给特征增加了一个核函数,实际上完成了一种低维空间到高维空间的映射,使数据更可分,从而提高了分类效果。

噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架

图 1 图像识别准确率随图像噪声强度的增大而 “反直觉” 地呈现出 “先增后减” 的关系。

更具体的任务的例子(图 2),从遥感影像中做飞机检测,一般都是把飞机紧紧框住,然后做模型训练。如果把飞机的框适当增大一些,把跑道等干扰信息加进来,模型训练效果反而会更好。为什么会出现这种现象呢?这是因为跑道等 “噪声” 和目标之间存在语义相关性,从而对完成飞机检测任务起到了正面的驱动作用,提高了检测准确率。

噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架

图 2 在传统目标检测中,一般认为检测框越小越好;然而在检测飞机时,适度扩大检测框引入跑道、停机坪等背景信息能够提高检测效果。

经过对这类现象分析验证,李学龙教授的论文《Positive-incentive Noise》已在期刊 IEEE Transactions on Neural Networks and Learning Systems (TNNLS) 上在线发表。

噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架

全文下载链接:https://ieeexplore.ieee.org/document/10003114

噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架

Xuelong Li, “Positive-Incentive Noise,” IEEE Transactions on Neural Networks and Learning Systems, DOI: 10.1109/TNNLS.2022.3224577, 2022.

文中指出,噪声在获取、数据、特征、样本、决策等诸多层面都存在,根据对完成任务是否存在正向驱动作用,可将噪声划分为 “正激励噪声”(Positive-incentive Noise, Pi/π-Noise)和 “纯噪声”。“正激励噪声” 指的是有用的噪声,能对完成任务起到正面的驱动作用。“纯噪声” 则是无用、有害的噪声,会妨碍任务的有效执行。为挖掘和利用正激励噪声,论文给出了 “任务熵”(Task Entropy)——噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架的定义,并在此基础上建立了系统的理论分析框架。在任务给定的情况下,任务熵的大小衡量了噪声噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架与任务噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架之间 “互信息”(Mutual Information)的多少。在信息论中,互信息用来度量两个随机变量的 “共有信息”。因此,论文明确指出,某些噪声和信号的产生是同源的,会附带信号特征信息,对任务完成提供帮助,这也是上述现象背后的本质原因。也就是说,当互信息大于 0 时,噪声噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架会正向驱动完成任务噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架,即

噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架

此时,噪声噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架就是正激励噪声。当互信息等于 0 时,噪声噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架对完成任务噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架没有正向驱动作用,那么此时噪声噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架为纯噪声。

正激励噪声能否被有效挖掘和利用取决于任务熵的大小,也就是任务噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架的概率分布值。在论文中列举了几种常见视觉处理任务的概率分布值的计算方式。比如,在单目标分类任务中,数据集由数据样本集合 X 和标签集合 Y 组成,数据集 (X,Y) 可以看作是从某真实分布噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架中采样而来。分布噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架表示 “已有数据样本(如图像)被赋予不同标签的概率”,它的任务熵衡量了 “在此数据集上单标签分类任务的不确定性或难度”。除此之外,论文还强调了,正激励噪声的产生与执行任务的变化和噪声量的大小相关,未来将对随机共振、对抗训练、多任务学习、对比学习等多个方向产生深远影响。

正激励噪声是 “临地安防” 科研架构(图 3)中的基本科学问题之一。启发了在科研中重新审视对噪声的理解和处理的方式,同时也对信号处理、人工智能、涉水光学、稳定探测、多模态认知计算等多方面提供了理论研究支撑。

噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架

图 3 临地安防 (Vicinagearth Security)

《Positive-Incentive Noise》作者信息:

噪声总是有害吗?西工大李学龙教授提出基于任务熵的数学分析框架

李学龙(电子邮箱:[email protected]),西北工业大学学术委员会副主任、光电与智能研究院(iOPEN)教授。主要研究方向为临地安防体系中的人才培养、科学、技术和工程问题。

相关资讯

网易云信神经网络音频降噪算法:提升瞬态噪声抑制效果,适合移动端设备

机器之心专栏网易云信音频实验室网易云信音频实验室自主研发了一个针对瞬态噪声的轻量级网络音频降噪算法(网易云信 AI 音频降噪),对于 Non-stationary Noise 和 Transient Noise 都有很好的降噪量,并且控制了语音信号的损伤程度,保证了语音的质量和理解度。基于信号处理的传统音频降噪算法对于 Stationary Noise(平稳噪声)有比较好的降噪效果。但是对于 Non-stationary Noise(非平稳噪声),特别是 Transient Noise(突发噪声)降噪效果较差,而且

ICLR 2024 Spotlight | NoiseDiffusion: 矫正扩散模型噪声,提高插值图片质量

作者 | Pengfei Zheng单位 | USTC, HKBU TMLR Group最近生成式AI的迅猛发展为文本到图像生成、视频生成等令人瞩目的领域注入了强大的动力,这些技术的核心在于扩散模型的应用。扩散模型首先通过定义一个不断加噪声的前向过程来将图片逐步变为高斯噪声,再通过逆向过程将高斯噪声逐步去噪变为清晰图片以得到采样。其中扩散常微分模型可以被用于生成的图片的插值,这在生成视频以及一些广告创意上有着极大的应用潜力。然而,我们注意到,当这种方法应用于自然图片时,插值出的图片效果往往不尽如人意。通常情况下,扩

能耗降低93.3%,复旦、港大团队开发受大脑启发的动态神经网络,实现超强2D、3D视觉

编辑 | 萝卜皮大脑运算是动态的、具有联想能力的、高效的。它通过将输入与过去的经验联系起来,将记忆和处理融合在一起,从而进行重新配置。相比之下,人工智能模型是静态的,无法将输入与过去的经验联系起来,并且在具有物理分离的记忆和处理的数字计算机上运行。复旦大学、香港大学、中国科学院等机构组成的联合团队提出了一种软硬件协同设计方案,即使用忆阻器的基于语义记忆的动态神经网络。该网络将传入的数据与存储为语义向量的过去经验相关联。网络和语义存储器分别在基于抗噪三元忆阻器的内存计算 (CIM) 和内容可寻址存储器 (CAM) 电