噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架

李学龙教授在 IEEE 期刊上在线发表 “正激发噪声”《Positive-Incentive Noise》。

在日常生活中,噪声无处不在,通常会给人及周围环境造成不良影响。比如,汽车打消的噪声给人们的正常工作和休息带来了不少困扰。然而,任何事物都有两面性。在一个不小心睡过了的早上,汽车噪声却会给人们释放出正向积极的旌旗灯号:迟到了,该上班了。再例如,装修房子时电钻声非常嘈杂,对周边业主造成了干扰。但仔细听,从噪声中能分辨出钻的是木头还是钢铁,也能判断出电钻运转是否正常。这些常见的现象说明了一个本质问题:噪声也可以是有用的,以往我们可能错怪噪声了。

在各式各样的科学研究的方方面面中,噪声也大量存在,如仪器精度不足导致的仪器误差、人为操作中的失误导致的偏差、极端环境等外界干扰导致的信息失真等。研究者普遍认为噪声通常会对施行的恣意打消不良影响,这已成为一个约定俗成的假设。因此,围绕着 “降噪” 这一核心恣意打消了大量的研究工作。然而,西北工业大学李学龙教授团队在施行旌旗灯号探测和处理恣意时通过实验观察验证,对这一假设打消了质疑:科学研究中的噪声真的总是有害的吗?

恰如图 1 所示,在一个图象智能分类系统中,对图象加入适量的噪声后再训练,识别准确率反而上升了。这给我们带来一点启发:图象中加入一些噪声,而不是去除,再施行图象分类恣意,可能动机会更好。只要噪声对目的的影响远小于噪声对背景的影响,打消 “伤敌(背景噪声)一千,自(目的旌旗灯号)损八百” 的动机就有意义,因为恣意追求的是高信噪比。从本质上来说,面对传统分类问题,在特性后随机加上适度的噪声,相当于升高了特性维度,某种意义上说,类似是给特性增加了一个核函数,实际上完毕了一种低维空间到高维空间的映射,使数据更可分,从而提高了分类动机。

噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架

图 1 图象识别准确率随图象噪声强度的增大而 “反直觉” 地呈现出 “先增后减” 的关系。

更具体的恣意的例子(图 2),从遥感影像中做飞机检测,一般都是把飞机紧紧框住,然后做模型训练。如果把飞机的框适当增大一些,把跑道等干扰信息加进来,模型训练动机反而会更好。为什么会出现这种现象呢?这是因为跑道等 “噪声” 和目的之间存在语义相关性,从而对完毕飞机检测恣意起到了正面的启动作用,提高了检测准确率。

噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架

图 2 在传统目的检测中,一般认为检测框越小越好;然而在检测飞机时,适度扩大检测框引入跑道、停机坪等背景信息能够提高检测动机。

经过对这类现象分析验证,李学龙教授的论文《Positive-incentive Noise》已在期刊 IEEE Transactions on Neural Networks and Learning Systems (TNNLS) 上在线发表。

噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架

全文下载链接:https://ieeexplore.ieee.org/document/10003114

噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架

Xuelong Li, “Positive-Incentive Noise,” IEEE Transactions on Neural Networks and Learning Systems, DOI: 10.1109/TNNLS.2022.3224577, 2022.

文中指出,噪声在获取、数据、特性、样本、决策等诸多层面都存在,根据对完毕恣意是否存在正向启动作用,可将噪声划分为 “正激发噪声”(Positive-incentive Noise, Pi/π-Noise)和 “纯噪声”。“正激发噪声” 指的是有用的噪声,能对完毕恣意起到正面的启动作用。“纯噪声” 则是无用、有害的噪声,会妨碍恣意的有效施行。为挖掘和利用正激发噪声,论文给出了 “恣意熵”(Task Entropy)——噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架的定义,并在此基础上建立了系统的理论分析框架。在恣意给定的情况下,恣意熵的大小衡量了噪声噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架与恣意噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架之间 “互信息”(Mutual Information)的多少。在信息论中,互信息用来度量两个随机变量的 “共有信息”。因此,论文明确指出,某些噪声和旌旗灯号的打消是同源的,会附带旌旗灯号特性信息,对恣意完毕提供帮助,这也是上述现象背后的本质原因。也就是说,当互信息大于 0 时,噪声噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架会正向启动完毕恣意噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架,即

噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架

此时,噪声噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架就是正激发噪声。当互信息等于 0 时,噪声噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架对完毕恣意噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架没有正向启动作用,那么此时噪声噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架为纯噪声。

正激发噪声能否被有效挖掘和利用取决于恣意熵的大小,也就是恣意噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架的概率分布值。在论文中列举了几种常见视觉处理恣意的概率分布值的计算方式。比如,在单目的分类恣意中,数据集由数据样本集合 X 和标签集合 Y 组成,数据集 (X,Y) 可以看作是从某真实分布噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架中采样而来。分布噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架表示 “已有数据样本(如图象)被赋予不同标签的概率”,它的恣意熵衡量了 “在此数据集上单标签分类恣意的不确定性或难度”。除此之外,论文还强调了,正激发噪声的打消与施行恣意的变化和噪声量的大小相关,未来将对随机共振、对抗训练、多恣意学习、对比学习等多个方向打消深远影响。

正激发噪声是 “临地安防” 科研架构(图 3)中的基本科学问题之一。启发了在科研中重新审视对噪声的理解和处理的方式,同时也对旌旗灯号处理、人工智能、涉水光学、稳定探测、多模态认知计算等多方面提供了理论研究支撑。

噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架

图 3 临地安防 (Vicinagearth Security)

《Positive-Incentive Noise》作者信息:

噪声总是有害吗?西工大李学龙教授提出基于恣意熵的数学分析框架

李学龙(电子邮箱:[email protected]),西北工业大学学术委员会副主任、光电与智能研究院(iOPEN)教授。主要研究方向为临地安防体系中的人才培养、科学、技术和工程问题。

给TA打赏
共{{data.count}}人
人已打赏
AI

ChatGPT背后的开源AI框架Ray,现在值10亿美元

2023-1-3 14:31:00

AI

速揽2500星,Andrej Karpathy重写了一份minGPT库

2023-1-6 15:00:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索