梯度

只需一行代码,即可轻松驱散基因组分析中DNN产生的数字噪音

编辑 | 白菜叶人工智能已经进入我们的日常生活。它可以是 ChatGPT,也可以是人工智能生成的比萨饼和啤酒广告。虽然我们不能相信人工智能是完美的,但事实证明,有些时候我们根本无法相信人工智能。冷泉港实验室(CSHL)西蒙斯定量生物学中心的助理教授 Peter Koo 发现,在分析 DNA 时,使用流行的计算工具来解释 AI 预测的科学家会收集到太多的「噪音」或额外信息。他找到了解决这个问题的方法。他的团队确定了一个以前被忽视的归因噪声源,该噪声源源于深度神经网络(DNN)如何处理单热编码 DNA。研究人员证明这种

Creator 面对面 | 昇腾异构计算架构 CANN 的技术进展和未来展望

在 2021 年的最后一个季度, CANN 5.0 版本正式发布。昇腾 CANN 作为平台级的异构计算架构,已经经过了 3 年多的优化,迭代了 4 个大版本,CANN 5.0 在性能方面,AI 模型训练/推理性能大幅提升,用时更短;在功能方面:推理引擎 ATC Suite1.0 首次发布,AI 模型推理性能更高、功能更全面;在便捷性方面:代码开发和调试进一步简化,包括支持混合编程等,使用门槛更低。在性能上,无论是训练规模大小、场景类型,还是推理效率,均有较大提升。实验数据显示,原本需要 6.25 分训练的 BERT 模型,在 CANN 5.0 的加持下缩短了一倍多,只需2.69分钟就能完成训练;至于在 3.0 版本上需要 28 秒训练的 ResNet ,5.0 版本则是“再进化”到 16 秒。

CVPR 2022 | 联邦学习审计隐私新手段,田纳西大学等提出生成式梯度泄露方法GGL

本文提出一种利用生成模型作为图片先验的梯度攻击方法GGL,由来自美国田纳西大学,美国橡树岭国家实验室,和谷歌共同完成,论文已被 CVPR 2022 接收。

神经网络debug太难了,这里有六个实用技巧

神经网络的 debug 过程着实不容易,这里是一些有所帮助的 tips。
  • 1