神经网络
模型训练前置处理之数据预处理
在神经网络技术中，有几个比较重要的环节，其中就有神经网络模型的设计；但在此之前还有一个很重要的功能就是数据集的整理；一个高质量的数据集高性能神经网络模型的基础。 但怎么才能打造一个合格的数据集，以及怎么打造一个合格的数据集？ 而这就是神经网络模型的数据处理部分。
神经网络技术栈介绍：PyTorch，Transformer，NLP，CV，Embedding
学习了一段时间神经网络技术之后发现对很多东西理解还不够深刻，所以今天就来梳理一下神经网络的技术栈，深入了解一下不同的工具在神经网络中所处的位置，以及其扮演的角色。 先说一句废话，神经网络仅仅只是神经网络，它不涉及具体的任务，只是一个神经网络模型；神经网络要解决实际问题就需要和不同的任务领域相结合。 神经网络技术栈要了解或者说要学习神经网络，首先要从两个方面去入手——技术原理和应用场景。
经网络的每一层都是干嘛的？这才是神经网络结构的核心
组成一个神经网络从技术上来说主要有以下几个部分：数据集神经网络结构损失函数优化函数反向传播而不同神经网络模型之间最主要的区别就是神经网络结构的异同，当然最相似的地方也是神经网络结构。 原因就在于神经网络结构是由多个神经网络层所组成的；而使用不同的层就实现了不同功能的神经网络模型。 神经网络的层一个神经网络是由多种神经网络层所组成的，而每个神经网络层实现不同的功能；然后由此组成神经网络模型。
小白也能轻松理解的大模型入门锦囊！
一、何为大模型？ 大模型，英文名叫Large Model，也被称为基础模型（Foundation Model）。 我们通常说的大模型，主要指的是其中最常用的一类——大语言模型（Large Language Model，简称LLM）。
神经网络技术的核心：反向传播算法(BP算法)
在前面的文章中介绍训练一个模型，其主要区别就在于神经网络模型的架构；但可能很多人并不知道神经网络模型的核心算法就是——反向传播算法，也被叫做BP算法。 可能很多人都听说过反向传播算法，但可能很多人都没意识到反向传播算法对神经网络的重要性；可以说现在的神经网络模型就建立在反向传播算法之上，没有反向传播算法就没有神经网络的存在。 反向传播(BP)算法了解过人工智能发展史的人应该都知道，人工智能技术并不是最近才出现的新技术；在世界上第一台计算机出现之后的十年，人工智能的概念就已经被提出来了，但人工智能技术的发展却是最近几年才爆火的。
不同神经网络之间的区别，仅仅只是网络结构的不同，明白了这个你才能知道应该怎么学习神经网络
在学习神经网络技术的过程中，会有多种不同的神经网络架构；如常见的RNN，CNN等；因此，我们很多人都会被这些乱七八糟的神经网络架构给迷惑住，即想学习神经网络又不知道应该怎么入手；面对各种各样的网络模型，也不知道应该去学习哪种。 但是，我们从问题的最本质出发，不同的神经网络唯一的区别就是网络结构的不同；之所以有多种神经网络模型的原因就在于不同的网络架构能够完成不同的任务。 比如，RNN适合文本处理，机器翻译；CNN适合图像处理等。
怎么实现一个神经网络？神经网络的组成结构
对学习神经网络技术的人来说，自己设计一个神经网络模型是很多人都想做的事情；也是神经网络技术学习过程中必不可少的一个环节；但是很多人又不知道应该怎么下手。 所以今天就介绍一下怎么设计一个神经网络模型。 实现一个神经网络很多人认为神经网络复杂的原因是因为没有了解过神经网络的组成结构；因此，就很难弄清楚神经网络模型中每个环节的作用，所以我们就先从神经网络的结构入手。
模型训练之数据集操作：矩阵变换
对神经网络技术有所了解的人应该都知道，要想训练一个高性能的神经网络模型，除了神经网络本身的设计之外，还一个非常重要的前提就是数据集的质量问题；因此，打造一个高质量的数据集就是一个必不可少的过程。 但具体怎么才能开发一个合格的数据集，这时就离不开对数据集的各种操作；而由于在神经网络中，数据的主要载体是多维数组，也就是矩阵；因此一般情况下，数据集的数据格式也会以矩阵的形式存在。 而学会对矩阵的操作就是一个必不可少的技能之一；下面我们就以MINST数据集为例，来简单介绍一下对数据集的操作过程。
断交OpenAI后，人形机器人独角兽首秀：一个神经网络控制整个上身，能听懂人话可抓万物
与OpenAI断交之后，Figure首个成果出炉：Helix，一个端到端通用控制模型，它能让机器人像人一样感知、理解和行动。 只需自然语言提示，机器人就能拿起任何东西，哪怕是从没见过的东西，比如这个活泼的小仙人掌。 从官方放出的演示中可以看到，它在接收到人类的提示后，就会按照指令逐一拿起桌上的物品放进冰箱。
ImageNet-D 详解：严格评估神经网络的鲁棒性
神经网络在零样本图像分类中取得了惊人的成就，但它们真的能“看”得有多好呢？ 现有的用于评估这些模型鲁棒性的数据集仅限于网络上的图像或通过耗时且资源密集的手动收集创建的图像。 这使得系统评估这些模型在面对未见数据和真实世界条件（包括背景、纹理和材质的变化）时的泛化能力变得困难。
再谈什么是神经网络，透过现象看本质
面对着网络上各种各样关于神经网络的内容，很多想学习神经网络的人都无从下手，包括作者自己；面对各种乱七八糟的概念，名词，很多人都被这些东西蒙住了眼睛。 所以，今天我们就抛开各种高大上的概念，从本质出发来学习什么网络；我们今天不讨论CNN，RNN，Transformer，LSTM等各种神经网络架构；只讨论什么是神经网络。 神经网络对神经网络有过了解的人应该都知道，神经网络就是仿生学的一种实现，使用的是数学模型模拟人类的大脑神经系统；具体的可以看一下上一篇文章——从一个简单的神经网络模型开始。
Transformer 的三大优化技术！！
Transformer 是一种基于自注意力（Self-Attention）机制的深度学习模型，最早由 Vaswani 等人在 2017 年的论文《Attention Is All You Need》中提出。 与传统的循环神经网络（RNN）和长短期记忆网络（LSTM）不同，Transformer 丢弃了递归计算结构，而是通过自注意力机制并行处理输入序列，从而大大提高了计算效率。 Transformer 广泛用于自然语言处理（NLP）和计算机视觉（CV）领域，如机器翻译、文本生成、文本分类、目标检测等。
从一个简单的神经网络模型开始
关于神经网络的文章写的也不少了，但一直没弄明白神经网络到底是怎么运作的；而现有的神经网络模型又太复杂，如Transformer，CNN，RNN，以及各种应用场景(NLP，CV，分类任务，回归任务等等)；导致我们无法看到神经网络最本质的东西。 所以，今天我们就来从最简单的神经网络开始学起。 简单神经网络神经网络的基本原理很简单，那就是模仿由人类大脑神经元构成的神经网络；神经元结构如下图所示：上图是生物学中神经元的基本结构，神经元由树突和轴突以及细胞核组成；而不同神经元之间通过轴突进行连接；当然这些都是中学生物学的基础，就不多说了。
新的训练范式可以防止机器学习模型学习虚假相关性
译者 | 李睿审校 | 重楼机器学习领域长期存在的问题之一是错误相关性的记忆。 例如：假设开发人员正在开发一个深度神经网络对陆地鸟类和海洋鸟类的图像进行分类。 他们使用数千张标记过的图像训练模型，这个模型在训练集和测试集上的表现都非常出色。
特征金字塔网络及变体【详解及代码实现】
在深度学习和计算机视觉领域，架构创新在推动技术进步中发挥了重要作用。 在这些创新中，特征金字塔网络（Feature Pyramid Networks, FPN）脱颖而出，成为革命性的基础构建模块，彻底改变了我们在神经网络中处理多尺度特征表示的方式。 本文将深入探讨FPN。
阿里达摩院提出开源AI图片上色模型DDColor:可以为黑白照片、人物、动漫风景等一键上色!
DDColor 可以为历史黑白老照片提供生动自然的着色。 它甚至可以对动漫游戏中的风景进行着色/重新着色，将您的动画风景转变为逼真的现实生活风格！ 相关链接项目：github.com/piddnad/DDColorDemo：replicate.com/piddnad/ddcolor论文：arxiv.org/abs/2212.11613论文阅读摘要图像着色是一个具有挑战性的问题，由于 多模态不确定性和高病态性。
入门 Transformer：概念、代码与流程详解
引言论文《Attention is All You Need》（Vaswani等，2017）提出了Transformer架构，这一模型通过完全摒弃标准的循环神经网络（RNN）组件，彻底改变了自然语言处理（NLP）领域。 相反，它利用了一种称为“注意力”的机制，让模型在生成输出时决定如何关注输入的特定部分（如句子中的单词）。 在Transformer之前，基于RNN的模型（如LSTM）主导了NLP领域。
比人类神经元快10亿倍！港中文、中科院「超级大脑」：1秒识图3479万张
人工神经元，比人类大脑快10亿倍，将会是怎样的景象？ 如今，这一科幻般的场景，早已成为了现实。 来自香港中文大学、中国科学院物理研究所等机构科学家，成功开发出了一种基于「激光」的人工神经元。