训练

如何将人类先验常识低成本融入到预训练模型中一直是个难题。达摩院对话智能团队提出了一种鉴于半监视预训练的新训练方式，将对话领域的少量有标数据和海量无标数据一起举行预训练，从而把标注数据中蕴含的常识注入到预训练模型中去，打造了 SPACE 1/2/3 系列模型。SPACE-1：注入对话方略常识，AAAI 2022 长文录用；SPACE-2：注入对话懂得常识，COLING 2022 长文录用，并获 be…

自 2018 年谷歌推出 BERT（3.4 亿参数）以来，语言模型开始朝着「大」演进。国内外先后出现了参数量高达千亿甚至万亿的语言模型，比如谷歌的 T5（110 亿）、OpnAI 的 GPT-3（1,750 亿）、华为联合鹏城实验室的盘古（Pangu）（2000 亿），智源研究院的 WuDao2.0（1.75 万亿）…… 对于这样的大模型，其背后支撑的是巨额的算力要求。那么对于 AI 民主化，降低…

来自德克萨斯大学奥斯汀分校、悉尼科技大学和谷歌的钻研者提出了一个无需训练就能主动扩大框架 As-ViT，其能以高效和有原则的方式主动发现和扩大 ViT。

给定固定的 FLOPs 估算，应当如何权衡模型巨细和训练 token 的数目？DeepMind 得出了与先前不同的结论。

作者：闫永强，算法工程师，Datawhale成员 本文通过自建手势数据集，行使YOLOv5s检测，然后通过开源数据集训练squeezenet进行手部关键点预测，最后通过指间的夹角算法来判断具体的手势，并显示出来。文章第四部分为用C 实现整体的ncnn推理（代码较长，可先马后看）一、YOLOV5训练手部检测训练及安排思路类似表情辨认，需要将handpose数据集标签改成一类，只检测手部，简化流程，更…

最近阿里云机器学习PAI平台和达摩院智能算计实验室一起发布“低碳版”巨模型M6-10T，模型参数已经从万亿跃迁到10万亿，规模远超业界此前发布的万亿级模型，成为当前全球最大的AI预训练模型。

岁末年初之际，让我们回顾大模型的过去，展望大模型的未来。

编辑/绿萝大规模从头估计与布局预计的进步相结合，在有机功能资料的发觉中发挥了重要作用。目前，在有机资料的广阔化学空间中，只发觉了一小部分。实验和估计研讨职员都需要加速探索未知的化学空间。来自美国国家可再生能源实验室（NREL）、科罗拉多矿业学院和伊利诺伊大学的研讨职员展示了一种可以正确预计有机化合物性质的呆板进修方法。展示了基态（GS）和更高能量布局的平衡训练数据集，对使用通用图神经网络（GNN）…

DeepMind 连发三篇论文，全面阐述大规模说话模型依然在进展之中，能力也在继续增强。近年来，国内外各大 AI 巨头的大规模说话模型（large language model，LLM）一波接着一波，如 OpenAI 的 GPT-3、智源研讨院的悟道 2.0 等。大模型已然成为社区势不可挡的发展趋势。然而，当前说话模型存在着一些问题，比如逻辑推理较弱。那么，我们是否可以仅通过添加更多数据和算力的情…

来自 Facebook AI 的研究者提出了 NormFormer，该模型能够更快地达到目标预训练的疑心度，更好地实现预训练疑心度和下游义务机能。

在微软和英伟达的共同努力下， Turing NLG 17B 和 Megatron-LM 模型的继承者诞生了：5300 亿参数，天生强大，它的名字叫做「Megatron-Turing」。

神经收集的 debug 过程着实不容易，这里是一些有所帮助的 tips。

唐杰觉得，超大规模预训练模型的出现，很可能改变信息产业格局，继鉴于数据的互联网时代、鉴于算力的云计算时代之后，接下来可能将进入鉴于模型的 AI 时代。智源研讨院致力于成为这样一个时代的引领者，集聚各方资源力量，构建一个超大规模智能模型技术生态和开放平台，供北京乃至全国的研讨人员、开发者和企业使用。

编者按信息抽取是从文本数据中抽取一定信息的一种手艺，命名实体识别（Named Entity Recognition, NER）是信息抽取的基础任务之一，其目标是抽取文本中具有基本语义的实体单元，在知识图谱构建、信息抽取、信息检索、机器翻译、智能问答等体系中都有广泛应用。基于监督学习的NER体系通常需要大规模的细粒度、高精度标注数据集，一旦数据标注质量下降，模型的表现也会急剧下降。利用不完全标注的数…

spaCy 3.0 正式版来了。

前段时间，一档名为《燃烧吧！天才程序员》的竞赛类综艺让「程序员」这一群体成功破圈，也呈现了 AI 在解决实际问题的过程中面临的一些挑战，如数据集中存在匹敌样本、图象中存在噪声等。在本文中，CLS 战队（大赛头名团队）的优秀选手、奥比中光算法工程师埼玉详细解读了他们在竞赛中用到的解决方案。近日，由蚂蚁集团、清华大学等组织共同协办的首届「Inclusion|A-tech 科技精英赛」(以下简称 A-t…

正如巴菲特所言：「近似的正确好过精确的错误。」