开源
FATE 2.0版本重磅发布:实现异构联邦学习系统互联互通
打破“计算孤岛”、联通“技术孤岛”,推动异构平台之间的互联互通,是隐私计算技术下一阶段的重要发展方向。国家数据局印发的《“数据要素×”三年行动计划(2024—2026年)》提出:“打造安全可信流通环境,深化隐私计算、联邦学习等技术应用,增强数据利用可信、可控、可计量能力,促进数据合规高效流通使用。”[1]中国信通院评论文章曾指出:“隐私计算有望成为支撑数据流通产业的基础设施,解决不同产品之间的技术壁垒,实现隐私计算跨平台间的互联互通已成为产业内的迫切需求。” [2]
大模型训练算力利用率达60%,蚂蚁开源分布式训练扩展库ATorch
近日,蚂蚁集团宣布开源大模型分布式训练加速扩展库ATorch。ATorch可针对不同模型和硬件资源,实现深度学习自动资源动态优化和分布式训练稳定性提升,帮助提升深度学习的智能性。据了解,在大模型训练中,ATorch千亿模型千卡级别训练的算力利用率可达60%,相当于为跑车装上了强劲的引擎。图:ATorch致力于让大模型训练更高效、可复现随着生成式大模型的爆发,模型训练的数据集和参数规模成指数级增长,要带动如此庞然大物,并且满足模型的快速迭代,分布式训练就成为了解题之道。在大模型开发工作中,很多开发者和研究人员采用Py
阿里云首创PilotScope新技术,为AI4DB应用提速
12月20日,数据库国际顶会VLDB2024公布新一批论文,阿里云新技术PilotScope成功入围,该平台技术可实现AI算法在数据库的“一键部署”,极大降低数据库中AI算法的应用门槛,为数据库智能化开辟了全新空间。同日阿里云宣布将PilotScope全部技术免费开源。图说:数据库顶会VLDB2024数据库是事关国计民生的基础软件技术,数据库技术的更新影响着数字时代的千行百业,其中一个前沿领域即是数据库智能化(AI4DB,AI for Database)。现在的数据库系统非常复杂,对稳定性要求极高,即便将单一AI算
助力AI技术共享,蚂蚁开源又一核心技术“因果学习系统 OpenASCE”
当地时间 12 月 10 日,为期 6 天的 AI 国际顶会 NeurIPS (Neural Information Processing Systems) 在美国路易斯安那州新奥尔良市开幕。NeurIPS 是全球人工智能和机器学习领域的顶级会议,与 ICML 并称为人工智能领域难度最大,水平最高,影响力最强的会议。会议首日,中国互联网企业蚂蚁集团受邀举办主题为“知识增强 AI 在垂直行业的应用探索”(Knowledge-enhanced AI for Industry Verticals)的研讨会,并在会上开源了
超越LLama2,通义千问登顶HuggingFace开源大模型排行榜榜首
12月8日消息,全球最大的开源大模型社区HuggingFace日前公布了最新的开源大模型排行榜,阿里云通义千问力压Llama2等国内外开源大模型登顶榜首。HuggingFace的开源大模型排行榜(Open LLM Leaderboard)是目前大模型领域最具权威性的榜单,收录了全球上百个开源大模型,测试维度涵盖阅读理解、逻辑推理、数学计算、事实问答等六大评测。通义千问(Qwen-72B)表现抢眼,以73.6的综合得分在所有预训练模型中排名第一。通义千问-72B登顶HuggingFace的Open LLM Leade
昆仑万维开源「天工」13B系列大模型,0门槛商用
10月30日,昆仑万维宣布开源百亿级大语言模型「天工」Skywork-13B系列,并罕见地配套开源了600GB、150B Tokens的超大高质量开源中文数据集。昆仑万维「天工」Skywork-13B系列目前包括130亿参数的两大模型:Skywork-13B-Base模型、Skywork-13B-Math模型,它们在CEVAL, GSM8K等多个权威评测与基准测试上都展现了同等规模模型的最佳效果,其中文能力尤为出色,在中文科技、金融、政务等领域表现均高于其他开源模型。Skywork-13B下载地址(Model Sc
Llama 2 的入门与实战,机器之心邀请了 4 位技术大牛手把手教你
机器之能报道编辑:Sia「Llama 2 大模型算法与应用实践」-机器之心 AI 技术论坛将于 8 月 26 日在北京举办。如果要问「2023 年最火的动物是什么?」AI 圈外的人可能会回答「熊猫」,并给你列出一长串熊猫的名字。而 AI 圈内的人八成会回答「羊驼」。而且,他们也能给你列出一长串「羊驼」的名字:llama、vicuna、alpaca…… 得益于 Meta Llama 模型的开源,AI 社区的研究者对生物学羊驼属的英文单词已经如数家珍,每个单词都对应着一个(或一组)基于 Llama 的微调模型。这些模
iPhone、Mac上都能跑,刷屏的Llama 2究竟性能如何?
昨天凌晨,相信很多人都被 Meta 发布的 Llama 2 刷了屏。OpenAI 研究科学家 Andrej Karpathy 在推特上表示,「对于人工智能和 LLM 来说,这确实是重要的一天。这是目前能够把权重提供给所有人使用的最为强大的 LLM。」
彻底开源,免费商用,上海AI实验室把大模型门槛打下来
大模型领域,有人探索前沿技术,有人在加速落地,也有人正在推动整个社区进步。
第一个超越ChatGPT的开源模型来了?网友并不买账
开源模型真的超过 ChatGPT了吗?
超越所有开源模型,击败 Claude、Bard,专门用于编程任务的大模型来了
开源 LLM 的性能越来越好了。
百川智能发布开源中英文大模型,多个榜单评测成绩最佳
王小川创立的百川智能发布中英文大模型,采用开源模式,可免费商用。报道 | 机器之能2023年6月15日,被称为「中国ChatGPT梦之队」的百川智能公司,推出了70 亿参数量的中英文预训练大模型——baichuan-7B。baichuan-7B不仅在C-Eval、AGIEval和Gaokao中文权威评测榜单上,以显著优势全面超过了ChatGLM-6B等其他大模型,并且在MMLU英文权威评测榜单上,大幅领先LLaMA-7B。目前baichuan-7B大模型已在Hugging Face、Github以及Model Sc
大模型迎来「开源季」,盘点过去一个月那些开源的LLM和数据集
前段时间,谷歌泄露的内部文件表达了这样一个观点,虽然表面看起来 OpenAI 和谷歌在 AI 大模型上你追我赶,但真正的赢家未必会从这两家中产生,因为有一个第三方力量正在悄然崛起。这个力量就是「开源」。
谷歌内部文件泄漏:谷歌、OpenAI都没有护城河,大模型门槛正被开源踏破
「我们没有护城河,OpenAI 也没有。」在最近泄露的一份文件中,一位谷歌内部的研究人员表达了这样的观点。
160亿参数,新增多项能力,复旦MOSS开源了
开源版的 Moss 真的来了。
打造更易用的隐私计算,“隐语”开源工业界首个多方安全数据分析系统SCQL
3月29日,首届“隐语开源社区开放日”活动上,隐私计算开源框架“隐语”宣布产品升级,并开源了SCQL功能。SCQL提供的简单易上手的BI分析可帮助中小机构快速解决急迫的长尾数据安全分析需求,在工业界首次实现了隐私数据从Al分析到BI分析,是隐语走向易用的重要一步。图:“隐语”框架负责人王磊发布“隐语”SCQL系统在数据要素战略持续升级的背景下,发展以隐私计算为代表的密态技术,是解决大规模数据安全可信流转的技术手段。而正是由于隐私计算最早诞生于大规模数据场景,技术架构和资源投入对于小规模数据体量的机构来说相对复杂和奢
还在为玩不了ChatGPT苦恼?这十几个开源平替也能体验智能对话
本文将为大家盘点一下 ChatGPT 的开源平替项目。
开源三套数据集、牵头团体行业标准,腾讯音乐天琴实验室引领音视频技术创新和发展
3月13日,腾讯音乐天琴实验室联合清华大学人机语音交互实验室(THUHCSI)、音频语音与语言处理研究组(ASLP@NPU)、CCF计算艺术分会及北京市智慧广电(网络视听)重点实验室四家机构共同发布三套开源数据集,该项目在中国音像与数字出版协会数字音乐工作委员会(“中国音数协数字音乐工委”)的指导下,面向行业、高校专业研究人员提供数据开放服务,夯实产业发展基础,为数字音乐产业升级注入新活力。此前,在中国音数协数字音乐工委指导下,腾讯音乐牵头制定了两项团体标准,打开行业规范化发展新格局。天琴实验室发布三套开源数据集,