安全
前员工爆料，OpenAI AGI 安全团队已流失近半成员
OpenAI 一直致力于开发能够造福全人类的人工智能技术，然而最近的一份报告揭示了一个令人担忧的现象：近一半曾专注于超级智能 AI 长期风险的研究人员已经离开了这家公司。图源 Pexels据 Fortune 报道，OpenAI 前治理研究员 Daniel Kokotajlo 表示，在过去几个月里，OpenAI 几乎一半的 AGI 安全团队成员已经离职。这引发了外界对公司是否正在忽视 AI 安全性的担忧。AGI 安全研究人员主要负责确保未来开发的 AGI 系统不会对人类构成生存威胁。然而，随着 OpenAI 越来越专
8/30/2024 9:40:02 AM
远洋
OpenAI 和 Anthropic 同意推出新模型前交给美国政府评估安全
感谢人工智能公司 OpenAI 和 Anthropic 已经同意允许美国政府在这些公司发布重大新的人工智能模型之前访问这些模型，以帮助提高它们的安全性。图源 Pexels美国人工智能安全研究所（US AI Safety Institute）周四宣布，这两家公司已经与该研究所签署了谅解备忘录，承诺在模型公开发布之前和之后提供访问权限。美国政府表示，这一举措将有助于他们共同评估安全风险并缓解潜在问题。该机构表示，将与英国的对应机构合作，就安全改进提供反馈。OpenAI 首席战略官 Jason Kwon 对合作表示支持：
8/30/2024 7:40:12 AM
远洋
阿尔特曼：OpenAI 公司为 AI 安全工作分配至少 20% 计算资源
感谢OpenAI 首席执行官山姆・阿尔特曼（Sam Altman）昨日（8 月 1 日）在 X 平台发布推文，宣布为 AI 安全相关研究和开发工作，保障提供至少 20% 计算资源。AI在线翻译该推文内容如下：OpenAI 在 AI 安全方面的简要更新正如我们在 7 月下旬所说的，我们保障调配至少 20% 的计算资源，用于 AI 安全方面的工作。我们已经和美国人工智能安全研究所达成协议，让其提前访问我们的下一代基础模型，以便我们能够共同推动人工智能评估的科学发展。对此我们感到很兴奋！对于现任和前任员工能提出关于 AI
8/2/2024 2:46:50 PM
故渊
致力设计标准化人工智能框架，微软 / 英伟达 / 英特尔 / 谷歌等厂商联手组建 CoSAI 安全联盟
专门推动全球结构化信息标准的非营利组织 OASIS Open（由微软、英伟达、英特尔、谷歌、OpenAI、IBM、亚马逊、思科等厂商组建）在 7 月 18 日宣布建立 CoSAI 安全联盟（Coalition for Secure AI，安全 AI 联盟）。AI在线获悉，该联盟计划与学术界共同解决三大重点领域，分别是 AI 软件供应链安全性、网络领域安全性及 AI 安全治理性。同时将与 Frontier Model Forum、Partnership on AI、Open Source Security Found
7/21/2024 11:57:27 AM
漾仔
售价43.9万元起，豪华MPV新标杆全新极氪009全球上市
今日，极氪智能科技正式发布豪华旗舰MPV全新极氪009，其左舵和右舵版本全球同步发售。中国大陆地区的官方零售价为43.9万元起，中国香港地区的用户，在享受一换一补贴后零售价为港元75.5万起。即日起，中国大陆地区的用户可通过极氪App、极氪官网、全国各大城市的极氪门店等官方渠道进行订购。2024年8月31日 24:00（含）前支付定金2万元的用户，可享受限时购车权益：2024年7月19日 21:00（含）前，完成交付的极氪009新车首任车主，或完成锁单的极氪009 光辉新车首任车主，购买首台全新极氪009可享受3万
7/20/2024 10:24:00 AM
新闻助手
构筑 AI 安全防线，谷歌、微软、英伟达等 14 家公司组建安全 AI 联盟
感谢昨日举办的阿斯彭安全论坛（Aspen Security Forum）会议中，谷歌、微软、OpenAI、亚马逊、英伟达、英特尔等 14 家 AI 领域的大公司宣布联合组建安全人工智能联盟（Coalition for Secure AI，CoSAI）。CoSAI 由 OASIS 全球标准机构主办，是一项开源计划，旨在为所有 AI 从业人员和开发人员提供创建设计安全人工智能系统所需的指导和工具。CoSAI 将建立一个合作生态系统，共享开源方法、标准化框架和工具等等。CoSAI 的创始赞助商包括谷歌、IBM、英特尔、微
7/19/2024 7:17:22 AM
故渊
全网围观魏建军直播：长城端到端智驾大模型挑战重庆「魔幻路况」
机器之心发布机器之心编辑部2024 年 6 月 30 日，长城汽车董事长魏建军亲自操盘，通过直播向全球展示了长城汽车全场景 NOA 在重庆的挑战性路段的实际表现。这次直播不仅是对长城汽车智能驾驶技术的一次全方位检验，更是一次向公众彰显其领先的智能驾驶解决方案 ——Coffee Pilot Ultra（CP Ultra）的力量展示。技术核心：SEE 模型的实战检验SEE 模型，长城汽车的技术王牌，是真正的游戏规则改变者。这个端到端智驾大模型整合了感知、决策、规控等关键环节，实现了数据的全链路一体化处理。在重庆的多变道
6/30/2024 8:40:00 PM
机器之心
15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性
最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输出结果并不安全。这项研究标题为《跨模态安全调整》（Cross-Modality Safety Alignment），提出了一个全新的“安全输入但不安全输出”（SIUO），涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。研究人员说，大型视觉语言模型（LVL
6/25/2024 9:12:58 AM
故渊
代码大模型安全规范正式定稿：百度阿里小米 vivo 等参与，中国信通院启动首轮评估
近年来，代码大模型已成为企业研发人员辅助编程必备助手，能够生成、翻译、补全代码，帮助定位和修复错误。然而，代码大模型背后隐藏的风险挑战还有待讨论。中国信息通信研究院（以下简称“中国信通院”）依托中国人工智能产业发展联盟（AIIA），联合业内近 30 家单位共同编制了《代码大模型安全风险防范能力要求及评估方法》规范（简称“规范”），聚焦代码大模型的安全能力，从基础功能出发，评估代码大模型的基础能力和安全风险防范能力。2024 年 6 月 18 日，规范第三次研讨会成功举办，对规范内容做出进一步的完善和修订，现已完成定
6/20/2024 4:18:53 PM
汪淼
OpenAI 回应员工担忧：支持监管，必要保障措施到位前不发 AI 新技术
OpenAI 和谷歌 DeepMind 员工联名发声，担忧高级 AI 风险巨大，亟需加强监管，对此 OpenAI 今天发布声明，强调该致力于提供功能强大且安全的人工智能系统。IT之家翻译 OpenAI 公司官方声明内容如下：我们为自己能提供能力最强、最安全的人工智能系统而感到自豪，并坚信我们能以科学的方法应对风险。鉴于 AI 技术的重要性，我们认同公开信中的内容，如何通过严肃的讨论，对于更好推进 AI 技术发展至关重要。我们将继续接触各国政府、民间社会和世界各地的其他社区，共同营造和谐的 AI 环境。包括匿名诚信热
6/5/2024 11:10:02 AM
故渊
OpenAI 又一吹哨人离职！拉响安全警报，风险隐患实在太大
OpenAI 离职潮中，又一研究员官宣离职，并且还发出了“警告”信息：Ilya 和 Jan Leike 的担忧正是我的担忧，还有一些额外的问题。我们需要做更多事来改进决策流程等基础性的事务，包括问责制、透明度、文档、策略执行、如何谨慎使用技术，以及减轻不平等、权利和环境影响的措施。主人公名叫 Gretchen Krueger（简称格姐），是 OpenAI 的 AI 策略研究员。她在 2019 年加入 OpenAI，参与过 GPT-4 和 DALL・E 2 的开发工作，还在 2020 年领导了 OpenAI 第一个全
5/26/2024 5:52:30 PM
远洋
微软谷歌等 AI 巨头齐聚首尔：承诺安全开发人工智能模型，必要时关闭尖端系统
路透社报道，微软 、谷歌 、OpenAI 等 16 家科技公司在 21 日和 22 日举行的“人工智能（AI）首尔峰会”上承诺安全开发 AI 模型，在无法控制最极端风险的情况下关闭其尖端系统（cutting-edge systems）。参会的公司还包括国内企业智谱 AI（IT之家备注：腾讯、阿里、美团和小米曾对其投资）、IBM、亚马逊、Meta 和三星。安全承诺包括发布框架，阐明公司将如何衡量其模型的风险。在风险严重且“无法接受”的极端情况下，如果无法减轻风险，人工智能公司将不得不按下紧急停止开关，停止开发或部署其
5/22/2024 10:23:19 AM
沛霖（实习）
OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先
感谢继 OpenAI 共同创始人 Ilya Sutskever 离职之后，另一名 OpenAI 高管 Jan Leike 在 X 平台发布贴文，宣布他已经在上周离开公司。据悉，Jan Leike 是 OpenAI 旗下 Superalignment（超级对齐）团队的共同主管，他表示最近几年 OpenAI 已经不惜内部文化，忽视安全准则，执意高速推出“吸引眼球”的产品。IT之家经查询得知，OpenAI 在 2023 年 7 月设立 Superalignment 团队，任务是“确保那些具备‘超级智能’、‘比人类还聪明’
5/21/2024 1:43:20 PM
漾仔
欧拉全球化战略再进阶，2024款欧拉好猫>木兰版北京车展超值上市！
4月26日，2024北京国际车展欧拉品牌发布会以“欧拉美学，全球经典”为主题，重磅发布了欧拉全球化出海战略。欧拉将从产品覆盖、市场布局和出海模式等三个维度上不断深化，由“单品出海”向全价值体系“生态出海”进阶，开启全球化2.0新时代。发布会上，2024款欧拉好猫>木兰版同步超值上市！2024款欧拉好猫售价10.58万元-13.58万元区间，带来颜值、配置和安全等方面的全面升级；2024款欧拉好猫GT木兰版售价为11.98万元-12.98万元，以更酷飒、更智能、更安全的方式与新世代一同玩转纯电GT，双车更有5重权
5/13/2024 2:04:00 PM
新闻助手
“共筑安全星河：首届AI安全大赛在中关村论坛盛大启动”
在2024年的中关村论坛数据安全治理与发展论坛上，一项具有里程碑意义的活动——首届生成式人工智能安全大赛，正式拉开了帷幕。这场大赛是在北京市互联网信息办公室和中国科学院网络安全和信息化领导小组办公室的共同指导下，由中国科学院信息工程研究所与信息内容安全国家工程研究中心联合主办。此次大赛以“共筑安全星河，护航AI发展”作为核心主题，其宗旨在于依托中国科学院信息工程研究所Galaxy（星河）生成式人工智能安全风险测评平台，为参赛者提供一个专业的比赛环境。Galaxy平台，被誉为安全风险测评的“星河”，其核心是一个“以攻
4/28/2024 11:17:00 AM
新闻助手
售价78.9万元起，极氪009光辉开启纯电四座超豪华MPV时代
今日，极氪汽车家族再添新成员，极氪智能科技正式发布四座超豪华旗舰MPV车型极氪009光辉，官方零售价为78.9万元起。即日起，用户可通过极氪App、极氪官网、极氪小程序、全国各大城市的极氪门店等官方渠道进行预定，并将于5月19日，正式开启全国交付。限时购车权益：从2024年4月19日至2024年5月31日（含），支付50,000元定金的极氪009光辉新车首任非营运车主，可终身享受「安心护航计划」，包括但不限于车辆全生命周期的免费保养，雨刮片、制动片、制动盘等免费更换，以及无限次维保取送车（细则详见公告）。极氪新车首
4/19/2024 11:32:00 PM
新闻助手
OpenAI、蚂蚁集团、谷歌、科大讯飞等联合编制大模型安全国际标准，已正式发布
4月15日-19日，第27届联合国科技大会在瑞士日内瓦召开。16日，在以“塑造AI的未来”为主题的AI边会上，世界数字技术院（WDTA）发布了一系列突破性成果，包括《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项国际标准。这是国际组织首次就大模型安全领域发布国际标准，代表全球人工智能安全评估和测试进入新的基准。据了解，这两项国际标准是由OpenAI、蚂蚁集团、科大讯飞、谷歌、微软、英伟达、百度、腾讯等数十家单位的多名专家学者共同编制而成。其中《大语言模型安全测试方法》由蚂蚁集团牵头编制。 （图：W
4/18/2024 10:04:00 AM
新闻助手
瑞莱智慧完成新一轮战略融资，加速打造中国AGI安全基座
近日，人工智能安全基础设施提供商瑞莱智慧（RealAI）宣布完成新一轮战略融资，北京市人工智能产业投资基金等参与投资。本轮融资完成后，瑞莱智慧将继续加速通用人工智能安全基座产品研发，并不断推进安全可控的大模型商业化落地。随着全球范围内最大规模的人工智能浪潮掀起，人工智能的可控性和安全性成为愈发重要的发展议题。如今，人工智能大模型的通用性和泛化性大幅提升，应用也从传统的判别式任务走向生成式任务，而人工智能的内生及衍生安全问题变得愈加复杂，其带来的挑战和已经引起的各类风险事件也持续受到全球公众、企业和政府的广泛关注。当
4/12/2024 12:44:00 PM
机器之心
资讯热榜
标签云
人工智能
OpenAI
AIGC
AI
ChatGPT
DeepSeek
AI绘画
数据
机器人
谷歌
模型
大模型
Midjourney
智能
用户
学习
开源
GPT
微软
Meta
AI创作
图像
技术
论文
Stable Diffusion
马斯克
Gemini
算法
蛋白质
生成式
芯片
代码
英伟达
腾讯
神经网络
计算
研究
Sora
AI for Science
3D
Anthropic
AI设计
机器学习
GPU
开发者
场景
华为
预测
伟达
Transformer
百度
苹果
人形机器人
深度学习
AI视频
模态
字节跳动
xAI
驾驶
文本
搜索
大语言模型
Claude
Copilot
具身智能
神器推荐
LLaMA
算力
安全
应用
视频生成
科技
视觉
亚马逊
干货合集
2024
AGI
特斯拉
训练
大型语言模型