安全
AI 生成的代码真的安全吗？
译者 | 陈峻审校 | 重楼软件开发与编程曾经被认为是只有具备深厚专业知识与技能的程序员才能胜任的工作。 不过，现在貌似任何人都可以利用自然语言工具来实现并完成了。 与此同时，过去那些需要数天、甚至数月才能开发出来的功能，现在完全可以在 AI 模型的代码加持下、在几分钟之内被开发出来。
AI安全助手重塑SOC运作方式
随着微软六个新的AI安全副驾驶的推出，越来越多人意识到AI安全助手在安全运营中心（SOC）的价值。 这些工具正在重塑SOC的运作方式，使安全团队能够更快、更准确地应对威胁。 解决SOC团队痛点在当今网络安全领域，安全运营中心（SOC）面临着双重挑战：一方面是海量告警信息的持续涌入，另一方面是专业人才的严重短缺。
SplxAI 获 700 万美元融资，助力组织安全部署 Agentic AI
在人工智能（AI）技术迅猛发展的背景下，SplxAI 公司宣布成功获得700万美元的种子融资，由 LAUNCHub Ventures 领投，Rain Capital、Inovo、Runtime Ventures、DNV Ventures 及 South Central Ventures 也参与了投资。 此次融资将用于加速 SplxAI 平台的开发与推广，帮助企业确保内部 AI 代理和面向客户的 AI 应用程序的安全性。 图源备注：图片由AI生成，图片授权服务商MidjourneySplxAI 是一家专注于 Agentic AI 的攻防安全公司，旨在为安全领导者和 AI 开发者提供有效的安全测试工具。
51秒破防！AI武器化时代CISO面临生死时速
51秒？ 是的，你没看错。 从黑客拿到你的凭证到横向渗透整个网络，只需要51秒。
保护LLM的身份和访问管理解决方案IAM
译者 | 李睿审校 | 重楼在人工智能时代，大型语言模型（LLM）的应用正在迅速增长。 这些模型提供了大量的机会，但同时也带来了新的隐私和安全挑战。 应对这些挑战的基本安全措施之一是保护对LLM的访问，以确保只有经过授权的人员才能访问数据和执行任何操作的权限。
AI安全的头等大事：建立AI资产清单
随着人工智能（AI）技术的迅猛发展，企业首席信息安全官（CISOs）正面临前所未有的挑战，既要满足企业业务快速迈向智能化的需求，同时又要防御爆炸式增长的AI安全威胁。 风靡全球的DeepSeek只是AI工具潮的一朵浪花，未来还将有更多类似工具快速涌现。 这些未经授权的（消费级）AI应用如同一颗颗定时炸弹，潜伏在企业内部，威胁着数据安全与合规性。
DeepSeek“防弹衣”来了，模型内生安全加固方案，拒绝杀敌一千自损八百｜上海AI Lab
最新研究显示，以超强推理爆红的DeepSeek-R1模型竟藏隐形危险——即便最终拒绝回答，其思考过程仍可能泄露有害内容。 现有防御技术深陷两难：要么防不住攻击，要么让模型变成”惊弓之鸟”，连正常问题都拒绝回答。 上海交大与上海AI Lab联合推出安全防御方案——X-Boundary，试图破解两难局面。
攻破OpenAI o1/o3、DeepSeek R1防线，安全推理过程反成大模型「阿喀琉斯之踵」
本文共同第一作者是杜克大学计算进化智能中心的博士生郭士霆、张健一，导师为陈怡然教授。 在通往 AGI 的道路上，大型推理模型（LRMs）正以前所未有的速度迭代进化：OpenAI 的 o 系列模型凭借类人推理能力刷新多项基准，DeepSeek-R1 以极低的训练成本实现完全不输 o 系列模型的性能突破。 然而，在这股追求推理性能的浪潮之下，一个关乎技术伦理的隐忧正在浮现 —— 当模型运用自身强大的推理能力进行安全审查时，「展示安全推理思维链」这种透明化机制是否会暴露安全隐患？
AI幻觉扰乱法庭，美国律师被重罚
继上月曝出律师团队使用AI编造的“虚假判例”提交法庭引发风波后，美国法律界再曝同类丑闻——印第安纳州南区联邦治安法官马克·丁斯莫尔上周裁定，律师拉斐尔·拉米雷斯因在多份法律文书中引用AI生成的虚构案例，需缴纳1.5万美元罚款。 这一系列事件暴露AI技术滥用对司法严谨性的冲击，也为法律从业者敲响“责任警钟”。 律师称“没想到AI居然会造假”案件缘起于一场劳资纠纷：工会组织“中中部运营工程师健康与福利基金”指控HoosierVac公司拒绝配合财务审计，拉米雷斯作为该公司代理律师，在2023年10月提交的辩护状中引用了一则法官无法检索到的判例。
周鸿祎谈AI幻觉与网络安全:问题不可夸大也不应忽视
在今年全国两会前夕，全国政协委员、360集团创始人周鸿祎就DeepSeek大模型及AI安全问题发表看法，强调正确认识AI安全，既不可夸大也不应忽视。 周鸿祎指出，当前AI安全议题需警惕被夸大的趋势。 他批评以OpenAI为代表的美国五大AI公司倾向于通过渲染AI不安全来为其垄断和闭源策略辩护，借此推动政府加强监管，阻挠后来者追赶。
如何安全地使用第三方应用程序访问DeepSeek
译者 | 张哲刚审校 | 重楼AI编码助手改变了开发人员编写软件的方式。 它们可以自动执行重复性的任务，及早发现错误，进而加快开发进度。 但是，并不是所有的AI 编码工具在构建时都考虑到了安全性这个重要的问题。
用公务员周报“炼丹”？马斯克开发AI裁员软件
近日，马斯克政府效率部要求联邦公务员提交周报的新闻引发了公众关于美国政府效率改革的热议，但残酷的现实是，“周报”的目的并非提高行政效率，而是进了马斯克“裁员大模型”的炼丹炉。 据Wired报道，马斯克主导的“政府效率部”（DOGE）正在研发一款名为AutoRIF的“AI裁员”软件，意在加速美国联邦政府的大规模裁员。 消息人士透露，这款软件或将大大加快当前的裁员流程。
AI再次突破安全红线，留给人类不到一年治理窗口
人工智能的发展与棋类游戏有着不解的缘分，从1962年跳棋程序首次战胜人类棋手，到1997年IBM深蓝击败国际象棋棋王，再到2016年阿法狗击败李世石，每一次AI浪潮都率先在棋盘上取得突破。 但是，AI最近在棋盘上的“炸裂”表现，却让全球科技行业不寒而栗。 根据Palisade Research一项最新AI安全研究，像OpenAI的o1-preview这样的新型AI在面对强大对手时，若察觉胜算渺茫，并不总是推枰认输，而是可能通过毫无底线的“作弊”手法翻盘——比如直接入侵对手系统，迫使对方自动放弃比赛。
由AI驱动的虚假信息攻击或成银行致命威胁
近日，一项英国研究揭示了AI虚假信息的潜在威胁，它可能轻松引发银行客户的恐慌，甚至导致银行挤兑事件。 这一发现为金融机构敲响了警钟，提醒它们必须重视并防范这一新型风险。 英国研究机构“对虚假信息说不”(Say No To Disinfo)与通信专家公司费尼莫尔·哈珀(Fenimore Harper)合作，模拟了一场由AI驱动的虚假信息宣传活动。
隐形AI风险浮现：安全专家呼吁该治理“影子AI”了
网安领导者和CISO发现，近年来大量影子AI应用程序已危及企业网络，有些甚至持续运行一年多。 这些应用并非典型的攻击手段，而是员工在无IT和安全监管的情况下私自创建的AI程序。 目的是实现从自动化报告到营销自动化、数据分析等多种功能。
韩国下架DeepSeek的安全反思
据韩联社2月17日报道，韩国个人信息保护委员会（PIPC）于本周一宣布，即日起暂停中国人工智能初创企业深度求索（DeepSeek）旗下聊天机器人应用在韩国应用商店的新用户下载服务，以审查其是否符合韩国《个人信息保护法》。 已安装用户仍可正常使用，但被建议避免输入敏感个人信息。 DeepSeek承认“欠考虑”根据PIPC公告，此次限制措施自2月15日下午6时生效，主要针对苹果AppStore和谷歌Play商店的韩国本地版本。
AI教父Hinton怒批万斯，对AI无知恐葬送全人类！
在巴黎AI行动峰会上，美国副总统万斯高举「美国优先」的大旗，明确表示美国仍将维持在AI领域的主导地位，欧洲对AI的监管在扼杀创新！ 会后，美国和英国拒绝签署关于确保AI「安全、可靠、可信」的峰会声明，拒绝相关国际承诺。 la Repubblica独家报道了诺奖得主、AI「教父」Hinton，对这种行为的猛烈抨击。
不可信任的人工智能：如何处理数据中毒？
译者 | 布加迪审校 | 重楼现代技术远非万无一失——比如说，我们可以看到，众多漏洞不断涌现出来。 虽然通过设计保证安全的系统是一条屡试不爽的最佳实践，但这么做可能会分流来自其他方面的资源，比如用户体验（UX）设计、性能优化以及与其他解决方案及服务的互操作性。 因此，安全常常退居次席，只满足最低限度的合规要求。