过去一年，围绕开放生态建设、低价心智等主要方向，京东零卖技能团队持续攻坚。从百亿补贴、调整流量分配机制为用户提供低价品质好货，到简化商家进驻流程、优化商家体会，带动商家数量增长和平台生态活跃，再到将大模型结合到内部大量营业场景，探索服从提拔……快速响应、助力营业的同时，京东零卖技能团队继续夯实增强自身才能、探索创新。
我们选取了11项有代表性的技能成果，与大家分享。
供应链创新技能入围行业最高奖项
京东长期致力于通过前沿的数智化技能和算法，提高供应链服从。2023年，智能供应链团队提出并使用了端到端库存管理技能和可解释AI技能，显著提拔了补货决议的精准度，实行更快的库存周转和更高效的供应链决议、协同。前者入围2023年管理科学界最高奖项弗兰兹厄德曼奖决赛，后者入围2024年Gartner Power of the Profession供应链流程与技能创新奖决赛，也是该奖项唯一亚洲入围者。
传统的库存补货方法多采用先预测再优化的两步式方案，导致预测和优化阶段割裂。智能供应链团队提出端到端库存管理技能，鉴于深度神经网络模型，直接根据原始的历史数据输出最优补货建议，将预测和优化问题一步式解决，通过缩短决议链降低了累积误差，提拔决议的准确度。
另一项痛点问题是需求预测和补货策略的解释性不足，导致一线采销人员和供应商对补货建议的实际采纳率很低。为此智能供应链团队首提可解释AI技能，实行预测流程白盒化，利用残差网络等前沿深度网络技能，对模型输出的建议加以清晰明确的归因和阐释，构建可解释性、自适应、高扩展性的预测模型框架，从而使下游营业人员可以清晰理解预测流程和结果。
以这两项技能为基础的自动补货体系，已实行超过85%的自动化率。目前京东在自营商品SKU数量超过1000万的基础上，实行采购自动化率超过85%，平均现货率超过95%，库存周转天数降至近30天，在全球范围达到领先水平。
图1 京东入围2023年弗兰兹厄德曼奖决赛
图2 京东入围Gartner 2024年流程与技能创新奖
后行为序列时代的人货匹配技能 更智能地理解用户和商品
当前，商家经营和营销进入存量博弈、精耕细作阶段，对广告营销技能也提出了通过技能创新提高人货匹配的服从的核心要求。京东零卖广告研发部坚持创新，取得了多项突破性技能进展，共发表顶会论文17篇，累计提交专利申请一百多篇。
（1）将隐私合规保护下的预训练技能使用于用户和商品理解算法创新，在合规前提下，借助多方危险计算、群体建模技能来解决数据匮乏问题，提出序列摘要技能，成功将精排模型的序列交互建模部分前置到排序模型之前，将行为序列的长度提拔到万级别，提拔了对用户兴趣的刻画才能。以行业知识+预训练的方式引入非ID类电商特征，在避免数据组合爆炸的同时解决稀疏表征问题提拔泛化才能，是目前电商领域最大的预训练模型，并提出生成式对比学习序列预训练方案，提拔新品刻画力。 建设排序大模型（参数量达数百亿）提拔模型容量，成为京东零卖最大在线排序实时模型，并提出了鉴于数据先验的增量学习框架，实行了分钟级更新感知，有效提拔在线学习模型对用户行为变迁的建模才能。
（2）巨幅增长的数据和愈发复杂的算法对算力提出了更高要求，广告技能团队将营业、算法、工程进行了co-design推进建设新一代算力体系。主要体现在：异构算力的使用探索与实践、弹性动态算力分配才能、新一代模型算力体系。CPU+GPU异构硬件技能上，突破业界GPU调度难题，实行了多流多组范式，根据算力负载实行多流多组的动态分配，GPU硬件利用率达到理论上限，比TensorFlow调度提拔2倍+吞吐才能。
自研融合ReAct/SFT/RAG的大模型基础使用框架 高效完成微调、部署和使用
2023年，大语言模型绝对是整个技能圈最被热议的话题之一，关键方向之一是如何将大型语言模型的强大才能融入实际营业、产生营业价值。京东零卖九数算法中台推出了一整套大语言模型使用解决方案，一种融合ReAct框架、SFT（指令微调）与RAG（检索增强生成）技能的使用框架，支持大语言模型学习领域知识，并提拔自主决议才能及信息处理的精确度，帮助营业人员高效完成大语言模型的微调、部署和使用，快速落地营业场景。
通过自研大语言模型高效微调（SFT）框架，京东内部可以支持大语言模型高效学习领域知识，并通过编译优化、算子优化、网络和IO优化，提拔训练性能40%+，并且支持70B+超大规模模型微调。在信息检索方面，建设了Embedding无损高性能信息压缩才能，打通大模型使用开发框架和向量数据库Vearch，实行信息检索服从大幅提拔。在复杂营业模型自主规划层面，鉴于ReAct范式构建Agent LLM，帮助大语言模型理解上下文，精确把握用户意图，并在复杂情况下做出决议、执行任务和使用工具。
目前，已在包括知识问答、用户增长、舆情风险挖掘、数据分析等多个营业场景使用，加速了营业智能化升级。
搜推导购体系全面升级 探索用户高效便捷购物体会
打造前沿的搜索推荐领域技能，实行用户与商家之间的精准高效连接，一直是京东零卖搜推团队的关注重点。2023年，通过导购体系的一体化升级，集成了导购路径引导和算法匹配技能，解决了一系列技能难题，技能成果沉淀数十篇专利和行业顶会论文。
面对导购场景模型和样本数据的分散以及用户反馈数据稀疏问题，区别于行业里常见的数据增强等解决方案，创新地提出了预训练-微调范式，对session链路中的用户行为进行精准预测，随后在各个导购场景的用户反馈数据上进行微调，显著提拔了流量分发的准确性。
在主图及属性卖点个性化分发从0到1的建设中，一方面优化分发才能，一方面通过“模型+策略”的协同，既构建了高效的优选模型，又根据自身数据特性设计了独特的负向属性值过滤策略，极大化提拔用户体会。
面对图像搜索的高精准度挑战，我们将图搜召回任务建模为一个涉及千万级图片百万级ID数据的Re-ID任务，并通过利用多损失联合监督，显著提拔了模型特征学习的判别力。为了应对数据巨量化和模型复杂化趋势，在算力优化方面，通过分布式模型并行技能和稀疏分类采样策略，大幅提拔了GPU显存服从和模型训练速度。
去年，我们自主设计并实行了新一代交互式引擎体系，上线了AIGC使用京言。通过反馈式prompt优化、session切分、人类偏好指令对齐增强以及弹性多路检索等创新技能，持续探索为用户提供高效便捷购物体会。
商家体系深度改造 提拔服从优化体会
2023年初，京东发布“春晓计划”，扩展百万量级的商家进入平台。京东以往的商家体系以服务企业用户为主，营业模式众多、复杂性很高，但新加入的有大量个人商家。如何兼顾原有复杂营业逻辑，又能快速打造适应大量个人商家移动化、简约化办公需求的经营体系？如何能简化经营和快速交付、保障商家规模的快速扩展及商家体会提拔，成为京麦商家体系面临的主要挑战。
为此，移动端体系整合原生、Flutter和Taro技能，实行功能间的无缝调用，提高营业功能的快速交付和互通才能，同时以内置的一体化UI组件确保交互设计与实行的统一；商家入驻环节使用OCR、RPA及大模型语义理解才能进行智能化、自动化的审核，提高入驻服从；商品管理环节结合多模态大模型、海量相似商品主体检索和结构化数据OCR识别等技能，智能生成商品基础信息；商品营销上首推【主图浮层】功能，即通过动态加载营销利益点实时合成主图技能；履约、售后、结算正逆向交易环节，采用PaaS化插件营业流程扩展、规则计算引擎动态配置等技能方式快速支持个人小店经营模式。
这些深度改造，大大提高商家入驻服从，个人店入驻时间缩短至约4分钟，普通店15分钟，企业店3个工作日内；商品管理环节，商家只需维护库存和价格即可轻松完成商品上架；营销信息便捷推送，共同助力商家打造“更快经营、更好服务、更省成本”的开店体会。
AIGC技能使用 实行电商创意素材的自动化生成
电商创意素材中包含了大量的商品直观信息，优秀素材不仅能快速吸引消费者，还可以建立起情感联系。然而现有创意大多依赖人工制作，存在服从和成本的限制。京东零卖技能团队鉴于AIGC技能，在图片、文案、图文创意等方面进行了技能突破，实行了高质量广告创意的自动生成。
图片创意上，技能团队提出通过类别生成器实行大规模背景生成，并使用个性化生成器从参考图像学习个性化风格，在保持个性化风格的同时能够生成高质量的不同类别背景；文案创意上，鉴于大语言模型通识，结合商详OCR卖点挖掘、标题、属性亮点词等电商数据，通过模型fine-tune、外挂知识库等方式，实行了满足用户偏好的营销文案创意生成；图文创意上，提出了一种P&R框架并分为规划和渲染两个阶段，规划阶段考虑产品外观和文本语义特征，使用PlanNet生成多样化、合理的布局，渲染阶段虑生成的布局和融合不同组件的空间关系，使用RenderNet生成背景。
以上技能突破成功解决了现有图片创意生成方法存在扩大生产规模时设计提示词的低效问题，克服了为特定品牌定制个性化背景时描述细节风格的困难，实行了创意化的图文生成，超越已有的图像生成方法，显著提拔了设计服从并降低了制作成本。相关创新性成果已在ACM MM、CIKM、ICME等顶会上发表多篇论文。
端智能 面向手机计算环境的端云协同AI技能创新
近年来，随着移动端设备软硬件才能的进步，移动端的算力有了很大提拔，同时面向移动端的机器学习框架和模型轻量化技能越来越成熟，端上的AI才能逐渐进入大众视野，端智能在电商领域也开始逐步走向规模化使用。通过持续探索，京东零卖技数中心团队创新突破了端侧高性能推理引擎、端侧模型分发、异构环境及复杂任务兼容等技能卡点，完成了多个营业使用和落地，并获得信通院边缘计算产业全景图行业认证。目前均已集成端智能SDK，首页推荐、搜索重排、结算风控营业运行情况良好，日推理次数已经突破亿级，为用户带来了更好的互交体会。
核心的技能亮点包括：
（1）高度量化压缩的端推理引擎：手机端对加载推理引擎体积有严格限制，既要引擎小，也要支持多类型营业。目前端侧推理引擎控制在1.9M。
（2）高并发场景下的稳定性保障：受限与手机端复杂异构的计算条件，端侧推理稳定性是衡量端智能才能的核心因素。目前端推理几十亿次/日，推理成功率超过99%。
（3）异构环境及复杂任务兼容性才能：同一套引擎兼容Android/IOS/鸿蒙3套体系，4种计算芯片，支持多种类型模型，支持内部不同营业多线程调用。
（4）云端协同的工程平台建设：通过建设端侧PythonVM才能，实行同一套代码逻辑云端共用。建设了模型预加载和模型后加载等多种端模型分发和部署才能，支持云端模型训练共用一套训练引擎才能。
数据危险屋 “可用不可见”技能驱动的数据合规使用新基建
如何让数据既能被无障碍使用，同时又确保数据危险、个人隐私不被泄露？近年来成为数据开放流通领域的重要难题。
2023年集团危险、集团大数据平台、零卖隐私计算团队从0到1共同打造了集团首个“危险屋”体系，落地数据沙箱、联邦学习、多方危险计算等数据危险计算才能，鉴于可信平行切面技能实行高效、危险、及可扩展的体系才能，并无缝衔接集团内大数据基座、算法基座和危险基座，为集团内部数据共享使用、外部数据合作等场景提供合规支撑，成为集团数智化基础设施的重要板块。
危险屋落地京东自研版本Hive、Spark等危险计算引擎，确保营业层SQL逻辑、UDF算子、复杂数据ETL过程低感知切换，兼具衍生数据脱敏、衍生数据透明加密、入出管控等技能手段，保证数据“可用而不可见”；构建了一套免入侵的危险切面控制技能将大数据平台与算法开发平台无缝打通，对关键环节植入控制点实行同一个危险策略全局适用；融合硬件危险TEE，提供内存级数据加密运算，可有效保证运行时危险，更深度消除恶意注入和通信窃取等危险隐患；对原有ACL、RBAC权限管控模型进行升维扩展，从技能架构上兼顾体系灵活性和危险管控的统一性。
危险屋已经在集团内外项目中进行广泛使用，包括精准营销、金融风控、成本分析等多个场景。随着数据要素、数据市场的进一步发展，危险屋将在数据融合共享、数据危险计算等领域发挥更重要的作用。
数据资产全面升级 实行存算集约化和生产智能化
京东自营和商家自经营模式，以及伴随的多种经营视角、多种组合计算、多种销售属性等观测方法，相较于行业同等量级，数据处理的难度与复杂度都显著增加。如何从海量的数据模型与数据指标中提拔检索数据的服从，降低数据存算的成本，快速支撑营业的数据决议与分析，是数据团队去年聚焦解决的核心课题。过程中沉淀了多级加速引擎、鉴于代价的智能物化策略、鉴于One Metric的异构融合服务、鉴于One Logic的离近在线转换，显著提拔营业数字化决议服从，也沉淀了多篇软著与多项技能专利。
对于智能物化与数据加速，行业普遍采用cube预计算+缓存模式，京东创新性落地了鉴于主动元数据的口径定义以及鉴于数据消费场景与消费频次的正负反馈动态决议，确保整个数据链路的存算分配“当下最优”，同时相较于粗粒度的物化策略，模型生命周期参考存储代价配置，数据查询链路根据RT表现动态寻址，使得数据生产与数据消费形成交互反馈链路，决议依据更丰富，决议粒度更精准。
鉴于图形语法和多端一体的可视化才能打造层面，京东JMT数据可视化才能可以依托底层指标中台快速进行智能诊断与归因，相较于tableau等头部解决方案，融入了更多图形语法同时可灵活适配多端多场景。
结合AIGC技能的智能数据问答体系chatBI，鉴于营业知识与数据资产的Prompt工程，使用本地大模型SFT对实体进行embedding，通过指标服务平台统一DSL取代了行业普遍NL2SQL的解决方案，解决了人为意识到数据语言的转换难题，所消耗芯片规模也优于行业水平，在数据智能分析诊断体系里准确率大幅领先。
以上核心技能通过23年的打磨与使用，数据指标开发与共享服从大幅提拔，分析看板搭建时间从天级别缩短到小时级别，且营业用户逐渐可以进行自交付，解决了集中式研发的人力瓶颈，日均指标消费频次从23年初的百万级别增长到年末的几千万。未来还将在数据加速、智能物化、智能诊断、大模型使用等方面持续深耕，不断优化数据存算成本，提拔数据使用的服从、体会。
宏图体系 首创即时零卖行业一站式LBS网格化经营
即时零卖行业进入全品类小时达时代，用户丰富且真实的"使用场景"切换构成了消费增长新趋势，品牌需要进行全渠道优化、重新配置资源，寻找成本、服从和体会的最优解。在此背景下，2023年，京东到家正式发布LBS网格化经营工具“宏图体系”，通过B2C+O2O全域数据分析，实行人、货、场鉴于LBS网格化的供需精准高效匹配，帮助品牌提拔全渠道经营服从，创造价值增量。
鉴于京东+京东到家行业独特的B2C+O2O零卖数字化才能、数据沉淀，宏图体系能够实行鉴于LBS的网格化洞察、识别、分析、判断各个网格内的供需匹配情况，并输出用户、供给、营销策略。将京东数坊用户经营平台、京准通LBS流量经营平台、京东到家完美门店体系等进行打通，保障执行落地。作为标准化产品，宏图体系实行了服务模块的标准化、数据处理全周期流程的标准化和前端页面的标准化，同时解决了海量数据产出时效性与查询性能、数据指标交叉计算与验证导致数据准确性问题、数据危险保障和海量数据操作与渲染性能保障的技能难题。
宏图体系作为京东到家数字化体系持续为品牌商技能赋能全渠道数字化升级，提拔C端获客才能、降低B端获客成本，实行全渠道营销提拔。同时鉴于网格视角对品牌供给情况进行追踪，帮助链接品牌和商家，从供给覆盖、商品经营方面发现经营问题及机会，为从品牌角度的商品铺货，流通经营提供数字化的体系协同才能。
自研实行低成本、高质量3D建模
3D建模的本质是理解物理世界并进行数字重构的过程，符合信息传递从图片、视频到3D的发展趋势。它在数字孪生、场景重建等场景有广泛使用，在电商场景中最直接的是商品的3D展现，为用户提供全面的商品信息、弥补图片形式单一角度的不足，帮助商家实行营业数据的增长。
3D建模的常见技能路径包括鉴于传统图形学的方案、鉴于NeRF的深度学习方案，但从商品展现的效果看，想达到主流商详图片和视频质量的要求(PSNR>40dB)都还有距离。为此，我们设计了一套全新技能方案，针对3D商品展现场景重点突破，可实行商详图片级展现质量，并对不同材质、形状的商品有更好的鲁棒性。目前该方案已开展商家试点，上线几百个SKU，在引单转化率上表现正向。
3D建模的技能管线分为采集端、服务端、展现端，除了核心建模算法，我们对采集端、展现端的用户体会有更多的投入。为了保证采集端的便利性和高质量，设计了一款采集APP，在该APP中实行了详实的用户指导、准确的位姿估计、运动模糊控制等功能。在服务端，自研了一套空间编码算法和全新的3D内容格式(.jdv)，实行了高压缩、高质量、可交互，将原始采集的400MB素材压缩到10MB以内；设计了一套图像分割体系来提取干净的商品前景，通过准确的位姿估计和容积变换方法来稳定输出效果，涉及NeRF建模、背景分割等算法，实行了用户在复杂采集背景下的商品展现效果。在展现端，自研的空间解码器能够支持用户在商详主图上可交互式地自由查看商品3D展现。目前仍在继续降低采集难度、降低环境光照对展现效果影响等问题。
凡是过往，皆为序章。未来，坚持成本、服从、体会、可信、普惠、突破的技能追求，京东零卖技能继续和大家一起交流成长、向新而行。