译者 | 核子可乐
审校 | 重楼
尽管Java并非大多数程序员构建AI/ML项目的首选语言——毕竟Python拥有更庞大的AI/ML框架生态——但Java在AI、机器学习及生成式AI革命中仍占据重要席位。其技术优势和广泛的生态系统使其成为许多开发者的首选，尤其是那些偏好严格类型定义和JVM高性能的开发者。甚至部分Python爱好者也会通过Jython运行代码以发挥JVM的速度优势。
历经Sun与甲骨文三十年的持续创新，加之OpenJDK项目的持续演进，Java在保持向下兼容的同时不断引入新特性。这种"稳健优先"的理念，使得开发者无需离开熟悉的强类型Java环境，即可获得丰富的AI/ML解决方案。
配合以下工具清单，我们坚信Java团队完全能高效实现AI集成；换言之，Python开发者独享AI话语权的时代该结束了。
1.Spring AI
多年来，Spring一直是构建从Web应用到微服务各类项目的可靠基础。如今Spring AI通过提供一套组织AI集成流程的抽象层，进一步简化了将任意类型AI引入该生态的可能。
开发者可通过Spring AI抽象层快速集成Anthropic、OpenAI等主流提供商的模型，处理聊天补全、内容审核等任务。所有主流商业及开源模型均受支持。
需要本地存储向量数据时，可直接接入Milvus、Pinecone等十余种数据库。Spring AI会自动处理嵌入向量的序列化/反序列化，确保开发者在操作Java对象的同时，由数据库存储纯向量数据。
Spring AI还内置了多项现代应用开发标配功能，包括自动存储聊天记录以便追溯、AI模型元评估功能以减少/标记模型幻觉等。
2.LangChain4j
许多应用需要将向量数据库与多个大语言模型（LLM）整合到统一门户。例如生成式AI模型输出文本后，图像生成LLM进行配图，且全流程由审核AI监控内容合规性。
LangChain4j是JavaScript/Python社区中极具人气的LangChain框架的Java实现版本。它通过强大的抽象层将不同模型和数据存储统一整合。数十种模型与数据存储通过标准化接口捆绑，共同构成开发中枢。
3.Deeplearning4J
面对AI分类任务的Java开发者，可求助于Eclipse Deeplearning4J（DL4J）生态。该框架支持广泛的机器学习算法，输入原始数据即可输出调优后的决策模型。
核心引擎libnd4j采用C++编写，确保核心ML原语的高效执行。通过nd4j（数值计算）和Samediff（自动微分）两大模块、NumPy以及TensorFlow/PyTorch的可链接操作实现算法。数据流则由Apache Spark负责定义。
尽管框架统一使用Java接口，但Deeplearning4J亦支持多语言实验——Kotlin、Scala等JVM语言可直接交互，Python算法可通过Python4j运行。开源项目文档提供了丰富示例。
4.Apache Spark MLib
处理大规模数据集的数据科学家长期依赖Spark这一Apache项目，而MLlib正是其专为机器学习算法优化的扩展层。
数据可存储于任何Hadoop风格存储系统。算法可以用任何一种主要语言进行编码。Java、Scala或任何以JVM为中心的语言均可支持。此外，Spark用户也添加了胶水代码来使用Python或R，借此享受这两种语言在数据分析领域的优势。
MLlib的核心吸引力在于预置了决策树、聚类、交替最小二乘等经典算法。像大量矩阵的奇异值分解这样的大型计算可以分布在多台机器上，在极大提升性能的同时，开发者甚至无需编写大量代码。Spark的迭代式流水线设计，亦使得MLlib速度较MapReduce快百倍。
5.Testcontainers
多数LLM运行在Docker容器中，因此容器管理工具也非常重要。Testcontainers是开源的容器生命周期管理库，可轻松启动/关闭容器并管理IO通道，是集成LLM的最简方案。其预置模块还支持数据库、消息队列等常见组件的快速部署。
6.GraalPy
从名称上看，GraalPy似乎专为Python设计，但实则不然。GraalPy是优化后的Python3嵌入版本，可在JVM内高效运行Python代码。Java开发者可借此利用全部Python生态，且项目宣称保持着JVM内Python的执行速度纪录。作为GraalVM项目的一部分，GraalPy旨在简化虚拟环境中的技术栈部署。
7.Apache OpenNLP
文本学习离不开大量预处理任务：清除排版指令、分段、分块等。Apache OpenNLP提供基础算法构建ML基础，涵盖从分词到句法分析的全流程。
其工具涵盖了从低级分割和令牌化、再到高级解析的各个领域。语言检测与命名实体提取等附加功能可以根据需要随时部署。OpenNLP的JAR文件中直接提供超过32种语言的模型，开发者也可以从零训练自己的模型。
这款工具与Java生态系统集成良好。UIMA及Solr等多个项目已经在利用OpenNLP来解锁自然语言文本中的模式。与Maven和Gradle的集成也使其启动变得格外简单。
8.Neo4j
当应用需要检索增强型（RAG）数据存储时，图数据库Neo4j就成了绝佳解决方案。其Java基础使其能轻松整合RAG应用与图数据库，提供统一的GraphRAG存储方案。
9.Stanford CoreNLP
斯坦福NLP团队开发的CoreNLP提供另一套NLP工具链，可处理文本分割、标准化（如数字/日期）等任务。
开发者对其高精度预置模型（如情感分析、指代消解）和高级解析算法普遍赞赏有加。该库的高级功能也降低了复杂解析算法与策略的实现门槛。CoreNLP支持九大主要语言，且可与Gradle/Maven轻松集成。
10.Jllama
在某些特定场景下，依托本地可控JVM运行模型往往较调用远程云API更具优势，例如硬件成本低、隐私安全可控。Jllama还可加载Gemma、Llama、Qwen、Granite等开源模型进行推理，并支持聊天、提示补全、OpenAI API兼容等功能。
项目代码利用到一系列最新Java特性，比如Vector API和支持simd的扩展，这些扩展可以加速LLM推理的并行执行。其代码还将工作负载划分为多个部分，并将其分布在集群中的可用计算资源之上。
原文标题：10 Java-based tools and frameworks for generative AI，作者：Peter Wayner
