无缝切换,实现多厂家大模型高效对接

1、问题介绍在 AI 技术迅猛发展的今天,越来越多的研发同学面临着众多大模型选型的挑战。 随着业务需求的多样化,大家希望能够逐一对比和探索不同的大模型,以便选择最适合的解决方案。 然而,不同模型的对接方式各异,请求格式、参数解析也各不相同,这给开发者带来了不小的困扰。

1、问题介绍

在 AI 技术迅猛发展的今天,越来越多的研发同学面临着众多大模型选型的挑战。随着业务需求的多样化,大家希望能够逐一对比和探索不同的大模型,以便选择最适合的解决方案。然而,不同模型的对接方式各异,请求格式、参数解析也各不相同,这给开发者带来了不小的困扰。

2、解决方案

由于 OpenAI 的优先存在,即后续大模型都会考虑 OpenAI 兼容方案,通过统一的接口设计,屏蔽了底层模型的差异,使开发者能够无缝切换和对接不同的大模型。

无论是 OpenAI、Anthropic 还是 Cohere,只需简单配置,即可快速接入,大幅降低了开发和维护成本。

借助这一方案,研发同学可以更专注于业务逻辑的实现,而无需为不同模型的适配问题头疼,助你在 AI 的浪潮中游刃有余。

3、示例展示

多说无益,直接上手展示吧~

前期准备:

    1)大模型APIKey -- 自行申请

    2)服务endpoint -- 翻阅各家大模型对接文档

3.1 对接腾讯混元大模型

复制
import os
from openai import OpenAI


model = "hunyuan-turbo"


# 构造 client
client = OpenAI(
    api_key=os.environ.get("HUNYUAN_API_KEY"), # 混元 APIKey
    base_url="https://api.hunyuan.cloud.tencent.com/v1", # 混元 endpoint
)


# 自定义参数传参示例
completion = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "user",
            "content": "你好",
        },
    ]
)


print(model, completion.choices[0].message.content)

执行输出:

图片图片

3.2 对接阿里千问大模型

复制
import os
from openai import OpenAI


model = "qwen-plus"


# 构造 client
client = OpenAI(
    api_key=os.environ.get("QIANWEN_API_KEY"), # 千问 APIKey
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1", # 千问 endpoint
)


# 自定义参数传参示例
completion = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "user",
            "content": "你好",
        },
    ],
)


print(model, completion.choices[0].message.content)

执行输出:

图片图片

4、其他问题

当然,相信有人还有疑问:我如果想使用流式方式输出呢?

事实上,OpenAI 已经为我们提供了现成的参考实现,只需稍作调整即可轻松集成到你的项目中。

相关资讯

AI大模型时代,人才的需求已经变了

什么是 AI 发展的第一驱动力? 最近,全球科技大厂都在用行动告诉我们:人才。 本月初,谷歌 NotebookLM 的核心团队共同宣布离职创业,他们新公司的网站已经进入了「建设中」的状态。

在大模型时代,智能化推荐怎么做呢?

自2022年11月30日OpenAI发布ChatGPT以来,大模型技术掀起了新一轮人工智能浪潮。 ChatGPT在各个领域(如人机对话、文本摘要、内容生成、问题解答、识图、数学计算、代码编写等)取得了比之前算法好得多的成绩,很多方面都超越了人类专家的水平,特别是人机对话具备了一定的共情能力,这让AI领域的工作者和普通大众都相信AGI(Artificial General Intelligence,通用人工智能)时代马上就要来临了。  大模型除了对话能力达到了跟真正互动的水准,更厉害的是当模型参数规模达到一定量(100B ,这里B是billion,十亿的意思)时,会涌现出新的能力,即大模型具备举一反三、任务分解、逻辑推理、解决未知任务的能力,这在之前的机器学习范式中是从没见到过的。

G行人工智能与大模型技术的应用与发展

一、人工智能与大模型技术在银行业的普遍应用1. 客户服务和智能客服客户服务是人工智能应用的核心领域之一。 传统银行客户服务依赖专业的人工客服,虽然能提供较高的情感交互,但因响应时间较长、服务覆盖面有限以及成本较高,难以满足现代客户对高效、便捷服务的需求。