AI在线 AI在线

无缝切换,实现多厂家大模型高效对接

1、问题介绍在 AI 技术迅猛发展的今天,越来越多的研发同学面临着众多大模型选型的挑战。 随着业务需求的多样化,大家希望能够逐一对比和探索不同的大模型,以便选择最适合的解决方案。 然而,不同模型的对接方式各异,请求格式、参数解析也各不相同,这给开发者带来了不小的困扰。

1、问题介绍

在 AI 技术迅猛发展的今天,越来越多的研发同学面临着众多大模型选型的挑战。随着业务需求的多样化,大家希望能够逐一对比和探索不同的大模型,以便选择最适合的解决方案。然而,不同模型的对接方式各异,请求格式、参数解析也各不相同,这给开发者带来了不小的困扰。

2、解决方案

由于 OpenAI 的优先存在,即后续大模型都会考虑 OpenAI 兼容方案,通过统一的接口设计,屏蔽了底层模型的差异,使开发者能够无缝切换和对接不同的大模型。

无论是 OpenAI、Anthropic 还是 Cohere,只需简单配置,即可快速接入,大幅降低了开发和维护成本。

借助这一方案,研发同学可以更专注于业务逻辑的实现,而无需为不同模型的适配问题头疼,助你在 AI 的浪潮中游刃有余。

3、示例展示

多说无益,直接上手展示吧~

前期准备:

    1)大模型APIKey -- 自行申请

    2)服务endpoint -- 翻阅各家大模型对接文档

3.1 对接腾讯混元大模型

复制
import os
from openai import OpenAI


model = "hunyuan-turbo"


# 构造 client
client = OpenAI(
    api_key=os.environ.get("HUNYUAN_API_KEY"), # 混元 APIKey
    base_url="https://api.hunyuan.cloud.tencent.com/v1", # 混元 endpoint
)


# 自定义参数传参示例
completion = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "user",
            "content": "你好",
        },
    ]
)


print(model, completion.choices[0].message.content)

执行输出:

图片图片

3.2 对接阿里千问大模型

复制
import os
from openai import OpenAI


model = "qwen-plus"


# 构造 client
client = OpenAI(
    api_key=os.environ.get("QIANWEN_API_KEY"), # 千问 APIKey
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1", # 千问 endpoint
)


# 自定义参数传参示例
completion = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "user",
            "content": "你好",
        },
    ],
)


print(model, completion.choices[0].message.content)

执行输出:

图片图片

4、其他问题

当然,相信有人还有疑问:我如果想使用流式方式输出呢?

事实上,OpenAI 已经为我们提供了现成的参考实现,只需稍作调整即可轻松集成到你的项目中。

相关资讯

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

谷歌凭借Gemini 2.5 Pro在激烈的大模型竞争中一举翻盘。 近日,Geimini Flash预训练负责人Vlad Feinberg在普林斯顿大学分享了相关内容。 他深入分析了Gemini预训练的方法、挑战以及方向,如何在模型大小、算力、数据和推理成本间取得平衡。
4/29/2025 9:16:00 AM
新智元

舍弃自回归!国内团队打造纯扩散多模态大模型LLaDA-V,理解任务新SOTA

本文介绍的工作由中国人民大学高瓴人工智能学院李崇轩、文继荣教授团队与蚂蚁集团共同完成。 游泽彬和聂燊是中国人民大学高瓴人工智能学院的博士生,导师为李崇轩副教授。 该研究基于团队前期发布的、首个性能比肩 LLaMA 3 的 8B 扩散大语言模型 LLaDA。
5/27/2025 3:35:02 PM

函数向量对齐技术,让大模型持续学习不“失忆”丨ICLR 2025

LLMs为什么总是灾难性遗忘? 原来是功能激活在搞怪。 最近来自中国科学技术大学、香港城市大学和浙江大学的联合研究团队,通过对多个语言模型、任务序列和评估指标的系统分析,终于破解了LLMs的灾难性遗忘之谜——遗忘行为具有高度的模型依赖性,而导致遗忘发生的本质却是功能激活的变化。
6/3/2025 8:35:00 AM
  • 1