Together AI 怎么用:注册、密钥与 API 调用避坑
Together AI 是一个托管开源模型的推理平台,提供类似 OpenAI 的 API 接口。
如果你已经用过 OpenAI 的 SDK,基本只需要替换 base_url 和 api_key 就能跑通。
下面按实际使用顺序,从注册到发出第一个请求讲清楚。
开始前需要准备什么
- 一个可用的邮箱,用于注册 Together AI 账号。
- 一台能访问外网的开发机或服务器,Python 3.8 以上即可。
- 如果使用 Python,需要安装
openai或together官方包;用 curl 则无需额外依赖。 - 账号内需要有可用额度,免费额度或充值余额都可以,余额不足时接口会返回 402 或 429。
注册入口在 Together AI 官网,完成邮箱验证后进入控制台。
左侧菜单找到 API Keys,点击 Create key 生成密钥。密钥只在创建时显示一次,复制后保存到本地,不要直接写进代码仓库。
用 Python 发出第一个请求
Together AI 兼容 OpenAI 的 Chat Completions 格式,推荐用 openai 包调用。
先安装依赖:
pip install openai
设置环境变量,避免把密钥硬编码在脚本里:
export TOGETHER_API_KEY="你的API密钥"
然后写一个最小调用脚本:
from openai import OpenAI
client = OpenAI(
api_key="你的API密钥",
base_url="https://api.together.xyz/v1"
)
resp = client.chat.completions.create(
model="meta-llama/Llama-3.3-70B-Instruct-Turbo",
messages=[{"role": "user", "content": "用一句话解释什么是向量数据库"}]
)
print(resp.choices[0].message.content)
运行后如果正常输出一段中文回答,说明密钥和网络都通了。
模型名称必须和控制台 Models 页面显示的一致,大小写和斜杠都不能省略,否则会返回 404。
用 curl 快速验证接口
不想装 Python 包时,可以用 curl 直接测:
curl -s https://api.together.xyz/v1/chat/completions \
-H "Authorization: Bearer $TOGETHER_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "meta-llama/Llama-3.3-70B-Instruct-Turbo",
"messages": [{"role": "user", "content": "你好"}]
}'
返回 JSON 中如果包含 choices 字段,就表示调用成功。
如果返回 401,优先检查 Authorization 头是否带了 Bearer 前缀;
返回 404 则检查模型名是否拼写正确。
容易踩坑的几个地方
- 密钥泄露:不要把密钥写进前端代码或公开仓库,一旦泄露立即在控制台删除并重建。
- 模型名变更:平台会下线旧模型,调用前先到
Models页面确认当前可用名称,不要照搬旧教程里的模型 ID。 - 余额和限流:免费额度用完后请求会失败,控制台
Billing页面可以查看余额;短时间高频请求可能触发 429,需要降低并发或加重试。 - 网络问题:如果请求超时,先在服务器上执行
curl -I https://api.together.xyz确认能否连通,再排查代理或防火墙。
怎么确认真的调通了
调用成功后,除了看脚本输出,还可以在控制台 Activity 或 Usage 页面查看请求记录和 token 消耗。
如果记录里能看到对应时间点的调用,说明请求确实到达了平台,而不是本地缓存或假成功。
第一次接入建议先用一条短消息测试,确认链路通了再批量跑任务。
如果后续要切换其他兼容 OpenAI 的平台,只需要改 base_url 和密钥;
模型名称按各平台文档调整即可。