登录注册
← 博客

更好的性能:更高的并发,更低的延迟

2026-10-26

性能看两件事:同时能跑多少请求,以及每个请求多快回来。TokenJoy 在这两点上都比直接用单个官方账号更好。

更高的并发

并发限速是按账号算的

以 DeepSeek 为例,它在文档里公开了并发规则:

deepseek-flash deepseek-v4-pro
每个账号的并发上限 2500 500
  • 一个请求从发出到模型响应完成,算作一个并发;
  • 并发上限按账号计算,与 API Key 无关——同一个账号多建几把 Key,上限也不会变多;
  • 超过上限的请求会收到 HTTP 429。

一个账号的上限是固定的,想要更高的并发,办法只有一个:更多的账号。

多账号负载均衡:并发按账号叠加

每家模型提供商背后,我们都准备了多个账号,请求由网关分摊到不同账号上。能承受的并发是:

单个账号的并发上限 × 账号数量

举个例子,如果有 10 个账号,deepseek-v4-pro 能同时处理的请求就是 500 × 10 = 5000 个,是单个账号的 10 倍。

没有 5 小时限额

官方的部分套餐会按 5 小时的滚动窗口计算用量,用满了就得等窗口重置。这个限制是官方用来均衡整体负载的:把每个账号的用量切成小段,峰值就被摊平了。

多账号负载均衡天然起到了同样的作用:负载分摊在所有账号上,某个账号的窗口快满时,后面的请求交给其他账号。所以你不会撞上 5 小时限额,按实际用量扣积分就行。

更低的延迟

访问海外:高速专线

Anthropic、OpenAI、Google 的服务器在海外。我们访问它们走的是 CN2 高速链路:路由更短、拥塞更少,晚高峰的延迟也不会明显上升。对你来说,就是首字更快出来,流式输出不卡顿。

访问国内:模型在哪,我们就在哪

像 DeepSeek 这样的国内提供商,请求不需要出境绕一圈。我们在模型提供商所在地的国内机器上接入,请求就近到达,路径最短。

自动的网络拓扑

用哪条线路、走哪台机器,不需要你操心。网关维护着一张自动的网络拓扑:按目标提供商自动选择线路,海外走高速专线,国内走就近的机器。

对你意味着什么

  • 同时开多个 Claude Code、Codex 或 Agent,不用担心互相抢额度;
  • 批量跑评测、批量处理数据时,可以把并发开高,整体更快跑完;
  • 不管调用海外还是国内的模型,请求都走最短、最快的路径。

仍然存在的边界

  • 账号的总容量是有限的,极端的瞬时洪峰仍可能收到 429,稍等重试即可;
  • 余额用完时 Key 会自动暂停,兑换卡密充值后自动恢复。