
Switchyard
NVIDIA-NeMo
暂无描述
AI 简介
Switchyard 是一个用 Rust 编写的 LLM 流量代理与库,用于在不同大语言模型后端间路由请求并实现 API 协议转换。其核心功能包括 OpenAI 与 Anthropic 接口格式的双向翻译、支持随机路由、LLM 分类路由、信号驱动分阶段路由等可组合算法,以及基于 Prometheus 的细粒度运营指标采集(如请求量、延迟、token 数、路由开销)。适用于本地开发调试、多模型 A/B 对比测试、编码智能体(如 Claude Code)对接开源模型服务(vLLM/NVIDIA NIM/Ollama)等场景,目前为预 Alpha 阶段实验性工具,不建议生产环境使用。
Rust
603
Stars
70
Forks
0
Watchers
0
Issues
Star 增长
今日0
近 7 天0
近 30 天0
综合评分43.55
默认分支main