共享弹性服务
面向流量波动明显、希望快速开始的模型服务，由平台统一调度计算资源和请求容量。
- 按调用或资源用量计费
- 统一 API 与模型标识
- 适合开发、测试和中小规模生产
MODEL HOSTING
把模型产物变成稳定、可管理的 API
模型托管覆盖的不只是启动一个推理进程。我们计划把模型文件、运行环境、计算资源、网关路由、版本发布和运行监控组织成可持续运营的服务。
查看当前平台模型 托管业务筹备中
PLANNED DELIVERY PATH
模型产物权重 · 配置 · 许可
推理运行时引擎 · 依赖 · 镜像
计算实例资源 · 副本 · 弹性
Nexus API鉴权 · 路由 · 计量
指标与日志访问控制运行保障
DELIVERY OPTIONS
按隔离、容量和网络要求选择托管方式
以下是计划中的服务形态。实际可用区域、实例规格、价格和服务等级将在基础设施与供应方案确定后公布。
专属推理实例
为单一客户保留实例与资源配置，适合稳定业务、性能可预测和更严格隔离需求。
- 指定实例规格与副本
- 独立容量和发布窗口
- 适合核心生产工作负载
私有网络部署
规划中的企业方案，可根据网络、安全和数据边界评估专有环境或受控网络接入。
- 网络与访问策略评估
- 企业身份和审计衔接
- 按项目确认基础设施边界
OPERATIONS
上线之后，服务才真正开始
模型托管将以持续运行和可观测为核心，而不是一次性的服务器交付。
6个计划中的运行管理维度
资源与性能
实例规格、副本、并发、批处理策略和容量水位统一记录。
版本与发布
模型产物和运行环境形成版本，支持灰度、滚动发布与回滚。
指标与日志
观察请求量、延迟、错误率、资源利用率和模型级调用记录。
弹性与恢复
根据流量和健康状态调整副本，并对异常实例执行替换和恢复。
隔离与安全
通过访问凭据、网络边界、最小权限和审计记录保护服务。
成本与容量
区分固定资源和按量消费，持续评估性能目标与资源成本。
SERVICE LIFECYCLE
从模型文件到受控发布
每个托管项目都需要完成准入、运行时适配和性能验收，避免未经验证的模型直接进入生产流量。
- 01准入评估
确认模型来源、许可、文件格式、规模和目标流量。
- 02运行时适配
选择推理引擎、依赖版本、精度和硬件配置。
- 03性能验收
完成加载、接口、质量、并发和稳定性测试。
- 04受控发布
绑定模型 ID、访问策略、配额和网关路由。
- 05持续运营
监控服务、管理版本并根据真实用量调整容量。
WHAT TO PREPARE
接入前需要明确的四类信息
- 模型与许可
- 模型名称、来源、使用许可、权重格式、参数规模和校验信息
- 运行环境
- 框架、推理引擎、依赖版本、精度、量化方式和自定义代码
- 服务目标
- 上下文、并发、延迟、吞吐、可用性、区域和预估流量曲线
- 安全边界
- 访问主体、数据类型、网络要求、日志保留和合规限制
托管准入边界
查看可接受使用政策 平台计划仅接收来源清晰、授权完整且符合可接受使用政策的模型产物。包含未知自定义代码、许可不明或无法完成安全检查的内容不会直接进入托管环境。
CURRENT ACCESS
托管服务开放前，先使用统一模型 API
当前开放模型已接入同一网关，可直接在模型广场查看规格、价格和调用方式。