AI Gateway 架构图

整体架构

graph TB
    User[终端用户<br/>单一域名访问] -->|HTTPS| DCDN[DCDN / 全局入口层<br/>多家 CDN / PoP<br/>按地域、健康度和策略动态选路]

    DCDN --> GW1[区域网关集群 - Region 1<br/>Gateway Node]
    DCDN --> GW2[区域网关集群 - Region 2<br/>Gateway Node]
    DCDN --> GW3[区域网关集群 - Region N<br/>Gateway Node]

    subgraph Gateway["区域网关功能"]
        Auth[鉴权]
        Risk[风控]
        Router[供应商选择]
        Plugin[内部调度插件]
    end

    GW1 -.->|包含| Gateway
    GW2 -.->|包含| Gateway
    GW3 -.->|包含| Gateway

    GW1 --> AI1[AI 供应商 1<br/>OpenAI / Claude / etc]
    GW1 --> AI2[AI 供应商 2]
    GW2 --> AI3[AI 供应商 3]
    GW2 --> AI4[AI 供应商 4]
    GW3 --> AI5[AI 供应商 N]

    GW1 -->|usage / 计费事件| MGR[全局管理平面]
    GW2 -->|usage / 计费事件| MGR
    GW3 -->|usage / 计费事件| MGR

    subgraph Management["全局管理平面"]
        Manager[Manager<br/>入库 / 结算 / 风控]
        Admin[Admin<br/>统一管理入口<br/>配置 / 报表 / 策略分发]
    end

    MGR -.->|包含| Management

    Admin -.->|策略下发| GW1
    Admin -.->|策略下发| GW2
    Admin -.->|策略下发| GW3

    style User fill:#e1f5ff
    style DCDN fill:#fff4e1
    style GW1 fill:#e8f5e9
    style GW2 fill:#e8f5e9
    style GW3 fill:#e8f5e9
    style MGR fill:#f3e5f5
    style AI1 fill:#fce4ec
    style AI2 fill:#fce4ec
    style AI3 fill:#fce4ec
    style AI4 fill:#fce4ec
    style AI5 fill:#fce4ec

数据流向

sequenceDiagram
    participant User as 终端用户
    participant DCDN as DCDN 入口
    participant GW as 区域网关
    participant AI as AI 供应商
    participant MGR as 管理平面

    User->>DCDN: 1. API 请求
    DCDN->>GW: 2. 路由到最优区域

    GW->>GW: 3. 鉴权 & 风控
    GW->>GW: 4. 供应商选择

    GW->>AI: 5. 转发请求
    AI->>GW: 6. AI 响应

    GW->>User: 7. 返回结果

    GW->>MGR: 8. 上报 usage & 计费事件
    MGR->>MGR: 9. 入库 & 结算

    Note over MGR: Admin 可实时查看<br/>配置、报表、策略

核心组件说明

1. DCDN / 全局入口层

• 功能: 全局负载均衡、智能 DNS 解析
• 能力:
  • 多家 CDN 节点
  • 基于地域的智能选路
  • 健康检查和故障切换
  • DDoS 防护

2. 区域网关集群 (Gateway Node)

• 功能: 业务逻辑处理和流量管理
• 能力:
  • 统一鉴权 (API Key / JWT / OAuth)
  • 风控和限流
  • 供应商智能选择
  • 请求/响应转换
  • 内部调度插件扩展

3. AI 供应商层

• 支持:
  • OpenAI (GPT-4, GPT-3.5, etc)
  • Anthropic (Claude)
  • Google (PaLM, Gemini)
  • 自建模型
  • 其他第三方供应商

4. 全局管理平面

• Manager:

  • Usage 数据入库
  • 费用结算
  • 风控规则管理

• Admin:

  • 统一配置管理
  • 实时报表和监控
  • 策略分发和更新

流量路由策略

graph LR
    Request[API 请求] --> Check{路由决策}

    Check -->|成本优先| Cheap[低成本供应商]
    Check -->|性能优先| Fast[低延迟供应商]
    Check -->|可用性优先| Stable[高可用供应商]
    Check -->|智能均衡| AI[AI 智能调度]

    Cheap --> Response[返回结果]
    Fast --> Response
    Stable --> Response
    AI --> Response

    style Request fill:#e1f5ff
    style Check fill:#fff4e1
    style Response fill:#e8f5e9

扩展能力

可观测性

• 分布式追踪 (Jaeger / Zipkin)
• 指标监控 (Prometheus + Grafana)
• 日志聚合 (ELK / Loki)
• 告警系统

缓存优化

• 响应缓存 (相同请求复用)
• Token 缓存
• 模型元数据缓存

成本优化

• 实时成本分析
• 自动供应商切换
• 配额和预算管理
• 批量请求优化

安全增强

• Rate Limiting
• IP 白名单/黑名单
• 请求签名验证
• 敏感数据脱敏