聯繫我們

課程簡介

Ollama 扩展简介

  • Ollama 的架构与扩展考量
  • 多用户部署中的常见瓶颈
  • 基础设施就绪的最佳实践

资源分配与 GPU 优化

  • CPU/GPU 高效利用策略
  • 内存与带宽考量
  • 容器级资源限制

使用容器与 Kubernetes 进行部署

  • 使用 Docker 将 Ollama 容器化
  • 在 Kubernetes 集群中运行 Ollama
  • 负载均衡与服务发现

自动扩缩与批处理

  • 为 Ollama 设计自动扩缩策略
  • 用于优化吞吐量的批推理技术
  • 延迟与吞吐量之间的权衡

延迟优化

  • 剖析推理性能
  • 缓存策略与模型预热
  • 减少 I/O 与通信开销

监控与可观测性

  • 集成 Prometheus 以获取指标
  • 使用 Grafana 构建仪表板
  • Ollama 基础设施的告警与事件响应

成本管理与扩展策略

  • 感知成本的 GPU 分配
  • 云环境与本地部署的考量
  • 可持续扩展的策略

总结与后续步骤

最低要求

  • 具备 Linux 系统管理经验
  • 了解容器化与编排技术
  • 熟悉机器学习模型部署

目标受众

  • DevOps 工程师
  • ML 基础设施团队
  • 站点可靠性工程师
 21 小時

課程分類