CloudOps Vault
GitHub
Home

❯

AI

❯

企业级私有化大模型

AI / 学习笔记

文件夹: AI/企业级私有化大模型

此文件夹下有6条笔记。

  • 2026年10月18日

    基于K8s部署vLLM和LiteLLM

    • 2026年10月12日

      企业级私有大模型

      • 2026年10月11日

        大模型本地部署选型:Ollama、vLLM、SGLang 与 vLLM-Omni

        • AI/大模型
        • AI/推理服务
        • AI/私有化部署
      • 2026年10月04日

        为何用 KServe 管理 vLLM 推理服务?

        • ai/inference
        • kubernetes/kserve
        • llm/vllm
      • 2026年9月29日

        KV Cache:从原理到集群调度

        • AI/企业级私有化大模型
        • AI/LLM-推理
      • 2026年9月29日

        大模型精度与量化:FP64 到 NVFP4

        • AI/企业级私有化大模型
        • 混合精度
        • 量化

      Created with Quartz v4.5.2 © 2026

      • GitHub