AIGC时代，基于云原生 MLOps 构建属于你的大模型（上）

来源：博客园时间：2023-06-28 04:01:39

为了满足企业在数字化转型过程中对更新迭代生产力工具的需求，灵雀云近日推出了云原生 MLOps 解决方案，帮助企业快速落地AI技术、实现智能化应用和服务。

(相关资料图)

为什么要打造云原生MLOps解决方案？

随着信息化技术的不断发展，企业在数字化转型的过程中，需要不断地更新迭代生产力工具，从最早的将物理世界的主要业务数据使用信息化方式代替，到后来的利用大数据平台将沉淀的数据转化为企业的数据资产，再到现在的利用人工智能和机器学习技术将数据资产进一步转化为模型资产，实现智能化应用和服务。

在这个演进过程中，作为AI时代的DevOps，MLOps成为不可或缺的基础平台能力，为企业提供从模型开发、训练、部署、管理到优化的全流程支持，助力企业快速实现AI落地和创造价值。

然而，目前市场上的MLOps开源工具多数存在着部署复杂、运维困难、功能不完善、易用性差等问题，企业落地AI机器学习技术依然面临着很多挑战和高昂的成本。为了解决这些问题，灵雀云作为云原生领域领军企业，近日推出了企业级云原生 MLOps 解决方案以及其开源版本 kubeflow-chart，致力于最大程度地降低企业应用 AI 能力的门槛，使企业获得高效、低成本、规范化、可追溯的 AI 应用开发以及上线流程，帮助企业快速应用云原生机器学习技术，构建高效、稳定、可扩展的MLOps平台。

开源版本kubeflow-chart：解决云原生工具kubeflow部署难、使用难的困境

灵雀云自主研发的开源 MLOps 工具 Kubeflow-chart，旨在简化在 Kubernetes 上部署开源 Kubeflow 的步骤，免去企业调研、部署、运维、应用迁移和适配的成本，大幅降低了企业应用 Kubeflow 的成本。Kubeflow-chart 使用 Helm Chart 方式定制了 Kubeflow 的安装方式，只需运行一个命令（helm install），即可轻松完成 Kubeflow 及其依赖组件（如 dex、cert-manager、istio、knative-serving 等）的安装。

此外，Kubeflow-chart 提供了常见的配置项抽出，如镜像地址、认证配置信息、默认账户、依赖组件安装开关等，只需修改 values.yaml 文件，即可轻松在不同的 Kubernetes 环境中部署 Kubeflow。同时，还提供了 values-cn.yaml 文件，解决了国内开发者在镜像下载方面的困扰。Kubeflow-chart 让开发者能够轻松快速地在 Kubernetes 上部署、学习、使用和管理目前最流行的机器学习软件。

Alauda MLOps：更完善、更先进、更易用、更强大

与此同时，为了为企业用户提供更便捷的云原生 MLOps 体验，灵雀云在开源版本的Kubeflow-chart 之上，推出了更完善、更先进、更易用、更强大的企业级 MLOps 解决方案Alauda MLOps（以下简称AML）。

相较于现有的开源 MLOps 方案，AML在以下方面具有显著优势：

1. 非侵入开发模式：支持非侵入式的可视化工作流编排开发环境，无需修改原有工程代码即可应用 MLOps 能力。

2. 可视化分布式：在可视化工作流开发时，直接配置多种形式的分布式训练。

3. 多租户和配额：与ACP联动，实现可视化多租户资源配额管理（如 CPU、GPU、vGPU）。

4. 虚拟 GPU：支持使用 GPUManager 管理的虚拟 GPU 资源。

5. 调度器：利用 Volcano 强化分布式训练任务的调度器，支持 TFJob、PytorchJob、MPIJob 和通用 Argo 工作流。

6. 实验追踪：集成 MLFlow，代替 Kubeflow 实验追踪，并提供可视化实验比对功能。

7. 数据标注：集成 Label Studio，与 S3 存储联动，完成可视化数据标注。

8. SQL 训练：集成 SQLFlow，使用 SQL 语言完成模型训练和预测。

9. 大模型：在数据存储、分布式训练、模型存储等 MLOps 关键环节，支持大模型的存储和调用。