检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts SDK支持在本地安装配置使用。使用时，需进行Session鉴权。 本地安装SDK。如果本地未安装SDK，可参考（可选）本地服务器安装ModelArts SDK安装；如果本地已安装，则无需再次安装。 进行Session鉴权。可参见（可选）Session鉴权完成鉴权。鉴权完成后，即可开始使用。
DevServer 该环境为裸机开发环境，主要面向深度定制化开发场景。 环境开通指导请参考DevServer资源开通；环境配置指导请参考Snt9B裸金属服务器环境配置指南。 本文基于ModelArts Lite DevServer进行操作，请参考上表说明在贵阳一环境开通和配置指导完成裸机和容器开发初始化配置。
x86_64架构的主机，操作系统使用ubuntu-18.04。您可以准备相同规格的弹性云服务器ECS或者应用本地已有的主机进行自定义镜像的制作。 购买ECS服务器的具体操作请参考购买并登录Linux弹性云服务器。“CPU架构”选择“x86计算”，“镜像”选择“公共镜像”，推荐使用Ubuntu18
ModelSpecification object 模型部署最小部署规格。 表6 ModelSpecification 参数 参数类型 描述 min_cpu String 最小CPU规格。 min_gpu String 最小GPU规格。 min_memory String 最小内存。 min_ascend String
DeepSpeed的核心思想是在单个GPU上实现大规模模型并行训练，从而提高训练速度。DeepSpeed提供了一系列的优化技术，如ZeRO内存优化、分布式训练等，可以帮助用户更好地利用多个GPU进行训练 Accelerate是一种深度学习加速框架，主要针对分布式训练场景。Acce
/scripts/llama2/0_pl_lora_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
和提升作业的稳定性。详细可了解：无条件自动重启。 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考不同模型推荐参数、NPU卡数进行配置。 图5 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
必须大于0，不配置默认值为1。当小于1时，代表滚动升级时增加的实例数的百分比；当大于1时，代表滚动升级时最大扩容的实例数。 max_unavailable Float 必须大于0，不配置默认值为0。当小于1时，代表滚动升级时允许缩容的实例数的百分比；当大于1时，代表滚动升级时允许缩容的实例数。 ter
x86_64架构的主机，操作系统使用ubuntu-18.04。您可以准备相同规格的弹性云服务器ECS或者应用本地已有的主机进行自定义镜像的制作。 购买ECS服务器的具体操作请参考购买并登录Linux弹性云服务器。“CPU架构”选择“x86计算”，“镜像”选择“公共镜像”，推荐使用Ubuntu18
/scripts/llama2/0_pl_pretrain_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
/scripts/llama2/0_pl_sft_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
数据，SFS支持扩容。 GPU规格的资源 表1 GPU cache目录容量 GPU规格 cache目录容量 GP Vnt1 800G 8*GP Vnt1 3T GP Pnt1 800G CPU规格的资源 表2 CPU cache目录容量 CPU规格 cache目录容量 2 核 8GiB
DEFAULT：CodeLab免费规格实例，每个用户最多只能创建一个。 NOTEBOOK：计费规格实例。 flavor 是 String 实例的机器规格。如下规格仅供参照，实际支持规格以具体区域为准。 modelarts.vm.cpu.2u：Intel CPU通用规格，用于快速数据探索和实验。
/scripts/llama2/0_pl_pretrain_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
的稳定性。详细可了解：无条件自动重启。 Step5 其他配置 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表1进行配置。 图4 选择资源池规格 作业日志选择OBS中的路径，训练作业的日志信息则保存该路径下。 最后，提交训练作业，训练完成
Administrator 裸金属服务器BMS BMS FullAccess 镜像服务IMS IMS FullAccess 数据加密服务DEW DEW KeypairReadOnlyAccess 虚拟私有云VPC VPC FullAccess 弹性云服务器ECS ECS FullAccess
进行适当的访问控制，以确保只有授权用户可以访问管理在线服务等相关资源。 监控和报告任何异常活动，并及时采取措施。 推理部署安全责任 提供商 底层ecs相关的系统补丁修复 k8s的版本更新和漏洞修复 虚拟机OS的版本生命周期维护 ModelArts推理平台自身的安全合规性 容器应用服务加固 模型运行环境的版本更新和漏洞定期修复
择当前驱动版本，升级完成后所有节点驱动会升级为统一版本。 升级方式：可选择安全升级或强制升级。 安全升级：待节点上没有作业时再升级，升级周期可能比较长。 强制升级：忽略运行中作业，直接升级，可能会导致运行中作业失败。 开启滚动：开启开关后，支持滚动升级的方式升级驱动。当前支持“按
在ModelArts的Notebook中不同规格资源/cache目录的大小是多少？ 创建Notebook时，可以根据业务数据量的大小选择资源。 ModelArts会挂载硬盘至“/cache”目录，用户可以使用此目录来储存临时文件。“/cache”与代码目录共用资源，不同资源规格有不同的容量。 映射规则
/scripts/llama2/0_pl_sft_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
