检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--host：服务部署的IP，使用本机IP 0.0.0.0。 --port：服务部署的端口8080。
--host：服务部署的IP，使用本机IP 0.0.0.0。 --port：服务部署的端口8080。
当您需要使用集群资源时，可以使用kubectl工具或k8s API来下发作业。此外，ModelArts还提供了扩缩容、驱动升级等功能，方便您对集群资源进行管理。 图2 使用流程 推荐您根据以下使用流程对Lite Cluster进行使用。
CPU GPU ASCEND description String 规格描述信息。 feature String 规格类别，可选值如下： DEFAULT：CodeLab规格。 NOTEBOOK：Notebook规格。 free Boolean 是否为免费规格。
/scripts/install.sh; sh ./scripts/llama2/0_pl_pretrain_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。
Run `pip install flash_attn`"请参考附录：训练常见问题问题3小节。
--host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：服务部署的端口。 --gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0.9。
skip_first用于跳过指定的前n个step。wait、warmup和active三个参数构成了一次完整的采集，repeat参数表示重复多少次完整的采集。
表9 AIProject参数说明 参数 参数类型 描述 id String AI项目ID。 表10 owner参数说明 参数 参数类型 描述 project_id String 项目ID。
description 否 String 执行记录描述。 status 否 String 执行记录状态。 workspace_id 否 String 工作空间ID。 workflow_id 否 String Workflow工作流ID。
/scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。
登录ModelArts控制台，在“开发环境 > Notebook”中创建Notebook实例，在Terminal或ipynb文件中直接调用ModelArts SDK的接口。在Notebook中调用SDK，可直接参考接口说明，执行OBS管理、作业管理、模型管理和服务管理等操作。
IdentityFile} ${User}@${HostName} -p ${Port} rm -rf /home/ma-user/.vscode-server/bin/ 参数说明： - IdentityFile：本地密钥路径 - User：用户名，例如：ma-user - HostName：IP
通过OBS导入模型时，如何编写打印日志代码才能在ModelArts日志查询界面看到日志 通过OBS创建模型时，构建日志中提示pip下载包失败 通过自定义镜像创建模型失败 导入模型后部署服务，提示磁盘不足 创建模型成功后，部署服务报错，如何排查代码问题 自定义镜像导入配置运行时依赖无效
host_ips Array of strings 节点主机IP。 updated_at String 更新时间，格式为YYYY-MM-DDThh:mm:ss，UTC时间。 node_label String 节点标签。 os_type String 节点操作系统类型。
表11 AIProject 参数 参数类型 描述 id String AI项目ID。 表12 owner参数说明 参数 参数类型 描述 project_id String 项目ID。
定义代码如下： 1 2 3 4 5 6 dependencies = [] dependency1 = Dependencies( installer="pip", # 安装方式，目前支持pip packages=packages
ModelArts承载关键业务的对外开放EIP部署了高防服务，以防大流量攻击。 ModelArts对存放关键数据的数据库部署了数据库安全服务。
description String 执行记录描述。 status String 执行记录状态。 workspace_id String 工作空间ID。 workflow_id String Workflow工作流ID。 workflow_name String 工作流名称。
3、训练过程中报"ModuleNotFoundError: No module named 'multipart'"关键字异常，可更新python-multipart为0.0.12版本，具体请参考问题4："No module named 'multipart'"报错： 父主题： 主流开源大模型基于
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
