检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AI开发平台ModelArts ModelArts CommonOperations ModelArts Dependency Access 弹性集群Cluster(包含Standard资源池和Lite资源池) 云审计服务CTS CTS Administrator 云容器引擎CCE CCE
置其他统计维度和周期,详细介绍请参见流水与明细账单。 查看专属资源池的账单 登录ModelArts管理控制台,在“AI专属资源池 > 弹性集群Cluster”页面,进入“Standard资源池”页签中,单击资源名称进入资源详情。 在资源详情页,切换到“规格”页签,在规格列表中复制“计量ID”。
具体添加代码内容以及位置,如下所示。 elif [[ -n "$VC_MAIN_HOSTS" ]]; then # 针对 Lite Cluster CCE 集群平台 # 获取 RANK_TABLE_FILE 的信息 RANKTABLE_RESULT=$(python $SHELL_FOLDER/
具体添加代码内容以及位置,如下所示。 elif [[ -n "$VC_MAIN_HOSTS" ]]; then # 针对 Lite Cluster CCE 集群平台 # 获取 RANK_TABLE_FILE 的信息 RANKTABLE_RESULT=$(python $SHELL_FOLDER/
关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1.27~1.28。版本使用的容器引擎为Containerd。 推理部署使用的服务框架是vLLM。vLLM支持v0.6.3版本。
断点续训和故障快恢说明 相同点 断点续训(Checkpointing)和故障快恢都是指训练中断后可从训练中一定间隔(${save-interval})保存的模型(包括模型参数、优化器状态、训练迭代次数等)继续训练恢复,而不需要从头开始。 不同点 断点续训:可指定加载训练过程中生成
mc2融合算子报错 Yi-34B、Qwen1.5系列、GLM4-9B模型执行lora微调策略任务时产生mc2融合算子错误。 图1 mc2融合算子错误 解决方法 修改代码文件:AscendFactory/scripts_modellink/{model_name}/3_training
分布式训练功能介绍 ModelArts提供了如下能力: 丰富的官方预置镜像,满足用户的需求。 支持基于预置镜像自定义制作专属开发环境,并保存使用。 丰富的教程,帮助用户快速适配分布式训练,使用分布式训练极大减少训练时间。 分布式训练调测的能力,可在PyCharm/VSCode/J
idle:安全升级,待节点上没有作业运行时进行驱动升级 表19 PoolStatus 参数 参数类型 描述 phase String 资源池集群状态。可选值如下: Creating:创建中 Running:运行中 Abnormal:资源池不正常 Deleting:删除中 Error:资源池错误
--trust-remote-code 方式三:多机部署vLLM服务API接口启动服务(可选) 当单机显存无法放下模型权重时,可选用该种方式部署;该种部署方式,需要机器在同一个集群,NPU卡之间IP能够ping通方可,具体步骤如下: 查看卡IP。 for i in $(seq 0 7);do hccn_tool -i
idle:安全升级,待节点上没有作业运行时进行驱动升级 表21 PoolStatus 参数 参数类型 描述 phase String 资源池集群状态。可选值如下: Creating:创建中 Running:运行中 Abnormal:资源池不正常 Deleting:删除中 Error:资源池错误
"description" : "AI inference application development, preconfigured ModelBox and AI engine LibTorch, only SSH connection supported.", "dev_services"
监控安全风险 ModelArts支持监控ModelArts在线服务和对应模型负载,执行自动实时监控、告警和通知操作。 云监控可以帮助用户更好地了解服务和模型的各项性能指标。 详细内容请参见ModelArts支持的监控指标。 父主题: 安全
用访问时延、数据本地化留存及本地系统交互等有高要求的场景,可便捷地将云端丰富应用部署到本地,CloudPond介绍可参考产品介绍。 表3 集群配置参数说明 参数名称 说明 服务器名称 Server的机器名称。只能包含数字、大小写字母、下划线和中划线,长度不能超过64位且不能为空。
使用自动分组智能标注作业 为了提升智能标注算法精度,可以均衡标注多个类别,有助于提升智能标注算法精度。ModelArts内置了分组算法,您可以针对您选中的数据,执行自动分组,提升您的数据标注效率。 自动分组可以理解为数据标注的预处理,先使用聚类算法对未标注图片进行聚类,再根据聚类
Standard模型训练 ModelArts Standard模型训练提供容器化服务和计算资源管理能力,负责建立和管理机器学习训练工作负载所需的基础设施,减轻用户的负担,为用户提供灵活、稳定、易用和极致性能的深度学习训练环境。通过ModelArts Standard模型训练,用户可以专注于开发、训练和微调模型。
预览。 目前如下后缀结尾的文件类型支持代码预览:txt、py、h、xml、html、c、properties、yml、cmake、sh、css、js、cpp、json、md、sql、bat、conf 图1 下载预览代码 在详情页面单击“订阅”,根据算法是否具有使用约束进行不同操作:
--trust-remote-code 方式三:多机部署vLLM服务API接口启动服务(可选) 当单机显存无法放下模型权重时,可选用该种方式部署;该种部署方式,需要机器在同一个集群,NPU卡之间IP能够ping通方可,具体步骤如下: 查看卡IP。 for i in $(seq 0 7);do hccn_tool -i
如果您购买的专属池是单节点的Tnt004规格:GPU: 1*tnt004 | CPU: 8 核 32GiB (modelarts.vm.gpu._tnt004u8),使用该集群创建Notebook实例时,Tnt004卡空闲但是规格显示售罄或者创建失败显示资源不足时,请联系技术支撑。 “类型” 芯片类型包括CPU、GPU和ASCEND类型。
准备图像分类数据 使用ModelArts自动学习构建模型时,您需要将数据上传至对象存储服务(OBS)中。OBS桶需要与ModelArts在同一区域。 数据集要求 保证图片质量:不能有损坏的图片,目前支持的格式包括jpg、jpeg、bmp、png。 不要把明显不同的多个任务数据放在同一个数据集内。