检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表25 AIProject 参数 参数类型 描述 id String AI项目ID。 表26 queuing_info参数说明 参数 参数类型 描述 id String 实例ID。 name String 实例名称。
使用前必读 在调用ModelArts API之前,请确保已经充分了解ModelArts相关概念,详细信息请参见产品介绍。 ModelArts提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用
description String 该镜像所对应的描述信息,长度限制512个字符。 status String 镜像状态。枚举值如下: INIT:初始化。 CREATING:镜像保存中,此时训练作业不可用。 CREATE_FAILED:镜像保存失败。
transformers import AutoImageProcessor from torchvision.transforms import RandomResizedCrop, Compose, Normalize, ToTensor, RandomHorizontalFlip
/scripts/install.sh; sh ./scripts/llama2/0_pl_lora_13b.sh 选择用户自己的专属资源池,以及规格与节点数。防止训练过程中出现内存溢出的情况,用户可参考表2进行配置。
-p /home/ma-user/.local/etc/jupyter vi /home/ma-user/.local/etc/jupyter/jupyter_notebook_config.py 在打开的juputer_notebook_config.py中,增加以下代码后按ESC
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持
# shell cd /home_host/work benchmark --modelFile=diffusers/scripts/mindir_models/text_encoder.mindir --device=Ascend 上述命令中:modelFile指定生成的mindir
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外
可选值如下: true:清空难例属性(默认值) false:不清空难例属性 description 否 String 版本描述信息,默认为空,长度为0-256位,不能包含!<>=&"'特殊字符。 export_images 否 Boolean 发布时是否导出图片到版本输出目录。
准备代码 准备AscendCloud-6.3.908-xxx.zip。 准备镜像 准备推理模型适用的容器镜像。 准备Notebook 本案例在Notebook上部署推理服务进行调试,因此需要创建Notebook。
description 否 String 团队标注任务描述,长度为0-256位,不能包含^!<>=&"'特殊字符。 task_id 否 String 团队标注任务ID。
专属资源池关联SFS Turbo显示异常 问题现象1 专属资源池关联SFS Turbo时显示异常,关联失败。 图1 关联异常 图2 报错提示 问题现象2 网络操作解除关联SFS Turbo后状态仍显示已关联且无报错信息,而解除关联按钮置灰不可操作。同时该网络的解除关联SFS Turbo
// Hover to view descriptions of existing attributes. // For more information, visit: https://go.microsoft.com/fwlink/?
/scripts/install.sh; sh ./scripts/llama2/0_pl_pretrain_13b.sh 选择用户自己的专属资源池,以及规格与节点数。防止训练过程中出现内存溢出的情况,用户可参考表2进行配置。
/scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 选择用户自己的专属资源池,以及规格与节点数。防止训练过程中出现内存溢出的情况,用户可参考表2进行配置。
skip_first用于跳过指定的前n个step。wait、warmup和active三个参数构成了一次完整的采集,repeat参数表示重复多少次完整的采集。
表9 AIProject参数说明 参数 参数类型 描述 id String AI项目ID。 表10 owner参数说明 参数 参数类型 描述 project_id String 项目ID。
=2) by (cluster_name, node_ip,type) 图2 告警规则设置 告警条件:选择触发条件在1个监控周期内,如果平均值>=1达到连续1次时,产生重要告警。 告警通知(可选):若需要将告警通过邮件、手机方式通知您,可在告警通知处,为此告警规则配置行动规则。
Flip 翻转,沿图片水平轴或竖直轴做翻转,是非常常见的增强方法。 lr_ud:选择翻转的方向,lr为水平翻转,ud为竖直翻转。默认值为lr flip_p:做翻转操作的概率。默认值为1。 do_validation:数据扩增前是否进行数据校验。默认值为True。