检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以根据实际情况填写“名称”和“描述”信息。 设置场景类别。场景类别当前支持“图像分类”和“物体检测”。 设置数据处理类型“数据选择”,填写相应算子的设置参数,算子的详细参数参见数据去重算子(SimDeduplication算子)和数据去冗余算子(RRD算子)。 图1 设置场景类别和数据处理类型 设置输入与输出。
使用量化模型需要在NPU的机器上运行。 在模型的保存目录中创建quant_config.json文件,bits必须设置为8,指定量化为int8;group_size必须设置为-1,指定不使用pergroup;desc_act必须设置为false,内容如下: { "bits": 8, "group_size":
--seq-length:要处理的最大seq length。 --workers:设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval:是一个用于设置日志输出间隔的参数,表示输出日志的频率。在训练大规模模型时,可以通过设置这个参数来控制日志的输出。 微调数据集预处理参数说明 微
上传OBS文件 异常处理 提示文件上传失败,有以下三种常见场景。 异常场景1 图5 文件上传失败 可能原因: OBS路径没有设置为具体的文件路径,设置成了文件夹。 OBS中的文件设置了加密。请前往OBS控制台查看,确保该文件未加密。 OBS桶和Notebook不在同一个区域。请确保读取的OBS
1. 在模型的保存目录中创建quant_config.json文件,bits必须设置为8,指定量化为int8;group_size必须设置为-1,指定不使用pergroup;desc_act必须设置为false,内容如下: { "bits": 8, "group_size":
1. 在模型的保存目录中创建quant_config.json文件,bits必须设置为8,指定量化为int8;group_size必须设置为-1,指定不使用pergroup;desc_act必须设置为false,内容如下: { "bits": 8, "group_size":
1. 在模型的保存目录中创建quant_config.json文件,bits必须设置为8,指定量化为int8;group_size必须设置为-1,指定不使用pergroup;desc_act必须设置为false,内容如下: { "bits": 8, "group_size":
1. 在模型的保存目录中创建quant_config.json文件,bits必须设置为8,指定量化为int8;group_size必须设置为-1,指定不使用pergroup;desc_act必须设置为false,内容如下: { "bits": 8, "group_size":
1. 在模型的保存目录中创建quant_config.json文件,bits必须设置为8,指定量化为int8;group_size必须设置为-1,指定不使用pergroup;desc_act必须设置为false,内容如下: { "bits": 8, "group_size":
1. 在模型的保存目录中创建quant_config.json文件,bits必须设置为8,指定量化为int8;group_size必须设置为-1,指定不使用pergroup;desc_act必须设置为false,内容如下: { "bits": 8, "group_size":
部署为一个AI应用。 登录ModelArts控制台,单击“资产管理 > AI应用 > 创建”,开始创建AI应用。 设置创建AI应用的相应参数。此处仅介绍关键参数,设置AI应用的详细参数解释请参见从OBS中选择元模型。 根据需要自定义应用的名称和版本。 模型来源选择“从对象存储服务
如果是client数太多,尤其对于5G以上文件,OBS接口不支持直接调用,需要分多个线程分段复制,目前OBS侧服务端超时时间是30S,可以通过如下设置减少进程数。 # 设置进程数 os.environ['MOX_FILE_LARGE_FILE_TASK_NUM']=1 import moxing as
部署为一个AI应用。 登录ModelArts控制台,单击“资产管理 > AI应用 > 创建”,开始创建AI应用。 设置创建AI应用的相应参数。此处仅介绍关键参数,设置AI应用的详细参数解释请参见从OBS中选择元模型。 根据需要自定义应用的名称和版本。 模型来源选择“从对象存储服务
最小长度,可以根据实际需求设置。 --max-input:输入tokens最大长度,可以根据实际需求设置。 --avg-input:输入tokens长度平均值,可以根据实际需求设置。 --std-input:输入tokens长度方差,可以根据实际需求设置。 --min-outpu
Standard镜像相关 不在同一个主账号下,如何使用他人的自定义镜像创建Notebook? 如何登录并上传镜像到SWR? 在Dockerfile中如何给镜像设置环境变量? 如何通过docker镜像启动容器? 如何在ModelArts的Notebook中配置Conda源? ModelArts的自定义镜像软件版本匹配有哪些注意事项?
Face权重时,对应的存放绝对或相对路径。请根据实际规划修改。 do_train true 指示脚本执行训练步骤,用来控制是否进行模型训练的。如果设置为true,则会进行模型训练;如果设置为false,则不会进行模型训练。 cutoff_len 4096 文本处理时的最大长度,此处为4096,用户可根据自己要求适配。
1. 在模型的保存目录中创建quant_config.json文件,bits必须设置为8,指定量化为int8;group_size必须设置为-1,指定不使用pergroup;desc_act必须设置为false,内容如下: { "bits": 8, "group_size":
按需选择计算规格。单击“选择”,在弹窗中选择资源规格并设置运行时长控制,单击“确定”。 在“所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。 选择计算规格不可用的资源会置灰。右侧“配置信息”区域会显示计算规格的详细数据,AI Gallery会基于资产和资源情况分析该任务是否支持设置“商品数量”,用户可以基于业务需要选择任务所需的资源卡数。
按需选择计算规格。单击“选择”,在弹窗中选择资源规格并设置运行时长控制,单击“确定”。 在“所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。 选择计算规格不可用的资源会置灰。右侧“配置信息”区域会显示计算规格的详细数据,AI Gallery会基于资产和资源情况分析该任务是否支持设置“商品数量”,用户可以基于业务需要选择任务所需的资源卡数。
最小长度,可以根据实际需求设置。 --max-input:输入tokens最大长度,可以根据实际需求设置。 --avg-input:输入tokens长度平均值,可以根据实际需求设置。 --std-input:输入tokens长度方差,可以根据实际需求设置。 --min-outpu