检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
拼接而成;若以openai接口方式启动服务,API接口公网地址与"/v1/completions"拼接而成。部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code:获取方式见访问在线服务(APP认证)。 --tokenizer:to
Code开发环境中,单击左侧Remote Explorer按钮,在上方的下拉列表中选择“SSH Target”,再单击页面上的设置按钮,此时会出现SSH配置文件路径。 图3 配置SSH Targets页面 单击列表中出现的SSH路径按钮,打开config文件,进行配置。 图4 配置SSH
r_path、dataset_dir和dataset或eval_dataset参数或其它内容,根据实际情况选择yaml文件;参数详解可参考表1。 config目录结构,请根据实际要求选择、修改文件: |──AscendFactory/examples/config/ # config配置文件
本文档适配昇腾云ModelArts 6.3.910版本,请参考表1获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称 获取路径
接而成;如果以openai接口方式启动服务,API接口公网地址与"/v1/completions"拼接而成。部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code:获取方式见访问在线服务(APP认证)。 --tokenizer:to
接而成;如果以openai接口方式启动服务,API接口公网地址与"/v1/completions"拼接而成。部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code:获取方式见访问在线服务(APP认证)。 --tokenizer:to
pyterLab中下载大于100MB的文件到本地。 从JupyterLab中下载不大于100MB的文件至本地 在JupyterLab文件列表中,选择需要下载的文件,单击右键,在操作菜单中选择“Download”下载至本地。 下载的目的路径,为您本地浏览器设置的下载目录。 图1 下载文件
”、“VC_TASK_INDEX”、“MA_NUM_GPUS”为ModelArts训练容器中预置的环境变量。训练容器环境变量详细介绍可参考查看训练容器环境变量。 通过obsutils,将代码文件夹放到OBS上,然后通过OBS将代码传至SFS相应目录中。 在SFS中将代码文件Swi
Array<String>> 标签属性,是Object格式,存放任意的键值对;key是属性名称,value是取值列表,如value为null表示不根据值搜索,否则搜索的值满足列表中任意一个即可。 type 否 Integer 标签类型。可选值如下: 0:图像分类 1:物体检测 3: 图像分割
他方式来启动。MA_RUN_METHOD环境变量支持torchrun和msrun。 当“MA_RUN_METHOD=torchrun”时,表示ModelArts Standard平台使用torchrun命令启动训练作业的“启动文件”。 要求PyTorch版本大于等于1.11.0。
Gallery。建议托管的模型文件列表参见表2。 表2 模型实例包含的文件 文件名称 描述 config.json 模型配置文件。 model.safetensors或pytorch_model.bin 预训练模型的权重文件。 tokenizer.json (可选)预处理器的词表文件,用于初始化Tokenizer。
h size、并行切分策略、学习率warm-up、模型参数、FA配置等。用户在进行NPU精度和GPU精度比对前,需要保证两边的配置一致。 表1 超参说明 超参 说明 学习率 影响模型收敛程度,决定了模型在每次更新权重时所采用的步长。学习率过高,模型可能会过度调整权重,导致不稳定的
一个OBS目录,SDK会将notebook目录code_dir打包上传到obs_path中。 准备训练输出,与单机训练作业调试4相同。 查看训练支持的AI框架,与单机训练作业调试5相同。 保存当前Notebook为新镜像,与单机训练作业调试9相同。 Estimator初始化。 from
duration=1)] # (可选)设置在线服务运行时间 ) 参数“model_id”代表将部署成在线服务的模型。“model_id”可以通过查询模型列表或者ModelArts管理控制台获取。 部署服务到专属资源池 from modelarts.config.model_config
算子依赖包:AscendCloud-OPP 获取路径:Support-E,在此路径中查找下载ModelArts 6.3.912 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档
算子依赖包:AscendCloud-OPP 获取路径:Support-E,在此路径中查找下载ModelArts 6.3.910 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档
算子依赖包:AscendCloud-OPP 获取路径:Support-E,在此路径中查找下载ModelArts 6.3.911 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档
conversations:包含一系列对话对象,每个对象都由发言者(from)和发言内容(value)组成。 from:表示对话的角色,可以是"human"(人类)或"gpt"(机器),表示是谁说的这句话。 value:具体的对话内容。 system:系统提示词,用来为整个对话设定场景或提供指导原则。
置镜像进行依赖安装配置后,保存为自定义镜像,能直接在ModelArts用于训练作业。 开发环境预置镜像分为X86和ARM两类: 表1 X86预置镜像列表 引擎类型 镜像名称 PyTorch pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 pytorch1
使用模板导入模型与不使用模板导入这两类导入方式的Body参数要求不一样。以下Body参数说明中以模板参数表示适合使用模板导入模型时填写的参数,非模板参数表示适合不使用模板导入时填写的参数,公共参数表示与导入方式无关的参数。 使用模板导入模型时(model_type为Template),tem