检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件名中的xxx表示具体的时间戳,以包名发布的实际时间为准。 获取路径:Support-E 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。
get_size('obs://bucket_name/object_dir', recursive=True) 获取一个OBS文件或文件夹的stat信息,stat信息中包含如下信息。 length:文件大小。 mtime_nsec:创建时间戳。 is_directory:是否为目录。 例如查询一个OBS
les.json文件,里面是提取的per-tensor的scale值。内容示例如下: 注意: 抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中d
/AscendSpeed 编辑llm_train/AscendSpeed中的Dockerfile文件,修改git命令,填写自己的git账户信息。 git config --global user.email "you@example.com" && \ git config --global
/llm_train/AscendSpeed 编辑llm_train/AscendSpeed中的Dockerfile文件,修改git命令,填写自己的git账户信息。 git config --global user.email "you@example.com" && \ git config --global
les.json文件,里面是提取的per-tensor的scale值。内容示例如下: 注意: 抽取完成后,可能提取不到model_type信息,需要手动将model_type修改为指定模型,如"llama"。 当前社区vllm只支持float8的kv_cache量化,抽取脚本中d
修改MaaS模型服务 场景描述 表1 支持的修改任务 修改任务 任务介绍 参考信息 修改流量限制QPS ModelArts Studio大模型即服务平台支持手动修改模型服务的实例流量限制QPS,该操作不会影响部署服务的正常运行。 修改QPS 扩缩容实例数 ModelArts St
响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 spec_total_count
且较频繁地进行保存,就会影响GPU/NPU利用率。同理,其他非GPU/NPU操作尽量不要阻塞训练主进程太多的时间,如日志打印,保存训练指标信息等。 父主题: 管理模型训练作业
文件名中的xxx表示具体的时间戳,以包名发布的实际时间为准。 获取路径:Support-E 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。
com/sdk-test/pytorch_1_8:v1 完成后即可在SWR上看到该镜像。 图6 将镜像推到SWR SWR地址,包括{局点信息}/{组织名称}/{镜像名称}:{版本名称},局点信息可以参考下图查看,组织名称在“容器镜像服务>组织管理”创建。 注册镜像 在ModelArts Console上注册镜像
调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。调用成功时无此字段。 config_name String 训练作业参数的名称。 config_desc String 训练作业参数的描述信息。 worker_server_num
redicate,宾语/Object)结构化知识的场景,标注时不但可以标注出语句当中的实体,还可以标注出实体之间的关系,其在依存句法分析、信息抽取等自然语言处理任务中经常用到。在开始标注之前,您需要了解: 标注作业对应的“实体标签”和“关系标签”已定义好。“关系标签”需设置对应的
单击左上角的“查看已选”,确认已勾选的权限。 再单击“下一步”,设置最小授权范围。单击“指定区域项目资源”,勾选待授权使用的区域,单击“确定”。 提示授权成功,查看授权信息,单击“完成”。此处的授权生效需要15-30分钟。 父主题: 配置ModelArts基本使用权限
类”、“命名实体”、“文本三元组”、“语音分割”类型的数据集。 不同类型数据集支持的功能列表 其中,不同类型的数据集,支持不同的功能,详细信息请参见表1。 表1 不同类型数据集支持的功能 数据集类型 标注类型 人工标注 智能标注 团队标注 图片 图像分类 支持 支持 支持 物体检测
ModelArts训练组件重新拉起训练容器,启动训练脚本。 训练脚本调用elastic-agent模块,该模块根据configmap中故障NPU信息和strategy.proto文件生成策略恢复文件。 训练脚本根据策略恢复文件,加载临终ckpt进行续训练。 在数据并行场景下,也是类似的
然后单击“创建”。 图1 配置委托访问授权 完成配置后,在ModelArts控制台的权限管理列表,可查看到此账号的委托配置信息。 图2 查看委托配置信息 步骤一:准备训练数据 本案例使用的数据是MNIST数据集,您可以在浏览器中搜索“MNIST数据集”下载如图3所示的4个文件。
然后单击“创建”。 图1 配置委托访问授权 完成配置后,在ModelArts控制台的权限管理列表,可查看到此账号的委托配置信息。 图2 查看委托配置信息 步骤一:准备训练数据 本案例使用的数据是MNIST数据集,您可以在浏览器中搜索“MNIST数据集”下载如图3所示的4个文件。
获取路径:Support-E,在此路径中查找下载ModelArts 6.3.910 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 基础镜像包 swr.cn-southwest-2.myhuaweicloud
的输入。在CPU上进行模型转换时无需考虑动态shape问题,因为CPU算子支持动态shape;而在昇腾场景上,算子需要指定具体的shape信息,并且在模型转换的编译阶段完成对应shape的编译任务,从而能够在推理时支持多种shape的输入。 绝大多数情况下,昇腾芯片推理性能相比于