检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AscendCloud-OPP-6.3.905-xxx.zip 推理依赖的算子包。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 Cann版本 6.3.905版本 基础镜像 swr.cn-southwest-2.myhuaweicloud
准备模型训练代码 预置框架启动文件的启动流程说明 开发用于预置框架训练的代码 开发用于自定义镜像训练的代码 父主题: 使用ModelArts Standard训练模型
代码在Notebook的keras镜像中可以正常运行,在训练模块使用tensorflow.keras训练报错时,出现如下报错:AttributeError: 'NoneType' object has no attribute 'dtype'。 原因分析 训练镜像的numpy版本与Notebook中不一致。
254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.co
创建AI应用 创建AI应用不同方式的场景介绍 从训练作业中导入AI应用文件创建模型 从OBS中导入AI应用文件创建模型 从容器镜像中导入AI应用文件创建模型 从AI Gallery订阅模型 父主题: 使用ModelArts Standard部署模型并推理预测
Gallery提供了基础镜像的依赖环境,如果要添加自定义依赖项,可通过requirements.txt文件实现。基础镜像包含python、PyTorch、cuda(GPU)、CANN(NPU)。 自定义模型使用的预置镜像 AI Gallery提供了PyTorch基础镜像,镜像里已经安装好了
分布式Tensorflow无法使用“tf.variable” 问题现象 多机或多卡使用“tf.variable”会造成以下错误: WARNING:tensorflow:Gradient is None for variable:v0/tower_0/UNET_v7/sub_pixel/Variable:0
Notebook实例重新启动后,需要删除本地known_hosts才能连接 可以在本地的ssh config文件中对这个Notebook配置参数“StrictHostKeyChecking no”和“UserKnownHostsFile=/dev/null”,如下参考所示: Host
从本地上传数据到ModelArts数据集 前提条件 已存在创建完成的数据集。 创建一个空的OBS桶,OBS桶与ModelArts在同一区域,并确保用户具有OBS桶的操作权限。 本地上传 文件型和表格型数据均支持从本地上传。从本地上传的数据存储在OBS目录中,请先提前创建OBS桶。
Notebook”,即可打开多个视图。 图9 同一个文件的多个视图 JupyterLab的ipynb文件代码栏中输入代码,需要在代码前加!符号。 例如:安装外部库Shapely !pip install Shapely 例如:查看PythonPath !echo $PYTHONPATH 图10 运行代码
254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2.myhuaweicloud.co
页面,为子账号配置权限。勾选“trainJob”和“trainJob-obs”策略。单击“下一步”和“确定”。 为子账号添加镜像组织管理授权。 登录容器镜像服务控制台。在左侧菜单栏选择“组织管理”,单击组织名称。在“用户”页签下单击“添加授权”,在弹出的窗口中为子账号添加“编辑”权限,然后单击“确定”。
--image-name=${image_name} 参数说明: ${base_image}为基础镜像地址。 ${image_name}为推理镜像名称,可自行指定。 运行完后,会生成推理所需镜像。 Step5 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。docker启动失败会有对应的er
-p | grep net.ipv4.ip_forward 获取基础镜像。建议使用官方提供的镜像部署推理服务。镜像地址{image_url}参见表1。 docker pull {image_url} 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。
是否必填 数据类型 engine_id 镜像ID 否 str、Placeholder engine_name 镜像名称 否 str、Placeholder engine_version 镜像版本 否 str、Placeholder image_url 镜像url 否 str、Placeholder
CodeLab PyCharm Toolkit使用 VS Code使用技巧 VS Code连接开发环境失败常见问题 在Notebook中使用自定义镜像常见问题 更多功能咨询
当使用推理的镜像并且出现MR.XXXX类型的错误时,表示已进入模型服务,一般是模型推理代码编写有问题。 请根据构建日志报错信息,定位服务预测失败原因,修改模型推理代码后,重新导入模型进行预测。 经典案例:在线服务预测报错MR.0105 出现其他情况,优先检查客户端和外部网络是否有问题。
自动化搜索作业的框架代码目录,需要提供一个OBS路径。如:“obs://bucket/files/”。 command String 自定义镜像训练作业的自定义镜像的容器的启动命令。例如python train.py。 parameters Array of Parameter objects
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 微调训练 指令监督微调训练 介绍如何进行SFT全参微调/lora微调、训练任务、性能查看。 父主题: 主流开源大模型基于
CLI命令参考 ModelArts CLI命令功能介绍 (可选)本地安装ma-cli ma-cli auto-completion自动补全命令 ma-cli configure鉴权命令 ma-cli image镜像构建支持的命令 ma-cli ma-job训练作业支持的命令 ma-cli