检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议使用官方提供的镜像部署服务。镜像地址{image_url}参见表2。 docker pull {image_url} Step3 获取代码并上传 上传推理代码AscendCloud-AIGC-6.3.906-xxx.zip到宿主机的工作目录中,包获取路径请参见表2。 Step4 启动容器镜像
本地IDE(PyCharm) ModelArts提供了一个PyCharm插件工具PyCharm ToolKit,协助用户完成代码上传、提交训练作业、将训练日志获取到本地展示等,用户只需要专注于本地的代码开发即可。 使用PyCharm ToolKit连接Notebook 本地IDE(VS Code) 当用
MoXing API可让模型代码的编写更加简单、高效。 MoXing提供了一套文件对象API,可以用来读写OBS文件。 您可以通过MoXing API文档了解其与原生API对应关系,以及详细的接口调用示例,详细说明请参见MoXing文件操作。 示例代码: import moxing
确认部署在线服务时是否选择了GPU规格。 在customize_service.py中添加一行代码os.system('nvcc -V)查看该镜像的cuda版本(customize_service.py编写指导请见模型推理代码编写说明)。 确认该cuda版本与您安装的mmcv版本是否匹配。 部署时是
建议先将Tensorboard文件写到本地,然后再复制回OBS。 建议与总结 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者V
her界面。 在“Notebook”区域下,选择“TensorFlow-1.8”,新建一个ipynb文件。 在新建的Notobook中,在代码输入栏输入如下命令。 !pip install Shapely 在Terminal中安装 例如,通过terminal在“TensorFlow-1
什么原因系统都会自动重启训练作业,提高训练成功率和提升作业的稳定性。为了避免无效重启浪费算力资源,系统最多只支持连续无条件重启3次。 为了避免丢失训练进度、浪费算力,开启此功能前请确认代码已适配断点续训,操作指导请参见设置断点续训练。 当训练过程中触发了自动重启,则系统会记录重启
/cache”目录读取数据,直到训练结束。训练结束以后“/cache”目录的内容会自动被清空。 优化方式 以TensorFlow代码为例。 优化前代码如下所示: 1 2 3 4 ... tf.flags.DEFINE_string('data_url', '', 'dataset
云上迁移适配故障 无法导入模块 训练作业日志中提示“No module named .*” 如何安装第三方包,安装报错的处理方法 下载代码目录失败 训练作业日志中提示“No such file or directory” 训练过程中无法找到so文件 ModelArts训练作业无法解析参数,日志报错
}, "turn_2": { ... }, "turn_3": { ... }, "category": "Brainstorming" } 如果用户希望将 MOSS 数据集的 Excel 格式转换为,json 格式。可使用代码中提供的 scripts/tools/ExcelToJson
Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。 本文档也以将运行代码存放OBS为例,请参考创建OBS桶,例如桶名:stan
${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不
建议使用官方提供的镜像部署服务。镜像地址{image_url}参见表2。 docker pull {image_url} Step3 获取代码并上传 上传推理代码AscendCloud-AIGC-6.3.907-xxx.zip到宿主机的工作目录中,包获取路径请参见表2。 Step4 启动容器镜像
建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。 docker pull {image_url} 步骤三 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.909-xxx.zip和算子包AscendCloud-OPP-6.3.909-xxx
接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/{project_id}/notebooks 表1 路径参数 参数 是否必选 参数类型
}, "turn_2": { ... }, "turn_3": { ... }, "category": "Brainstorming" } 若用户希望将 MOSS 数据集的 Excel 格式转换为,json 格式。可使用代码中提供的 scripts/tools/ExcelToJson
检查训练作业的代码目录和启动文件地址 进入ModelArts管理控制台,在“作业管理 > 训练作业”中查找到对应的“运行失败”的训练作业,单击作业“名称/ID”进入详情页。 在详情页左侧栏中,查看代码目录和启动文件选择是否正确,且OBS文件名称中不能有空格。 代码目录:需要选择到
必现的问题,使用本地Pycharm远程连接Notebook调试。 建议与总结 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者V
NPURunConfig(enable_data_pre_proc=Flase) 建议与总结 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者V
├──customize_service.py 必选:模型推理代码,文件名称固定为customize_service.py,只允许放置一个,customize_service.py依赖的文件可以直接放model目录下 示例代码 在ModelArts notebook平台,Sessio