检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
04 表3 pytorch1.8-cuda10.2-cudnn7-ubuntu18.04镜像介绍 AI引擎框架 是否使用 GPU (CUDA 版本) URL 包含的依赖项 PyTorch 1.8 是 (cuda 10.2) swr.{region_id}.myhuaweicloud.
输入数据目录位置 本次批量服务中,输入数据的OBS路径。 输出数据目录位置 本次批量服务中,输出数据的OBS路径。 模型名称&版本 本次批量服务所使用的模型名称及版本。 运行日志输出 默认关闭,批量服务的运行日志仅存放在ModelArts日志系统。 启用运行日志输出后,批量服务的运行日
执行如下命令查看远端是否上传。 cd /home/ma-user/.vscode-server/bin/$commit_id #commit_id是Vscode版本的commit编号 ll 如果出现如图2,则表示远端已上传,则执行2。 反之,如果显示0KB,则表示远端未上传。请参考Notebook如何离线安装VS
参考如下代码,三步走。 先卸载numpy中可以卸载的组件。 删除你环境中site-packages路径下的numpy文件夹。 重新进行安装需要的版本。 import os os.system("pip uninstall -y numpy") os.system('rm -rf /ho
多种场景下的存储解决方案。 3 配置Lite Server软件环境 不同镜像中预安装的软件不同,您通过Lite Server算力资源和镜像版本配套关系章节查看已安装的软件。当Server服务器中预装的软件无法满足业务需求时,您可在Server服务器中配置所需要的软件环境。 父主题:
您的授权要求,或者您需要管理用户操作OBS的操作权限,可以创建自定义策略。更多关于创建自定义策略操作和参数说明请参见创建自定义策略。 目前华为云支持可视化视图创建自定义策略和JSON视图创建自定义策略,本章节将使用JSON视图方式的策略,以为ModelArts用户授予开发环境的使
您的授权要求,或者您需要管理用户操作OBS的操作权限,可以创建自定义策略。更多关于创建自定义策略操作和参数说明请参见创建自定义策略。 目前华为云支持可视化视图创建自定义策略和JSON视图创建自定义策略,本章节将使用JSON视图方式的策略,以为ModelArts用户授予开发环境的使
--Dockerfile --test_app.py “Dockerfile” From ubuntu:18.04 # 配置华为云的源,安装 python、python3-pip 和 Flask RUN cp -a /etc/apt/sources.list /etc/apt/sources
requires_grad, net.get_parameters()), 0.01, 0.9) # 首次训练的epoch初始值,mindspore1.3及以后版本会支持定义epoch_size初始值。 # cur_epoch_num = 0 # 判断输出obs路径中是否有模型文件。如果无文件则默认从
framework_list参数说明 参数 参数类型 描述 framework_type String 引擎类型。 framework_version String 引擎版本。 表4 调用训练接口失败响应参数 参数 类型 描述 error_msg String 调用失败时的错误信息,调用成功时无此字段。 error_code
--Dockerfile --test_app.py “Dockerfile” From ubuntu:18.04 # 配置华为云的源,安装 python、python3-pip 和 Flask RUN cp -a /etc/apt/sources.list /etc/apt/sources
ITERS次训练后的最后一个版本。 当参数值<max_steps时,生成模型会每经过save_steps次,保存一次模型版本。 模型版本保存次数=max_steps//save_steps +1 save_total_limit 0 用于控制权重版本保存次数。 当参数不设置或<=0时,不会触发效果。
cannot stat '': No such file or directory 可能原因是用户使用的启动脚本为旧版本的run_train.sh,脚本里面有某些环境变量在新版本下发的作业中并不存在这些环境变量导致。 可能原因是使用Python file接口并发读写同一文件。 处理方法
ore 1.8.1已经能够使用。 图3 创建一个ipynb文件 再打开一个terminal,查看cann的版本,是Dockerfile中安装的版本。 图4 查看cann版本 父主题: 制作自定义镜像用于创建Notebook
任务中,并通过后续的数据集标注节点进行标注。 对于一些已标注好的原始数据,可以直接导入到数据集或者标注任务中,并通过后续的数据集版本发布节点获取带有版本信息的数据集对象。 属性总览 您可以使用DatasetImportStep来构建数据集导入节点,DatasetImportStep结构如下。
model_version String 模型版本。 weight Integer real-time类型必选。权重百分比,分配到此模型的流量权重,仅当infer_type为real-time时需要配置,多个权重相加必须等于100;当在一个在线服务中同时配置了多个模型版本且设置不同的流量权重比例时,
选择模型及版本 “我的模型”。您可以根据实际需求选择您的模型。您需要在目标模型的左侧单击下拉三角标,选择合适的版本。您的模型导入参见创建模型。 “我的订阅”。您可以根据实际需求选择AI Gallery中已订阅的模型。您需要在目标模型的左侧单击下拉三角标,选择合适的版本。查找模型参见从Gallery订阅模型。
sh脚本,会git clone下载Megatron-LM、MindSpeed、ModelLink源码(install.sh中会自动下载配套版本,若手动下载源码还需修改版本)至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下: |——AscendCloud-LLM
实例,单击右侧“操作”列中的“更多 > 保存镜像”,进入“保存镜像”对话框。 图1 保存镜像 在保存镜像对话框中,设置组织、镜像名称、镜像版本和描述信息。单击“确定”保存镜像。 在“组织”下拉框中选择一个组织。如果没有组织,可以单击右侧的“立即创建”,创建一个组织。创建组织的详细操作请参见创建组织。
实例,单击右侧“操作”列中的“更多 > 保存镜像”,进入“保存镜像”对话框。 图1 保存镜像 在保存镜像对话框中,设置组织、镜像名称、镜像版本和描述信息。单击“确定”保存镜像。 在“组织”下拉框中选择一个组织。如果没有组织,可以单击右侧的“立即创建”,创建一个组织。创建组织的详细操作请参见创建组织。