检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
latest版本仅限提交新版训练作业。 PyCharm ToolKit工具仅支持Windows版本的PyCharm。 表1 ToolKit(latest)功能列表 支持的功能 说明 对应操作指导 SSH远程连接 支持SSH远程连接ModelArts的Notebook开发环境。 配置PyCharm
RO内存优化等高级特性,以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值:sft、rm、ppo、dpo。 sft代表指令监督微调; rm代表奖励模型训练; ppo代表PPO训练; dpo代表DPO训练。 finetuning_type full 用于指定微调策略类型,可选择值full、lora。
本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.906-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包
SSS”(其中hh表示小时,mm表示分钟,ss表示秒,SSS表示毫秒)。 @modelarts:feature Object 物体检测标签专用内置属性:形状特征,类型为List。以图片的左上角为坐标原点[0, 0],每个坐标点的表示方法为[x, y],x表示横坐标,y表示纵坐标(x和y均>=0)。每种形状的格式如下:
RO内存优化等高级特性,以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值:sft、rm、ppo、dpo。 sft代表指令监督微调; rm代表奖励模型训练; ppo代表PPO训练; dpo代表DPO训练。 finetuning_type full 用于指定微调策略类型,可选择值full、lora。
Show this message and exit. 表3 参数说明 参数名 参数类型 是否必选 参数说明 YAML_FILE String 否 表示训练作业的配置文件,如果不传则表示配置文件为空。 --code-dir String 是 训练源代码的OBS路径。
同一个账户,图片展示角度不同是为什么? 有的图片存在旋转角度等属性,不同的浏览器的处理策略不同,对浏览器的兼容性如表1和表2所示。 L代表last,L3-产品版本上线时最新的3个稳定浏览器版本。 如果您当前使用的浏览器版本过低,将在一定程度上影响页面的显示效果,系统会提示您尽快对浏览器进行升级。
如何设置训练作业优先级 在创建训练作业页面可以设置训练的“作业优先级”。取值为1~3,默认优先级为1,最高优先级为3。 如何修改训练作业优先级 在训练作业列表页面,选择“状态”为“等待中”的训练作业,单击“作业优先级”列的,在弹窗中修改优先级后单击“确定”。 图1 修改作业优先级 给子账号配置"设置作业为高优先级"权限
转至AI应用列表页面,等待创建结果,预计2分钟左右。 当AI应用的状态变为“正常”时,表示创建成功。 步骤5:部署为在线服务(CPU) AI应用创建成功后,可将其部署为在线服务,在部署时可使用CPU资源。 单击AI应用名称左侧的单选按钮,在列表页底部展开“版本列表”,在版本的操作列中单击“部署
容器中挂载存储有多种方式,不同的场景下推荐的存储方式不一样,详情如表1所示。容器存储的基础知识了解请参见存储基础知识,有助您理解本章节内容。您可查看数据盘空间分配说明,了解节点数据盘空间分配的情况,以便您根据业务实际情况配置数据盘大小。 表1 容器挂载存储的方式及差异 容器挂载存储的方式 使用场景
在ModelArts进行模型训练时,会产生计算资源和存储资源的累计值计费。计算资源为训练作业运行的费用。存储资源包括数据存储到OBS或SFS的费用。具体内容如表1所示。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。 具体费用可参见ModelArts价格详情。
本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.907-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包
本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-905-xxx.zip 说明: 软件包名称中的xxx表示时间戳。
准备权重 获取对应模型的权重文件,获取链接参考表1。权重文件下载有如下几种方式,但不仅限于以下方式: 方法一:网页下载:通过单击表格中权重文件获取地址的访问链接,即可在模型主页的Files and Version中下载文件。文件会直接下载用户本地,需要再上传至SFS Turbo中。
p和active三个参数构成了一次完整的采集,repeat参数表示重复多少次完整的采集。wait参数表示重复执行采集过程中每次采集跳过的step轮数,warmup表示预热的step轮数(推荐设置为1),active表示实际采集的连续m个step。 参数示例: skip_first=10,wait=3
0” 原因分析 出现该问题的可能原因如下: pytorch1.4引擎与之前pytorch1.3版本兼容性问题。 处理方法 在images之后添加contigous。 images = images.cuda() pred = model(images.permute(0, 3,
准备权重 获取对应模型的权重文件,获取链接参考表1。 权重文件下载有如下几种方式,但不仅限于以下方式: 方法一:网页下载:通过单击表格中权重文件获取地址的访问链接,即可在模型主页的Files and Version中下载文件。 方法二:huggingface-cli:huggingface-cli是
本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.910-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包
本教程中用到的模型软件包如下表所示,请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.911-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包
如果使用的镜像是第三方镜像,Dockerfile文件中需要添加uid为1000的用户ma-user和gid为100的用户组ma-group。如果基础镜像中uid 1000或者gid 100已经被其他用户和用户组占用,需要将其对应的用户和用户组删除。如下Dockerfile文件已添加指定的用户和用户组,您直接使用即可。