检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果训练作业使用的是预置框架: 在创建训练作业时,“创建方式”选择“自定义算法”,“启动方式”选择“预置框架”,代码目录中新增sleep.py并将此脚本作为“启动文件”。这样启动的作业将会持续运行60分钟。您可通过Cloud Shell进入容器进行调试。 sleep.py示例: import os os
baichuan2-13b 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
指定metric的输出路径,相关指标信息由作业脚本代码根据指定的数据格式自行输出(示例中需要将metric信息输出到训练输出目录下的metrics.json文件中) ], spec=wf.steps.JobSpec( resource=wf.steps.JobResource(
主动学习中的时间戳。 train_data_path String 已有训练数据集路径。 train_url String 训练作业的输出文件OBS路径URL,默认为空。 version_format String 数据集版本格式。可选值如下: Default:默认格式 Carb
置ModelArts自定义OS优化组件,当前支持的镜像请参考Lite Server算力资源和镜像版本配套关系。 私有镜像 用户基于外部镜像文件或裸金属服务器创建的个人镜像,仅用户自己可见。包含操作系统、预装的公共应用以及用户的私有应用。选择私有镜像创建,可以节省您重复配置服务器的时间。
类型。例如本案例使用的数据集,系统匹配为“图片”类型。 数据集输出位置:用来存放输出的数据标注的相关信息,或版本发布生成的Manifest文件等。单击图标选择OBS桶下的空目录,且此目录不能与输入位置一致,也不能为输入位置的子目录。 数据集输入位置:用来存放源数据集信息,例如本案例中从AI
VS Code连接开发环境失败常见问题 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,未弹出VS Code窗口 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接 VS Code连接开发环境失败时的排查方法
VS Code连接开发环境失败故障处理 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,未弹出VS Code窗口 在ModelArts控制台界面上单击VS Code接入并在新界面单击打开,VS Code打开后未进行远程连接 VS Code连接开发环境失败时的排查方法
Lite的Lite k8s Cluster。推荐使用“西南-贵阳一”Region上的资源和Ascend Snt9B。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异,具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称
要涉及以下三项。 统一存储:output_storage对象的default值,需填写一个已存在的OBS路径,路径格式为:/OBS桶名称/文件夹路径/。 数据集对象:使用准备数据集章节下载的数据集即可,填写相应的数据集名称以及版本号。 训练资源规格:配置计算资源。由于举例的算法只
资产发布成功后,发布者可以进入详情页修改该资产的标题、封面图、描述等,让资产更吸引人。 修改封面图和二级标题 在发布的资产详情页面,单击右侧的“编辑”,选择上传新的封面图,为资产编辑独特的主副标题。 编辑完成之后单击“保存”。封面图和二级标题内容自动同步,您可以直接在资产详情页查看修改结果。 图1
在Linux上安装配置Grafana 适用场景 本章节适用于在Linux操作系统的PC中安装配置Grafana。 前提条件 一台可访问外网的Ubuntu服务器。如果没有请具备以下条件: 准备一台ECS服务器(建议规格选8U或者以上,镜像选择Ubuntu,建议选择22.04版本,本
【下线公告】华为云ModelArts服务旧版训练管理下线公告 华为云ModelArts服务旧版训练管理在2023年6月30日 00:00(北京时间)正式退市。 下线范围 下线区域:华为云全部Region 下线影响 正式下线后,用户将无法再使用旧版训练管理的功能,包括旧版训练作业、
训练作业的代码目录,是一个OBS路径,需要以"obs:/"开头,如"obs://xx/yy/"。 boot_file 是 String 训练作业的代码启动文件,需要在代码目录下,可填写相对路径,如"boot_file.py",也可填写绝对路径,如"obs://xx/yy/boot_file.py"。
“运行日志输出”开启后,不支持关闭。 LTS服务提供的日志查询和日志存储功能涉及计费,详细请参见了解LTS的计费规则。 请勿打印无用的audio日志文件,这会导致系统日志卡死,无法正常显示日志,可能会出现“Failed to load audio”的报错。 升级为WebSocket 是否升级为WebSocket服务。
SEED 1234 随机种子数。每次数据采样时,保持一致。 SAVE_INTERVAL 10 表示训练间隔多少step,则会保存一次权重文件。 模型参数设置规定 TP张量并行 、PP流水线并行、CP context并行的参数设置:TP×PP×CP的值要被NPU数量(word_size)整除。
给子账号配置查看所有Notebook实例的权限 查找实例 Notebook页面展示了所有创建的实例。如果需要查找特定的实例,可根据筛选条件快速查找。 参考给子账号配置查看所有Notebook实例的权限后,进入“开发空间>Notebook”页面,打开“查看所有”开关,可以看到IAM
查找Notebook实例 查找实例 Notebook页面展示了所有创建的实例。如果需要查找特定的实例,可根据筛选条件快速查找。 参考给子账号配置查看所有Notebook实例的权限后,进入“开发空间>Notebook”页面,打开“查看所有”开关,可以看到IAM项目下所有子账号创建的Notebook实例。
像时基础镜像太大的问题,所以镜像中未安装任何组件;如果需使用OBS SDK相关功能,推荐使用ModelArts SDK进行文件复制等操作,详细操作请参考文件传输。 镜像一:conda3-cuda10.2-cudnn7-ubuntu18.04 表12 conda3-cuda10.2-cudnn7-ubuntu18
/{label_name} modelarts:dataset:updateDataset - √ √ 按标签名称删除标签及仅包含此标签的文件 DELETE /v2/{project_id}/datasets/{dataset_id}/data-annotations/labels/{label_name}