检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
击ModelArts开发者论坛进行发帖或者搜索已有问题。 “创建时间” 记录训练作业创建时间。 “运行时长” 记录训练作业运行时长,是训练作业全生命周期中多次的k8s资源运行的时长总和。 “重启次数” 记录训练过程中时如果出现故障,作业自动重启的次数。仅当创建训练作业时开启“自动重启”功能时可见。
tack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
gingface-cli是 Hugging Face 官方提供的命令行工具,自带完善的下载功能。具体步骤可参考:HF-Mirror中的使用教程。完成依赖安装和环境变量配置后,以Qwen/Qwen-VL-Chat为例: huggingface-cli download --resume-download
本案例仅支持在专属资源池上运行。 文档更新内容 6.3.908版本相对于6.3.907版本新增如下内容: 文档和代码中新增对mistral和mixtral模型的适配,并添加训练推荐配置。 文档准备镜像步骤中,仅提供:直接使用基础镜像方案、ECS中构建新镜像方案,删除使用Notebook创建镜像方案。 文档中新增对
首先安装社区Msprobe工具,命令如下: pip install mindstudio-probe 使能工具进行数据Dump分析。本实验可在train.py中如下两处添加使能代码: 其中config.json的内容如下: { "task": "statistics", "dump_path": "/home/data_dump"
义” 自定义模型规范(训练) 当托管自定义模型到AI Gallery时,如果模型要支持AI Gallery的模型微调,则需要在“模型文件”添加gallery_train文件夹,文件夹内容参考表1。 gallery_train文件夹必须是一级目录直接上传,否则会被判定不符合自定义模型规范,无法使用模型微调。
单击“授权管理”后,单击创建应用即可创建App应用。 图1 授权管理 创建完App应用后即可展开App,然后单击添加AppCode即可添加AppCode。 图2 添加AppCode 单击使用ModelArts Standard一键完成商超商品识别模型部署案例中创建的在线服务名称,
tack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示,请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
user_converted_ckpt_path=xxx 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 步骤一 修改训练Yaml配置文件 修改或添加代码目录下modellink_performance_cfgs.yaml文件参数内容,参数详解可查看表1。 样例yaml配置文件结构分为:
uggingface-cli是Hugging Face官方提供的命令行工具,自带完善的下载功能。具体步骤可参考:HF-Mirror中的使用教程。完成依赖安装和环境变量配置后,以Llama2-70B为例: huggingface-cli download --resume-download
created_at String 创建时间。 name String 执行记录名称。 execution_id String 工作流执行ID。 description String 执行记录描述。 status String 执行记录状态。 workspace_id String 工作空间ID。
点的操作后,节点无法正常使用,节点上的POD会调度失败。 原因分析 在ModelArts侧进行节点重置后,modelarts-os会向节点添加准入污点,进行节点准入,而因为集群volcano没有污点容忍,且集群内只有一个节点,导致volcano无法启动,进而导致modelarts
uggingface-cli是Hugging Face官方提供的命令行工具,自带完善的下载功能。具体步骤可参考:HF-Mirror中的使用教程。完成依赖安装和环境变量配置后,以Llama2-70B为例: huggingface-cli download --resume-download
uggingface-cli是Hugging Face官方提供的命令行工具,自带完善的下载功能。具体步骤可参考:HF-Mirror中的使用教程。完成依赖安装和环境变量配置后,以Llama2-70B为例: huggingface-cli download --resume-download
uggingface-cli是Hugging Face官方提供的命令行工具,自带完善的下载功能。具体步骤可参考:HF-Mirror中的使用教程。完成依赖安装和环境变量配置后,以Llama2-70B为例: huggingface-cli download --resume-download
继续单击右上角“团队标注>标注人员管理”,进入成员管理页面。 图3 进入标注人员管理页(1) 图4 进入标注人员管理页(2) 添加成员: 单击页面“添加成员”,选择成员名称,单击确定。 在操作列,选择“发送邮件”,可将该标注任务以邮件的方式发送至该标注成员。 修改成员信息: 单击操作列的“修改”,可修改该成员的角色。
created_at String 创建时间。 name String 执行记录名称。 execution_id String 工作流执行ID。 description String 执行记录描述。 status String 执行记录状态。 workspace_id String 工作空间ID。
uggingface-cli是Hugging Face官方提供的命令行工具,自带完善的下载功能。具体步骤可参考:HF-Mirror中的使用教程。完成依赖安装和环境变量配置后,以Llama2-70B为例: huggingface-cli download --resume-download
https://huggingface.co/tiiuae/falcon-11B 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite DevServer运行的,需要购买并开通DevServer资源。 准备代码 准备AscendSpe
吞吐”),才能在此处正常查看吞吐和“训练LOSS”曲线。 训练LOSS 训练阶段的LOSS变化,模型在日志里用LOSS关键词记录数据,按照训练迭代周期记录LOSS值。 微调产物说明 模型微调完成后,会得到一个新模型,即微调产物。 在微调大师页面,单击操作列的“查看模型”跳转到微调