检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2-3b https://huggingface.co/meta-llama/Llama-3.2-3B-Instruct 操作流程 流程图 图1 训练流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的,需要购
指标数据标题,长度限制为64字符 "type": "float", // 指标数据类型,支持以下类型:浮点:float、折线图:line chart、柱状图:histogram、矩阵:table、一维表格:one-dimensional-table "data":
所选择的表的schema(列名和类型)需与数据集一致,支持自动获取所选择表的schema。DLI的详细功能说明,请参考DLI用户指南。 图1 DLI导入数据 队列名称:系统自动将当前账号下的DLI队列展现在列表中,用户可以在下拉框中选择需要的队列。 数据库名称:根据选择的队列展
vate TensorFlow-1.8 如果需要在其他python环境里安装,请将命令中“TensorFlow-1.8”替换为其他引擎。 图1 激活环境 在代码输入栏输入以下命令安装Shapely。 pip install Shapely 父主题: Standard Notebook
在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图1 复制登录指令 Step2 修改并上传镜像 在ECS服务器中输入登录指令后,使用下列示例命令将Standard镜像上传至SWR: docker
h、xml、html、c、properties、yml、cmake、sh、css、js、cpp、json、md、sql、bat、conf 图1 下载预览代码 在详情页面单击“订阅”,根据算法是否具有使用约束进行不同操作: 如果订阅是具有使用约束的算法,则弹出“使用约束”页面,查看并确认后单击“继续订阅”即可成功订阅。
镜像源即为推送到SWR中的镜像。请将完整的SWR地址复制到这里即可,或单击可直接从SWR选择自有镜像进行注册,类型加上“GPU”,如图1所示。 图1 注册镜像 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间 > Notebook”,进入“Notebook”列表页面。
“高级”,输入用户名, 单击“立即查找”按钮,显示用户搜索结果列表。 选择您的用户账户,然后单击“确定”(大约四个窗口)以关闭所有窗口。 图1 添加所有者 完成所有操作后,再次关闭并打开VS Code并尝试连接到远程SSH主机。备注:此时密钥需放到.ssh文件夹中。 父主题: VS
name="training_job", title="图像分类训练", algorithm=wf.AIGalleryAlgorithm( subscription_id="**", # 图像分类算法的订阅ID,自行前往算法管理页面进行查看,可选参数,此处以订阅算法举例
在训练作业列表页面,选择“状态”为“等待中”的训练作业。 单击训练作业名称,进入详情页面。 在“作业优先级”单击,在弹窗中修改优先级后单击“确定”。 图1 修改作业优先级 给子账号配置"设置作业为高优先级"权限 默认用户权限可选择优先级1和2,配置了"设置作业为高优先级"权限的用户可选择优先级1~3。
baichuan2-13b https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的,需要购买
创建训练作业 job_step = wf.steps.JobStep( name="training_job", title="图像分类训练", algorithm=wf.AIGalleryAlgorithm( subscription_id="***"
com/SafeAILab/EAGLE/页找到对应Eagle模型地址。 图1 EAGLE Weights 以llama2-chat-7B为例,单击进入后 ,如下图所示config文件,即为对应模型的eagle config文件。 图2 eagle config文件 步骤五:训练生成权重转换成可以支持vLLM推理的格式
json # json文件 │ └── new_single_bar # 图片目录 │ └── single_bar_1_1000.jpg │
在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图1 复制登录指令 Step2 修改并上传镜像 在ECS服务器中输入登录指令后,使用下列示例命令将Standard镜像上传至SWR: docker
中的数据。 登录ModelArts控制台,管理控制台,在左侧导航栏中选择“权限管理”,单击“查看权限”,检查是否配置了obs的委托权限。 图1 查看权限 如果检查后已经存在委托,但是仍然无法访问,可以提工单寻求技术支持。 父主题: 服务部署
在“我的凭证”页面,单击“API凭证”,在“项目列表”中可查看项目ID和名称(即“项目”)。多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。 图1 查看项目ID “region_name”即区域ID。获取方式请参见获取区域ID。 父主题: Session鉴权
l远程登录。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 Step2 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。
s会自动识别导致作业失败的原因,在训练日志界面上给出提示。提示包括三部分:失败的可能原因、推荐的解决方案以及对应的日志(底色标红部分)。 图1 训练故障识别 ModelArts Standard会对部分常见训练错误给出分析建议,目前还不能识别所有错误,提供的失败可能原因仅供参考。
attention_mask is not None # attention_mask = ~attention_mask 样例图: 父主题: 训练脚本说明