正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0-cann_8.0.rc3-py_3.9-hce_2.0.2312-aarch64-snt9b-20240824153350-cebb080 从SWR拉取。 步骤一 准备环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。
只有MindSpore+Ascend训练场景下会产生单独的MindSpore日志。其他AI引擎的日志都包含在普通日志中,无法区分。 训练日志的时效性 从日志产生的时效性上可以分为以下3种情况: 实时日志:训练作业实时运行时产生,在ModelArts训练作业详情页面上可以查看。 历史日志:训练
请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 name String Workflow工作流名称,1到64位只包含中英文、数字、空格、下划线(_)和中划线(-),并且以中英文开头。 workflow_id String Workflow工作流ID。创建工作流时后台自动生成。
服务实例只能调度到指定节点,指定节点不存在则失败。preferred表示弱亲和,服务实例倾向于调度到指定节点,指定节点不满足调度条件,则会调度到其他节点。 pool_infos 否 Array of AffinityPoolInfo objects 配置亲和策略到指定的集群,并指定集群的节点。
0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240528150158-b521cc0 从SWR拉取。 约束限制 推理需要单机单卡。 确保容器可以访问公网。 Step1 检查环境 请参考DevServer资源开通,购买DevSer
时间为准),结算完毕后进入新的计费周期。 对于专属资源池:计费的起点以资源池创建成功的时间点为准,终点以资源池删除时间为准。 专属资源池从创建到启用需要一定时长,计费的起点是创建成功的时间点,而非创建时间。您可以在专属资源池详情页“基本信息”页签查看创建时间,在“事件”页签查看“
0-cann_8.0.rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42 从SWR拉取。 约束限制 本文档适配昇腾云ModelArts 6.3.904版本,请参考表2获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b SFT微调为例,执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b LORA微调为例,执行脚本0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所
支持将本地开发的代码,快速提交至ModelArts并自动创建新版训练作业,在训练作业运行期间获取训练日志并展示到本地。 使用PyCharm ToolKit创建并调试训练作业 OBS上传下载 上传本地文件或文件夹至OBS,从OBS下载文件或文件夹到本地。 使用PyCharm上传数据至Notebook 前提条件
0.rc3-py_3.10-hce_2.0.2312-aarch64-snt9b-20240829092203-4ccf328 镜像发布到SWR,从SWR拉取 固件驱动:23.0.6 CANN:cann_8.0.rc3 容器镜像OS:hce_2.0 PyTorch:pytorch_2
0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a 镜像发布到SWR,从SWR拉取 固件驱动:23.0.6 CANN:cann_8.0.rc2 容器镜像OS:hce_2.0 PyTorch:pytorch_2
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例,执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b预训练为例,执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
JupyterLab常用功能介绍 JupyterLab视频介绍 JupyterLab主页介绍 下面介绍如何从运行中的Notebook实例打开JupyterLab。 登录ModelArts管理控制台,在左侧菜单栏中选择“开发空间 > Notebook”,进入Notebook页面。
发布模型到AI Gallery。 使用AI Gallery微调大师训练模型或使用AI Gallery在线推理服务部署模型。 如果进行模型微调,则“训练任务类型”选择“自定义”。 如果部署为推理服务,则“推理任务类型”选择“自定义” 自定义模型规范(训练) 当托管自定义模型到AI Gallery时,如果模型要支持AI
单击“创建模型”弹出创建模型页面。 在创建模型页面,配置参数。 表1 创建模型 参数 说明 来源模型 当从“我的模型”进入创建模型页面时,单击选择基础模型完成模型选择。 当从“模型广场”进入创建模型页面时,此处默认呈现选择的模型。 当选择模型后,支持单击“重新选择”更改模型。 模型名称
0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240606190017-b881580 从SWR拉取。 约束限制 本文档适配昇腾云ModelArts 6.3.906版本,请参考表2获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。
0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240606190017-b881580 从SWR拉取。 约束限制 请参考表2获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 本方案使用需要用户具备k8s集群相关技能。
在资源池排队的位置。 当前仅支持查看训练作业。 图1 查看资源池作业 查看资源池事件 在资源池详情页,切换到“事件”页签。您可以查看资源从创建到添加节点的各个阶段的事件。产生事件的原因主要有“资源池状态变化”和“资源节点状态变化”。 在事件列表中,可单击“事件类型”列的筛选查看。