检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts支持云审计的关键操作 公有云平台提供了云审计服务。通过云审计服务，您可以记录与ModelArts相关的操作事件，便于日后的查询、审计和回溯。 前提条件 已开通云审计服务。 数据管理支持审计的关键操作列表 表1 数据管理支持审计的关键操作列表 操作名称 资源类型 事件名称
Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/training-jobs/{training_job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/training-jobs/autosearch/yaml-templates 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
数据传输周期，默认为30s。 表35 Remote 参数 参数类型 描述 obs RemoteObs object 数据实际输出到OBS。 表36 RemoteObs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径。 表37 AlgorithmEngine 参数 参数类型
-p | grep net.ipv4.ip_forward 步骤2 获取训练镜像 建议使用官方提供的镜像部署训练服务。镜像地址{image_url}参见镜像地址获取。 docker pull {image_url} 步骤3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中
①更新transformes和tokenizers版本 GLM4-9B模型，容器内执行以下步骤： pip install transformers==4.43.2 其它模型，容器内执行以下步骤： pip install transformers==4.45.0 pip install
ModelArts缺少SFS Turbo委托权限导致关联或解除关联失败。 处理方法 需要您给ModelArts配置SFS Turbo委托权限，配置步骤请参考最佳实践的“委托授权ModelArts云服务使用SFS Turbo”章节。 父主题： 资源池
训练作业：训练作业运行时会收取费用，使用完请及时停止训练作业。同时，也需清理存储到OBS中的数据。 模型部署：模型部署为在线服务、边缘服务时，会收取费用，使用完请及时停止服务。同时，也需清理存储到OBS中的数据。 专属资源池：在使用ModelArts进行AI全流程开发时，如果购买了专属资源池，同时在运行自动学习
-p | grep net.ipv4.ip_forward 步骤二 获取训练镜像 建议使用官方提供的镜像部署训练服务。镜像地址{image_url}参见镜像地址获取。 docker pull {image_url} 步骤三 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中
能正常打开创建页面，即可正常使用ModelArts。 验证OBS权限。 在左上角的服务列表中，选择OBS服务，进入OBS管理控制台。 在OBS管理控制台，单击右上角的“创建桶”，如果能正常打开页面，表示当前用户具备OBS的操作权限。 验证SWR权限。 在左上角的服务列表中，选择SWR服务，进入SWR管理控制台。
获取训练作业日志的文件名 功能介绍 获取训练作业日志的文件名。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/log/file-names 参数说明如表1所示。 表1 参数说明 参数 是否必选
复制数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住，所以一般先将数据复制到本地再进行操作。 数据集复制有两种方式，推荐使用OBS路径复制。 OBS路径（推荐） 直接使用moxing的copy_parallel接口，复制对应的OBS路径。 ModelArts数据
docker-runc.aarch64 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。
运行中的可视化作业不单独计费，当停止Notebook实例时，计费停止。 Summary文件如果存放在OBS中，由OBS单独收费。任务完成后请及时停止Notebook实例，清理OBS数据，避免产生不必要的费用。 在开发环境中创建MindInsight可视化作业流程 Step1 创建开发环境并在线打开
准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。 父主题： 主流开源大模型基于Lite
查询训练作业日志 功能介绍 按行来查询训练作业日志详细信息。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/aom-log 参数说明如表1所示。 表1 路径参数 参数 是否必选 参数类型
准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练，包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调、超参配置、训练任务、性能查看。 LoRA微调训练 介绍如何进行LoRA微调、超参配置、训练任务、性能查看。 父主题： 主流开源大模型基于Lite
model-name exp_name 相对于6.3.911版本仅是使用run_type来指定训练的类型，只能区分 预训练、全参微调和lora微调但实际上预训练和sft是训练的不同阶段，全参、lora是训练参数设置方式。为了更加明确的区分不同策略，以及和llama-factory对齐，6.3.912版本调整以下参数：
训练数据的OBS路径和存放训练输出的OBS路径。 Data OBS Path 设置为存储训练数据的OBS路径，例如“/test-modelarts2/mnist/dataset-mnist/”，其中“test-modelarts2”为桶名称。 Training OBS Path
在过往性能调优场景中，如果性能profiling数据在OBS上，通常需要将TB或者GB级别的profiling数据下载至本地后才能使用msprof-analyze进行分析，大量数据的下载耗时以及对本地大规格存储盘的要求容易导致分析受阻。为了能自动串联高性能挂载OBS至ModelArts环境和mspr
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
