检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对收集的大量数据进行计算、分析、汇总和整理，以求最大化地开发数据价值，发挥数据作用。 AI开发的基本流程 AI开发的基本流程通常可以归纳为几个步骤：确定目的、准备数据、训练模型、评估模型、部署模型。 图1 AI开发流程 确定目的 在开始AI开发之前，必须明确要分析什么？要解决什
前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT全参微调为例，执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的配置，参数详解可查看训练参数说明，其中【GBS、MBS、TP、PP】
资产的README内容，支持添加资产的简介、使用场景、使用方法等信息。 编辑完成后，单击“确认”保存修改。 管理数据集文件 预览文件 在数据集详情页，选择“数据集文件”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在数据集详情页，选择“数据集文件”
资产的README内容，支持添加资产的简介、使用场景、使用方法等信息。 编辑完成后，单击“确认”保存修改。 管理镜像文件 预览文件 在镜像详情页，选择“镜像文件”页签。单击文件名称即可在线预览文件内容。 仅支持预览大小不超过10MB、格式为文本类或图片类的文件。 下载文件 在镜像详情页，选择“镜像文件”页签。
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户，完成本方案
NVERT_MG2HF环境变量并设置为True）。 分别单击“输入”和“输出”的数据存储位置，如图所示，选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为：环境变量。 “输出”中的预下载至本
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户，完成本方案
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
主机用root权限执行命令进行修改 docker exec -u root:root 39c9ceedb1f6 bash -c "chown -R ma-user:ma-user /cache" 针对调试中遇到的错误，可以直接在容器实例里修改，修改结果可以通过commit命令持久化。
配置需要的NPU卡。 export ASCEND_RT_VISIBLE_DEVICES=0,1,2,3 0,1,2,3修改为需要使用的卡，如需使用全部8张卡，修改为0,1,2,3,4,5,6,7。 配置PYTHONPATH。 export PYTHONPATH=$PYTHONPATH:${vllm_path}
1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。 EPOCH 5 表示训练轮次，根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。 TRAIN_ITERS SN / GBS * EPOCH 非必填。表示训练step迭代次数，根据实际需要修改。 SEED
│ ├── MSVD-QA 步骤9 启动一级流水优化 export TASK_QUEUE_ENABLE=2 步骤10 修改msvd_eval.sh参数 修改scripts/video/eval/msvd_eval.sh中的参数 模型存放的地方，如果根据第2步的方式保存的模型，设置如下：
NVERT_MG2HF环境变量并设置为True）。 分别单击“输入”和“输出”的数据存储位置，如图所示，选择OBS桶中指定的目录。ORIGINAL_TRAIN_DATA_PATH中则直接选中数据集文件。 “输入”和“输出”中的获取方式全部选择为：环境变量。 “输出”中的预下载至本
密算法采用了国际通用的AES算法。 传输中的数据保护 在ModelArts中导入模型时，支持用户自己选择HTTP和HTTPS两种传输协议，为保证数据传输的安全性，推荐用户使用更加安全的HTTPS协议。 数据完整性检查 推理部署功能模块涉及到的用户模型文件和发布到AIGallery
n、ChatGLM、Yi、Baichuan等推理部署的详细过程，利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制
String 导入的OBS路径或manifest路径。 导入manifest时，path必须精确到具体manifest文件。 导入为目录时，目前仅支持数据集类型为图片分类、物体检测、文本分类、声音分类。 import_type Integer 导入方式。可选值如下： 0：目录导入 1：按manifest文件导入
即可 用户自定义执行数据处理脚本修改参数说明 若用户要自定义数据处理脚本并且单独执行，同样以 llama2 为例。 方法一：用户可打开scripts/llama2/1_preprocess_data.sh脚本，将执行的python命令复制下来，修改环境变量的值，进入到 /home
可 用户自定义执行数据处理脚本修改参数说明 如果用户要自定义数据处理脚本并且单独执行，同样以 llama2 为例。 方法一：用户可打开scripts/llama2/1_preprocess_data.sh脚本，将执行的python命令复制下来，修改环境变量的值，进入到 /home
Name" && \ 若要对ChatCLMv3、GLMv4系列模型进行训练时，需要修改 Dockerfile 中的 transformers 的版本。 由默认 transformers==4.47.0 修改为：transformers==4.44.2 执行以下命令制作训练镜像。安装过程需要连接互联网git
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
