检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
[tokenized_full_prompt[key]] return tokenized_full_prompt 对数据集 full_prompt 中的 user_prompt 进行 mask 操作。 MOSSMultiTurnHandler解析 MOSSMultiTurnHandler是处理微调数据集的
[tokenized_full_prompt[key]] return tokenized_full_prompt 对数据集 full_prompt 中的 user_prompt 进行 mask 操作。 MOSSMultiTurnHandler解析 MOSSMultiTurnHandler是处理微调数据集的
2-70B建议为8机64卡训练。 多机启动 以Llama2-70B为例,多台机器执行训练启动命令如下。多机启动需要在每个节点上执行。 进入代码目录/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed下执行启动脚本。xxx-Ascend请根据实际目录替换。
推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。 代码目录如下: benchmark_tools ├── benchmark_parallel
“元模型来源”:系统自动选择“从训练中选择”。 “选择训练作业”:系统自动选择上一步创建的训练作业。 “AI引擎”:系统自动写入该模型的AI引擎,无需修改。 “推理代码”:系统自动放置推理代码到OBS输出路径,无需修改。 “部署类型”:默认选择“在线服务”。 参数填写完成后,单击“立即创建”。页面自动跳转至AI应用列表页面,等待创建结果,预计2分钟左右。
基本配置 权限配置 创建网络 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutil安装和配置 (可选)工作空间配置 父主题: 专属资源池训练
部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor,其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。
对于集群训练场景,昇腾提供了集群分析工具cluster_analysis,当前主要对基于通信域的迭代内耗时分析、通信时间分析以及通信矩阵分析为主,从而定位慢卡、慢节点以及慢链路问题。 父主题: PyTorch迁移性能调优
资源池 创建资源池失败 Standard资源池节点故障定位 专属资源池关联SFS Turbo显示异常
Step4 启动训练脚本 请根据表1修改超参值后,再启动训练脚本。 单机启动 以GLM3-6B为例,单机SFT全参微调启动命令如下。 进入代码目录/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed下执行启动脚本。xxx-Ascend请根据实际目录替换。
Step4 启动训练脚本 请根据表1修改超参值后,再启动训练脚本。 单机启动 以baichuan2-13b为例,单机LoRA微调启动命令如下。进入代码目录/home/ma-user/ws/6.3.904-Ascend/llm_train/AscendSpeed下执行启动脚本。 MODEL_TYPE=13B
查询服务对象列表 获取当前用户服务对象列表。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景1:查询当前用户所有服务对象 1 2 3 4 5 6 from modelarts.session
要满足自定义模型规范,否则该模型无法正常使用AI Gallery工具链服务(微调大师和在线推理服务)。 当托管的是自定义镜像时,上传的模型文件要满足自定义镜像规范,否则该镜像无法正常使用AI Gallery工具链服务(微调大师和在线推理服务)。 当文件状态变成“上传成功”表示数据文件成功上传至AI
注册镜像。 验证SFS权限。 在左上角的服务列表中,选择SFS服务,进入SFS管理控制台。 在SFS管理控制台,在SFS Turo中单击右上角的“创建文件系统”,如果能正常打开页面,表示当前用户具备SFS的操作权限。 验证ECS权限。 在左上角的服务列表中,选择ECS服务,进入ECS管理控制台。
以Qwen-14B为例,单机SFT微调启动命令如下。在/home/ma-user/ws/xxx-Ascend/llm_train/AscendSpeed/代码目录下执行。 MODEL_TYPE=14B RUN_TYPE=lora DATASET_PATH=/home/ma-user/ws/pr
评估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-3rdLLM-x.x.x.zip的llm_evaluation目录下。 代码目录如下: benchmark_tools ├── benchmark_parallel
给子账号配置部署上线基本使用权限 管理员和开发者权限分离 使用Cloud Shell登录训练容器 限制用户使用公共资源池 给子账号配置文件夹级的SFS Turbo访问权限 父主题: Standard权限管理
前提条件 使用MindSpore引擎编写训练脚本时,为了保证训练结果中输出Summary文件,您需要在脚本中添加收集Summary相关代码。 将数据记录到Summary日志文件中的具体方式请参考收集Summary数据。 注意事项 在开发环境跑训练任务,在开发环境使用MindI
flash_attn 根因:昇腾环境暂时不支持flash_attn接口 规避措施:修改dynamic_module_utils.py文件,将180-184行代码注释掉 vim /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site
x版本,推荐使用3.7.x版本。 如果本地安装SDK时,出现如下图中的报错,需要先安装3.1.1版本的futures依赖包,然后再重新安装SDK。 pip install futures==3.1.1 图1 安装ModelArts SDK报错信息 当pip版本>=24.1版本时,会对