华为云用户手册

2021/04/06- WeLink 手机端 V5.35.9 【新增功能】 会议 观看共享时新增发言人视频小窗，并支持下拉关闭 视频画面上新增云录制快捷入口，方便控制录制进度 直播 公告支持由主播进行发布，并在评论区中展示（主播发布公告需在PC端操作，移动端仅支持公告展示） 云空间 最近访问记录支持一键清除（达到10条或以上记录底部才会出现清除按钮；按文件类型筛选时不会出现清除按钮） Android5.35.9 & iOS5.35.19 版本更新内容介绍.docx

2024/10/10- WeLink手机端 V7.40.7 【新增功能】 消息 “稍后处理”支持批量处理待办消息 “稍后处理”消息容量提升 日历支持 Exchange 邮箱用户查看图片 Android 7.40.7 & iOS 7.40.9版本更新内容介绍.docx Android 7.0 及以上系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（64位）WeLink 下载

2024/7/31- WeLink手机端 V7.38.11 【新增功能】 云空间 文件分享支持授予“可预览/不可复制”权限 消息体验优化 通讯录体验优化 Android 7.38.11 & iOS 7.38.5版本更新内容介绍.docx Android 7.0 及以上系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（64位）WeLink 下载

2024/5/6- WeLink手机端 V7.35.13 【新增功能】 安全 安全截屏图片支持二维码识别 会议 视频会议支持会中画面一键锁定，防误触 研讨会体验优化 Android 7.35.13& iOS 7.35.11版本更新内容介绍.docx Android 7.0 及以上系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（64位）WeLink 下载

2024/8/31- WeLink手机端 V7.39.5 【新增功能】 会话分组支持滑动切换 新增企业认证标识 研讨会体验优化 Android 7.39.5 & iOS 7.39.9版本更新内容介绍.docx Android 7.0 及以上系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（64位）WeLink 下载

2024/7/4- WeLink手机端 V7.37.9 【新增功能】 安全 安全截屏图片支持涂鸦功能 消息转发及表情体验优化 会议体验优化 Android 7.37.9 & iOS 7.37.15版本更新内容介绍.docx Android 7.0 及以上系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（64位）WeLink 下载

2024/6/6- WeLink手机端 V7.36.9 【新增功能】 云空间 分享云空间文件支持不同用户设置不同权限 消息 消息首页，支持自定义会话分组 消息体验优化 Android 7.36.9 & iOS 7.36.15版本更新内容介绍.docx Android 7.0 及以上系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（64位）WeLink 下载

2024/12/4- WeLink手机端 V7.42.11 【新增功能】 邮件支持配置Oauth2.0认证 通讯录体验优化 会议体验优化 Android 7.42.11 & iOS 7.42.9版本更新内容介绍.docx Android 7.0 及以上系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（64位）WeLink 下载

2025/1/3- WeLink手机端 V7.43.9（NEW） 【新增功能】 会议 视频周期会议支持预订周期会议室 会议体验优化 通讯录体验优化 Android 7.43.9 & iOS 7.43.11版本更新内容介绍.docx Android 7.0 及以上系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（32位）WeLink 下载 Android 5.0 ~ 6.0 系统（64位）WeLink 下载

2020/05/26-WeLink PC端 V6.5.5 【新增功能】 通讯录：支持显示员工多部门信息，完整显示员工部门信息。 【体验优化】 会议优化：多项体验提升，会议功能更好用。 视频会议默认开启美颜效果，开会更舒心。 预约会议时间支持按分钟选择，更精准。 会议分享卡片优化，新增会议二维码。 群组发起会议时，支持取消勾选无需入会人员。 与会者列表支持查看摄像头开关状态。 会中关闭摄像头后，屏幕中会显示与会成员头像。 头像更换更快捷，用户可快速更换新头像。 PC6.5.5版本新功能介绍.docx

2020/05/06-WeLink PC端 V6.4.3 【新增功能】 新增扫码登录：手机端扫码快速登录PC端。 新增快速切换企业：无需退出登录，即可一键切换企业。 新增企业认证标识：企业列表增加认证企业标识，准确识别已认证官方企业组织。 【体验优化】 会议优化： 支持广播多画面：在Web会议管理平台设置广播多画面后，PC端支持显示多画面。 支持锁定共享：主持人锁定共享后，仅主持人可以发起共享。 首次加入会议默认关闭摄像头：用户首次用WeLink入会时，默认关闭摄像头。 屏幕共享更流畅：共享视频时，提升视频播放流畅性。 会议降噪效果提升：可有效屏蔽会议中的背景噪声。 视频会议体验更佳：解决偶现视频花屏、视频会议卡顿的问题。 云笔记优化：可在客户端内打开，无需跳转浏览器。 IM优化：历史消息新增“加载更多”按钮。 PC6.4.3版本新功能介绍.docx

2020/04/14-WeLink PC端 V6.3.4 【新增功能】 会议功能更新： 支持编辑已预约会议：会议预约成功后，可对与会人员、会议时间等信息进行二次编辑。 语音会议支持录制：在发起语音会议（预约语音会议）的高级设置中开启“录制会议”，会议开始后，即可录制。 支持锁定会议：在Web端会控页面或客户端会控页面，支持锁定会议，锁定后，仅可通过主持人邀请入会，未被邀请的用户无法主动入会。 批量导出历史会议记录：在个人会议管理平台，可以批量导出历史会议记录。 新增业务模块： 用户可以查看待办、审批，会议日程卡片；使用各类企业应用，访问应用中心，便捷处理各类办公类事务。 云空间集成： 云空间集成PC客户端，不需要再跳转浏览器。支持超大文件传输、批量上传下载、秒传、断点续传等特性，体验更流畅。 PC端支持打开我的客服： 点击搜索框右侧的“客服”图标，用户可与WeLink官方客服联系，快速寻求官方帮助。 PC6.3.4版本新功能介绍.docx

2020/03/21-WeLink PC端 V6.2.34 【新增功能】 新增云笔记：快速建立文字、手写和Markdown笔记，随时保存工作灵感。 会议邀请：支持一键邀请团队参会，快速将团队内所有成员拉入会议。 支持打开卡片消息：新增支持打开移动端分享到PC端投票、话题等卡片消息。 支持接收公众号消息：新增支持接收和打开WeLink团队等系统公众号推送的消息。 【体验优化】 会议体验优化。 声音效果提升，解决回声、丢字问题，声音更清晰，沟通更舒心 屏幕共享更好用，顶部菜单栏变细，不会遮挡共享内容 会议邀请更直观，邀请后自动打开与会者列表，方便查看邀请用户呼叫状态 电话外呼体验优化，提升用户使用体验。 PC6.2.34版本新功能介绍.docx

2020/08/07-WeLink PC端 V6.7.4 【新增功能】 新增公司全员群和部门群。 管理员在后台创建公司全员群和部门全员群后，可同步至PC端，并会有“全员”或“部门”标识，方便员工快速找到相应群组。 切换企业列表支持显示其他企业未读消息数。 多企业用户在左上角切换企业列表，可看到其他企业未读消息数，方便快速处理不同企业消息。 通讯录功能优化。 个人详情页支持显示自定义字段信息 企业管理员在管理后台设置自定义字段信息后（扩展信息），可显示在PC端个人详情页。 通讯录人员列表可显示员工职务信息 通讯人员列表新增职务栏目，可显示员工职务信息。 【体验优化】 登录WeLink后，快速刷新已有会话列表，减少等待时间，提升使用体验。 PC6.7.4版本新功能介绍.docx

2020/11/11-WeLink PC端 V7.0.19 【新增功能】 会议共享支持显示水印：在管理后台开启“会议水印”设置后，通过PC端共享屏幕时，支持显示水印。 预约会议支持发送邮件日历：在预约会议-高级设置里可开启发送邮件日历功能，会议预约成功后与会人员账号绑定邮箱可收到邮件日历。 UCD改版，优化用户体验：界面风格变化，颜色更加丰富，整体更加美观。 框架优化，提升性能及稳定性。 修复在桌面云环境下WeLink云盘无法上传下载文件的问题。

2020/09/27-WeLink PC端 V6.10.1 【新增功能】 通讯录个人详情页可按自定义设置显示部门样式。 在“管理后台-设置-通讯录设置-员工信息设置-部门显示样式设置”中，可自定义部门显示样式，设置后可显示在PC端通讯录个人详情页。 通讯录个人详情页面支持显示主管信息。 在管理后台为员工设置主管信息后，可在PC端通讯录个人详情页查看到主管信息。 直播新增热门推荐。 直播首页新增热门推荐，可查看平台为用户推荐的精彩直播内容，企业管理员可在直播管理后台将自有直播内容（直播回放或重要直播）设置到推荐位。 修复部分已知，提高版本稳定性。 PC6.10.1新版本功能介绍.docx

2020/07/08-WeLink PC端 V6.6.6 【新增功能】 会议。 主持可移除与会者。 音视频设备检测功能，快速检测、排查设备问题。 支持音频降噪，可有效消除说话时的环境杂音。 增加网络检测功能。 可检测WeLink网络连接状态，方便定位会议网络连接和无法登录等问题。 IM消息支持合并转发。 在单聊和群聊对话窗口，选中多条对话消息后，可将选中的消息合并转发给同事或者群聊，消息以卡片形式呈现。 【体验优化】 会议。 会议中对方网络不佳时，小画面将显示网络信号状态格。 发言时，列表中的麦克风图标会随音量大小动态变化。 密码输入错误提示优化。 当用户第一次和第二次输错密码时，系统会提示：“账号或者密码错误”。 当用户第三次输错密码时，系统会提示：“账号或者密码错误，连续5次错误将锁定账号15分钟（当前错误3次）”。 当用户第四次输错密码时，系统会提示：“账号或者密码错误，连续5次错误将锁定账号15分钟（当前错误4次）”。 当用户第五次输错密码时，系统提示“错误次数过多，请15分钟后再试”。 如用户输错次数大于5次，系统会提示：“账号锁定，请15分钟后再试”。 PC6.6.6版本新功能介绍.docx

步骤四 根据config.yaml启动作业 启动作业命令如下。首先会根据config.yaml创建pod，继而在pod容器内自动启动训练作业。 kubectl apply -f config.yaml 启动后，可通过以下命令获取所有已创建的pod信息。若pod已全部启动，则状态为：Running。 kubectl get pod -A -o wide 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为上述pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name}

步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例，执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 训练超参配置说明 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/training_data/alpaca_gpt4_data.json 必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/models/llama2-13B 必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging Face权重与tokenizer文件分开存放时，则需要修改参数。 INPUT_PRO CES SED_DIR /home/ma-user/ws/llm_train/AscendSpeed/processed_for_input/llama2-13b 该路径下保存“数据转换”和“权重转换”的结果。示例中，默认生成在“processed_for_input”文件夹下。若用户需要修改，可添加并自定义该变量。 OUTPUT_SAVE_DIR /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/ 该路径下统一保存生成的 CKPT、P LOG 、LOG 文件。示例中，默认统一保存在“saved_dir_for_output”文件夹下。若用户需要修改，可添加并自定义该变量。 CKPT_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b 保存训练生成的模型 CKPT 文件。示例中，默认保存在“saved_dir_for_output/saved_models”文件夹下。若用户需要修改，可添加并自定义该变量。 LOG_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b/log 保存训练过程记录的日志 LOG 文件。示例中，默认保存在“saved_models/llama2-13b/log”文件夹下。若用户需要修改，可添加并自定义该变量。 ASCEND_PROCESS_LOG_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/plog 保存训练过程中记录的程序堆栈信息日志 PLOG 文件。示例中，默认保存在“saved_dir_for_output/plog”文件夹下。若用户需要修改，可添加并自定义该变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型，还需要手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。

步骤四 根据config.yaml启动作业 启动作业命令如下。首先会根据config.yaml创建pod，继而在pod容器内自动启动训练作业。 kubectl apply -f config.yaml 启动后，可通过以下命令获取所有已创建的pod信息。若pod已全部启动，则状态为：Running。 kubectl get pod -A -o wide 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为上述pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name}

步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例，执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 训练超参配置说明 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/training_data/alpaca_gpt4_data.json 必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/models/llama2-13B 必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging Face权重与tokenizer文件分开存放时，则需要修改参数。 INPUT_PROCESSED_DIR /home/ma-user/ws/llm_train/AscendSpeed/processed_for_input/llama2-13b 该路径下保存“数据转换”和“权重转换”的结果。示例中，默认生成在“processed_for_input”文件夹下。若用户需要修改，可添加并自定义该变量。 OUTPUT_SAVE_DIR /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/ 该路径下统一保存生成的 CKPT、PLOG、LOG 文件。示例中，默认统一保存在“saved_dir_for_output”文件夹下。若用户需要修改，可添加并自定义该变量。 CKPT_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b 保存训练生成的模型 CKPT 文件。示例中，默认保存在“saved_dir_for_output/saved_models”文件夹下。若用户需要修改，可添加并自定义该变量。 LOG_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b/log 保存训练过程记录的日志 LOG 文件。示例中，默认保存在“saved_models/llama2-13b/log”文件夹下。若用户需要修改，可添加并自定义该变量。 ASCEND_PROCESS_LOG_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/plog 保存训练过程中记录的程序堆栈信息日志 PLOG 文件。示例中，默认保存在“saved_dir_for_output/plog”文件夹下。若用户需要修改，可添加并自定义该变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型，还需要手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。

Step2 为用户配置云服务使用权限 主用户为子账号授予ModelArts、OBS等云服务的使用权限后，子账号才可以使用这些云服务。此步骤介绍如何为用户组中的所有子账号授予使用ModelArts、OBS、SWR等各类云服务的权限。 主用户在 IAM 服务的用户组列表页面，单击“授权”，进入到授权页面，为子账号配置权限。 图1 为用户组授权 配置授权前，请先了解ModelArts各模块使用到的最小权限要求，如表1所示。 配置ModelArts使用权限。在搜索框搜索ModelArts。ModelArts FullAccess权限和ModelArts CommonOperations权限只能二选一，不能同时选。 选择说明如下： ModelArts CommonOperations没有任何专属资源池的创建、更新、删除权限，只有使用权限。推荐给子账号配置此权限。 如果需要给子账号开通专属资源池的创建、更新、删除权限，此处要勾选ModelArts FullAccess，请谨慎配置。 配置OBS使用权限。搜索OBS，勾选“OBS Administrator”。ModelArts训练作业中需要依赖OBS作为数据中转站，需要配置OBS的使用权限。 配置SWR使用权限。搜索SWR，勾选“SWR FullAccess”。ModelArts的 自定义镜像 功能依赖 镜像服务 SWR FullAccess权限。 （可选）配置密钥管理权限。如果需要使用ModelArts Notebook的SSH访问功能，依赖密钥管理权限。搜索DEW，勾选“DEW KeypairFullAccess”。 此处需要注意以下Region配置的是DEW密钥管理权限：华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、西南-贵阳一、中国-香港、亚太-新加坡。其他Region配置的是KMS密钥管理权限。本示例中使用“华南-广州”Region举例，所以需要配置DEW密钥管理权限。 （可选）配置智能边缘平台使用权限。ModelArts的边缘服务依赖智能边缘平台，要求配置Tenant Administrator权限。 注意：Tenant Administrator权限比较大，包含全部云服务的管理权限，而不仅是使用ModelArts服务。请谨慎配置。 （可选） 配置CES 云监控 和 SMN 消息通知使用权限。ModelArts推理部署的在线服务详情页面内有调用次数详情，单击可查看该在线服务的调用次数随时间详细分布的情况。如果想进一步通过CES云监控查看ModelArts的在线服务和对应模型负载运行状态的整体情况，需要给子账号授予CES权限。 如果只是查看监控，给子账号授予CES ReadOnlyAccess权限即可。 如果还需要在CES上设置监控告警，则需要再加上CES FullAccess权限，以及SMN 消息通知 权限。 （可选）配置VPC权限。如果用户在创建专属资源池过程中，需要开启自定义网络配置，此处需要授予用户VPC权限。 （可选）配置SFS和SFS Turbo权限。如果用户在专属资源池中挂载SFS系统作为开发环境或训练的存储时，需要授予使用权限。 单击左上角的“查看已选”，确认已勾选的权限。 再单击“下一步”，设置最小授权范围。单击“指定区域项目资源”，勾选待授权使用的区域，单击“确定”。 提示授权成功，查看授权信息，单击“完成”。此处的授权生效需要15-30分钟。 父主题： 配置ModelArts基本使用权限

步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例，执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 训练超参配置说明 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/training_data/alpaca_gpt4_data.json 必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/models/llama2-13B 必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。如果用户需要将Hugging Face权重与tokenizer文件分开存放时，则需要修改参数。 INPUT_PROCESSED_DIR /home/ma-user/ws/llm_train/AscendSpeed/processed_for_input/llama2-13b 该路径下保存“数据转换”和“权重转换”的结果。示例中，默认生成在“processed_for_input”文件夹下。如果用户需要修改，可添加并自定义该变量。 OUTPUT_SAVE_DIR /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/ 该路径下统一保存生成的 CKPT、PLOG、LOG 文件。示例中，默认统一保存在“saved_dir_for_output”文件夹下。如果用户需要修改，可添加并自定义该变量。 CKPT_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b 保存训练生成的模型 CKPT 文件。示例中，默认保存在“saved_dir_for_output/saved_models”文件夹下。如果用户需要修改，可添加并自定义该变量。 LOG_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b/log 保存训练过程记录的日志 LOG 文件。示例中，默认保存在“saved_models/llama2-13b/log”文件夹下。如果用户需要修改，可添加并自定义该变量。 ASCEND_PROCESS_LOG_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/plog 保存训练过程中记录的程序堆栈信息日志 PLOG 文件。示例中，默认保存在“saved_dir_for_output/plog”文件夹下。如果用户需要修改，可添加并自定义该变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型，还需要手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。

在本地机器调试 自定义引擎的规范可以在安装有docker的本地机器上通过以下步骤提前验证： 将自定义引擎镜像下载至本地机器，假设镜像名为custom_engine:v1。 将模型包文件夹复制到本地机器，假设模型包文件夹名字为model。 在模型包文件夹的同级目录下验证如下命令拉起服务： docker run --user 1000:100 -p 8080:8080 -v model:/home/mind/model custom_engine:v1 该指令无法完全模拟线上，主要是由于-v挂载进去的目录是root权限。在线上，模型文件从OBS下载到/home/mind/model目录之后，文件owner将统一修改为ma-user。 在本地机器上启动另一个终端，执行以下验证指令，得到符合预期的推理结果。 curl https://127.0.0.1:8080/${推理服务的请求路径}

https示例 使用Flask启动https，Webserver代码示例如下： from flask import Flask, request import json app = Flask(__name__) @app.route('/greet', methods=['POST']) def say_hello_func(): print("----------- in hello func ----------") data = json.loads(request.get_data(as_text=True)) print(data) username = data['name'] rsp_msg = 'Hello, {}!'.format(username) return json.dumps({"response":rsp_msg}, indent=4) @app.route('/goodbye', methods=['GET']) def say_goodbye_func(): print("----------- in goodbye func ----------") return '\nGoodbye!\n' @app.route('/', methods=['POST']) def default_func(): print("----------- in default func ----------") data = json.loads(request.get_data(as_text=True)) return '\n called default func !\n {} \n'.format(str(data)) @app.route('/health', methods=['GET']) def healthy(): return "{\"status\": \"OK\"}" # host must be "0.0.0.0", port must be 8080 if __name__ == '__main__': app.run(host="0.0.0.0", port=8080, ssl_context='adhoc')

步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例，执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 训练超参配置说明 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/training_data/alpaca_gpt4_data.json 必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/models/llama2-13B 必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。如果用户需要将Hugging Face权重与tokenizer文件分开存放时，则需要修改参数。 INPUT_PROCESSED_DIR /home/ma-user/ws/llm_train/AscendSpeed/processed_for_input/llama2-13b 该路径下保存“数据转换”和“权重转换”的结果。示例中，默认生成在“processed_for_input”文件夹下。如果用户需要修改，可添加并自定义该变量。 OUTPUT_SAVE_DIR /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/ 该路径下统一保存生成的 CKPT、PLOG、LOG 文件。示例中，默认统一保存在“saved_dir_for_output”文件夹下。如果用户需要修改，可添加并自定义该变量。 CKPT_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b 保存训练生成的模型 CKPT 文件。示例中，默认保存在“saved_dir_for_output/saved_models”文件夹下。如果用户需要修改，可添加并自定义该变量。 LOG_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b/log 保存训练过程记录的日志 LOG 文件。示例中，默认保存在“saved_models/llama2-13b/log”文件夹下。如果用户需要修改，可添加并自定义该变量。 ASCEND_PROCESS_LOG_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/plog 保存训练过程中记录的程序堆栈信息日志 PLOG 文件。示例中，默认保存在“saved_dir_for_output/plog”文件夹下。如果用户需要修改，可添加并自定义该变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型，还需要手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。 由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor model parallel size)张量模型并行策略，推荐使用PP(pipeline model parallel size)流水线模型并行策略，具体详细参数配置如表2所示。

步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例，执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 训练超参配置说明 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/training_data/alpaca_gpt4_data.json 必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/models/llama2-13B 必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging Face权重与tokenizer文件分开存放时，则需要修改参数。 INPUT_PROCESSED_DIR /home/ma-user/ws/llm_train/AscendSpeed/processed_for_input/llama2-13b 该路径下保存“数据转换”和“权重转换”的结果。示例中，默认生成在“processed_for_input”文件夹下。若用户需要修改，可添加并自定义该变量。 OUTPUT_SAVE_DIR /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/ 该路径下统一保存生成的 CKPT、PLOG、LOG 文件。示例中，默认统一保存在“saved_dir_for_output”文件夹下。若用户需要修改，可添加并自定义该变量。 CKPT_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b 保存训练生成的模型 CKPT 文件。示例中，默认保存在“saved_dir_for_output/saved_models”文件夹下。若用户需要修改，可添加并自定义该变量。 LOG_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b/log 保存训练过程记录的日志 LOG 文件。示例中，默认保存在“saved_models/llama2-13b/log”文件夹下。若用户需要修改，可添加并自定义该变量。 ASCEND_PROCESS_LOG_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/plog 保存训练过程中记录的程序堆栈信息日志 PLOG 文件。示例中，默认保存在“saved_dir_for_output/plog”文件夹下。若用户需要修改，可添加并自定义该变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型，还需要手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。

步骤四 根据config.yaml启动作业 启动作业命令如下。首先会根据config.yaml创建pod，继而在pod容器内自动启动训练作业。 kubectl apply -f config.yaml 启动后，可通过以下命令获取所有已创建的pod信息。若pod已全部启动，则状态为：Running。 kubectl get pod -A -o wide 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为上述pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name}

步骤四 根据config.yaml启动作业 启动作业命令如下。首先会根据config.yaml创建pod，继而在pod容器内自动启动训练作业。 kubectl apply -f config.yaml 启动后，可通过以下命令获取所有已创建的pod信息。若pod已全部启动，则状态为：Running。 kubectl get pod -A -o wide 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为上述pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name}

步骤二 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例，执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。 表1 训练超参配置说明 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/training_data/alpaca_gpt4_data.json 必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/models/llama2-13B 必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_WEIGHT路径相同。若用户需要将Hugging Face权重与tokenizer文件分开存放时，则需要修改参数。 INPUT_PROCESSED_DIR /home/ma-user/ws/llm_train/AscendSpeed/processed_for_input/llama2-13b 该路径下保存“数据转换”和“权重转换”的结果。示例中，默认生成在“processed_for_input”文件夹下。若用户需要修改，可添加并自定义该变量。 OUTPUT_SAVE_DIR /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/ 该路径下统一保存生成的 CKPT、PLOG、LOG 文件。示例中，默认统一保存在“saved_dir_for_output”文件夹下。若用户需要修改，可添加并自定义该变量。 CKPT_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b 保存训练生成的模型 CKPT 文件。示例中，默认保存在“saved_dir_for_output/saved_models”文件夹下。若用户需要修改，可添加并自定义该变量。 LOG_SAVE_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/saved_models/llama2-13b/log 保存训练过程记录的日志 LOG 文件。示例中，默认保存在“saved_models/llama2-13b/log”文件夹下。若用户需要修改，可添加并自定义该变量。 ASCEND_PROCESS_LOG_PATH /home/ma-user/ws/llm_train/AscendSpeed/saved_dir_for_output/plog 保存训练过程中记录的程序堆栈信息日志 PLOG 文件。示例中，默认保存在“saved_dir_for_output/plog”文件夹下。若用户需要修改，可添加并自定义该变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型，还需要手动修改训练参数和tokenizer文件，具体请参见训练tokenizer文件说明。