检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练启动脚本说明和参数配置 本代码包中集成了不同模型的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。若未完成，则执行脚本，自动完成数据预处理和权重转换的过程。 若用户进行自定义数据集预处理以及权重转换，可通过编辑 1_preprocess_data
显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already
训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。
训练的数据集预处理说明 以llama2-13b举例，使用训练作业运行：0_pl_pretrain_13b.sh训练脚本后，脚本检查是否已经完成数据集预处理。 如果已完成数据集预处理，则直接执行预训练任务。如果未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data
训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行预训练任务。如果未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf
训练tokenizer文件说明 在训练开始前，需要针对模型的tokenizer文件进行修改，不同模型的tokenizer文件修改内容如下，您可在创建的Notebook中对tokenizer文件进行编辑。 Yi模型 在使用Yi模型的chat版本时，由于transformer 4.3
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
训练中的权重转换说明 以 llama2-13b 举例，运行 0_pl_pretrain_13b.sh 脚本。脚本同样还会检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行预训练任务。如果未进行权重转换，则会自动执行 scripts/llama2/2_convert_mg_hf
BF16和FP16说明 在大模型训练中，BF16（Brain Floating Point）和FP16（Float16）都是使用的半精度浮点数格式，但它们在结构和适用性上有一些重要的区别。 BF16：具有8个指数位和7个小数位。在处理大模型时有优势，能够避免在训练过程中数值的上溢
显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already
归档对象不能直接下载，需要先进行恢复才能下载。 先对对象进行恢复操作。 403 Forbidden NotSignedUp 您的账户还没有在系统中注册，必须先在系统中注册了才能使用该账户。 先注册OBS服务。 403 Forbidden RequestTimeTooSkewed 客户端发起请求的时间与OBS服务端的时间相差太大。
当您不再需要通过标签分组对标签或者数据模型进行分类、搜索和聚合时，可以在应用设计态进行删除。 前提条件 已登录应用设计态。 操作步骤 在左侧导航栏中，选择“系统管理 > 主服务标签”，进入标签页面。 选择“标签分组”页签，进入标签分组页面。 勾选需要删除的分组名称，单击“删除”。 图1 删除分组 在弹出的提示框中，单击“确定”。
如何确认Linux云服务器上的SFS Turbo文件系统处于可用状态？ 以root用户登录云服务器，执行“showmount -e 文件系统域名或IP”命令，回显如下内容，则代表命令中“文件系统域名或IP”对应的SFS Turbo文件系统处于可用状态。 Export list for 文件系统域名或IP / * 或
conf文件，重启后不生效怎么办？ 问题现象 修改/etc/security/limits.conf文件，重启后配置项不生效。 可能原因 Linux操作系统云服务器中限制资源使用的配置文件是/etc/security/limits.conf和/etc/security/limits.d/目录
查看标签分组 操作场景 您可以在应用设计态查看标签分组的基本信息、分组细类和历史记录。 前提条件 已登录应用设计态。 操作步骤 在左侧导航栏中，选择“系统管理 > 主服务标签”，进入标签页面。 选择“标签分组”页签，进入标签分组页面。 找到需要查看的分组，单击该分组名称，进入标签分组详情页面。
依赖的外部服务不可用。 请联系客服。 400 IVA.0011 Exceed max specification. 超出最大规格。 修改规格限制或者联系客服。 400 IVA.0012 Exceed max quota. 超出最大配额。 修改配额或者联系客服。 403 IVA.0013
OBS桶和镜像文件的存储类别必须是标准存储。 如果您希望在创建系统盘镜像时携带数据盘一起创建，还需要准备数据盘所在的镜像文件，并将该文件上传至OBS桶。最终将生成一个系统盘镜像、一个或多个（1~3个）数据盘镜像。 父主题： 通过外部镜像文件创建Linux系统盘镜像
数据导出包在元数据导出/数据导出页面可供48小时之内下载使用，48小时后将被系统删除。 操作步骤 参考登录管理中心中操作，登录AstroZero管理中心。 在左侧导航栏中，选择“系统管理 > 数据处理 > 元数据导出”或“系统管理 > 数据处理 > 数据导出”。 选择“系统管理 > 数据处理 > 元数据导出”，表示导出元数据表，即对象结构。
新增自定义脱敏算法 操作场景 对于系统内置的敏感数据标签，系统内置了相应的脱敏算法，您可以更新系统内置的脱敏算法，也可新增自定义的脱敏算法。配置并启用脱敏规则后，系统将根据配置的脱敏算法对接口中的敏感数据进行脱敏。脱敏算法可在配置脱敏行业模板时进行引用，具体操作，请参见配置脱敏模板。
升级HiLens Kit系统固件版本，详情请参见升级HiLens Kit系统固件版本。 同步设备时区和时间，详情请参见同步时区和时间。 操作步骤 登录华为HiLens智能边缘管理系统，在本地PC中打开浏览器。在地址栏中输入华为HiLens智能边缘管理系统的地址，地址格式为“htt
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
