检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-y”，“yum update -y”命令是用于在Linux操作系统上更新软件包的命令。其中，选项-y表示在更新时自动确认所有提示信息，而不需要手动输入“y”确认。 请注意，使用此命令将会检查您系统中已安装的软件包并更新至最新版本。 图1 yum命令历史 查看NetworkManager配置：
&& \ git config --global user.name "Your Name" && \ 执行以下命令制作训练镜像。安装过程需要连接互联网git clone，请确保ECS可以访问公网 docker build -t <镜像名称>:<版本名称> . 如果无法访问公网
入已有的模型文件。 创建OBS操作步骤 登录OBS管理控制台，在桶列表页面右上角单击“创建桶”，创建OBS桶。 图2 创建桶 创建桶的区域需要与ModelArts所在的区域一致。例如：当前ModelArts在华北-北京四区域，在对象存储服务创建桶时，请选择华北-北京四。 如何查看
PUBLIC：租户内部公开访问。 PRIVATE：仅创建者和主账号可访问。 INTERNAL：创建者、主账号、指定IAM子账号可访问，需要与grants参数配合使用。 name 否 String 工作空间名称。长度限制为4-64字符，支持中文、大小写字母、数字、中划线和下划线
Decoding特性不能和multi-step同时使用。 离线推理使用Guided Decoding 离线推理，要使用guided-decoding，需要通过SamplingParams类中的GuidedDecodingParams进行配置。 下面是一种离线使用方式示例： from vllm
&& \ git config --global user.name "Your Name" && \ 执行以下命令制作训练镜像。安装过程需要连接互联网git clone，请确保ECS可以访问公网 docker build -t <镜像名称>:<版本名称> . 如果无法访问公网
能，可查看模型开发简介。 Step2 配置环境变量 单击“增加环境变量”，在增加的环境变量填写框中，按照表1表格中的配置进行填写。 表1 需要填写的环境变量 环境变量 示例值 参数说明 GPUS_PER_NODE 8 必须填写。根据资源规格每个节点上NPU的数量填写。 DATA
必须修改。加载tokenizer与Hugging Face权重时，对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B和Qwen系列模型，还需要手动修改tokenizer文件，具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业，并自定义名称、描述等
通过样本属性搜索。 parent_sample_id String 父样本ID。 sample_dir String 根据样本所在目录搜索（目录需要以/结尾），只搜索指定目录下的样本，不支持目录递归搜索。 sample_name String 根据样本名称搜索（含后缀名）。 sample_time
复图片被过滤掉。取值范围为0~1。 do_validation 否 True 是否进行数据校验，可填True或者False。表示数据去重前需要进行数据校验，否则只进行数据去重。 输入要求 算子输入分为两种，“数据集”或“OBS目录”。 选择“数据集”，请从下拉框中选择ModelA
选择代码目录中训练作业的Python启动脚本。例如“obs://test-modelarts/code/main.py”。 超参 当资源规格为单机多卡时，需要指定超参world_size和rank。 当资源规格为多机时（即实例数大于 1），无需设置超参world_size和rank，超参会由平台自动注入。
可实现对单个节点的重置。勾选多个节点的复选框，单击节点列表上方的“更多>重置”按钮，可实现对多个节点的重置。 如图1，下发重置节点任务时需要填写以下参数。 表1 重置参数说明 参数名称 说明 操作系统 选择下拉框中支持的操作系统。 配置方式 选择重置节点的配置方式。 按节点比例
否 String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0, 256]。 config 是 Object 创建训练作业需要的参数。详情请参见表3。 workspace_id 否 String 指定作业所处的工作空间，默认值为“0”。 表3 config属性列表
1.wav 2.wav 3.wav 表格 支持从OBS导入csv文件，需要选择文件所在目录，其中csv文件的列数需要跟数据集schema一致。支持自动获取csv文件的schema。 ├─dataset-import-example │
String 算法的代码目录。如：“/usr/app/”。应与boot_file一同出现。 boot_file 否 String 算法的代码启动文件，需要在代码目录下。如：“/usr/app/boot.py”。应与code_dir一同出现。 command 否 String 自定义镜像算法的容器启动命令。
必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。 EPOCH 5 表示训练轮次，根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。 TRAIN_ITERS SN / GBS * EPOCH 非必填。表示训练step迭代次数，根据实际需要修改。 SEED 1234 随机种子数。每次数据采样时，保持一致。
必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。 EPOCH 5 表示训练轮次，根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。 TRAIN_ITERS SN / GBS * EPOCH 非必填。表示训练step迭代次数，根据实际需要修改。 SEED 1234 随机种子数。每次数据采样时，保持一致。
必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。 EPOCH 5 表示训练轮次，根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。 TRAIN_ITERS SN / GBS * EPOCH 非必填。表示训练step迭代次数，根据实际需要修改。 SEED 1234 随机种子数。每次数据采样时，保持一致。
quantized_model.save_pretrained("CodeLlama-34b-hf") 步骤二：启动量化服务 使用量化模型需要在NPU的机器上运行。 在模型的保存目录中创建quant_config.json文件，bits必须设置为8，指定量化为int8；group
&& \ git config --global user.name "Your Name" && \ 执行以下命令制作训练镜像。安装过程需要连接互联网git clone，请确保ECS可以访问公网 docker build -t <镜像名称>:<版本名称> . 若无法访问公网，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
