检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ID值不同，其他参数都保持一致。其中MASTER_ADDR、 NODE_RANK、 NODE_RANK为必填。 执行单机启动命令（可选） 一般小于等于14B模型可选择单机启动，操作过程与多机启动相同，只需修改对应参数即可，可以选用单机启动。 进入代码目录/home/ma-user
ID值不同，其他参数都保持一致。其中MASTER_ADDR、 NODE_RANK、 NODE_RANK为必填。 执行单机启动命令（可选） 一般小于等于14B模型可选择单机启动，操作过程与多机启动相同，只需修改对应参数即可，可以选用单机启动。 进入代码目录/home/ma-user
import OnnxStableDiffusionImg2ImgPipeline 模型初始化 使用MindSpore Lite进行推理时一般需要先设置目标设备的上下文信息，然后构建推理模型，获取输入数据，模型预测并得到最终的结果。一个基础的推理框架写法如下所示： # base_mslite_demo
练迭代的时长。 TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size 。 PP 4 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。对应训练参数 pipeline-model-parallel-size 。 CP 1 表示
GBS 128 表示训练中所有机器一个step所处理的样本量。影响每一次训练迭代的时长。 TP 8 表示张量并行。 PP 8 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。 CP 1 表示context并行，默认为1。应用于训练长序列文本的模型。若训练时SEQ_
练迭代的时长。 TP 8 表示张量并行。对应训练参数 tensor-model-parallel-size 。 PP 1 表示流水线并行。一般此值与训练节点数相等，与权重转换时设置的值相等。对应训练参数 pipeline-model-parallel-size 。 CP 1 表示
Studio大模型即服务平台（下面简称为MaaS），使用Qwen2-7B模型可以实现新闻自动分类，能够高效处理和分类大量新闻内容。 该解决方案可以应用于如下场景： 新闻门户网站： 自动将新闻内容归类到相应板块，如科技、体育或国际新闻，以提升用户体验和内容检索效率。 社交媒体平台： 对用户分享的新闻链接进行智能分类，帮助用户迅速定位到感兴趣的话题。
ID值不同，其他参数都保持一致。其中MASTER_ADDR、 NODE_RANK、 NODE_RANK为必填。 执行单机启动命令（可选） 一般小于等于14B模型可选择单机启动，操作过程与多机启动相同，只需修改对应参数即可，可以选用单机启动。 进入代码目录/home/ma-user
save_path=FLAGS.train_url) 复制数据集到本地 复制数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住，所以一般先将数据复制到本地再进行操作。 数据集复制有两种方式，推荐使用OBS路径复制。 OBS路径（推荐） 直接使用moxing的copy_parallel接口，复制对应的OBS路径。
节点的名称，在一个DAG中唯一，1到64位只包含中英文，数字，空格，下划线（_）和中划线（-），并且以中英文开头。 uuid String 唯一标识uuid。创建节点执行时，后台自动生成。 created_at String Execution执行的创建时间。 duration Integer Execution执行的运行时长。
一个输入参数且此参数的类型是file。 csv指每个推理请求对应到csv里的一行数据，当使用此方式时，输入数据目录下的文件只能以.csv为后缀，且需配置mapping_rule参数，以表达推理请求体中各个参数对应到csv的索引。 创建批量服务且输入数据映射方式为file的样例 {
save-frequency：指定运行多少个epoch就保存模型参数，可以调大。 report-to tensorboard：指定输出loss指标到tensorboard，一般需要做精度评估才需要带上。 train-num-samples：指定每个epoch需要训练的样本个数，不超过总样本个数。 batch-size：指定一次处理的数据batch。
根据样本所在目录搜索（目录需要以/结尾），只搜索指定目录下的样本，不支持目录递归搜索。 sample_name String 根据样本名称搜索（含后缀名）。 sample_time String 样本加入到数据集时，会根据样本在OBS上的最后修改时间(精确到天)建立索引，此处可以根据此时间进行搜索。可选值如下：
he索引，如果不使用该功能，则无需配置。注意：如果使用投机推理功能，必须开启此参数。 --served-model-name：vllm服务后台id。 可在run_vllm.sh增加如下环境变量开启高阶配置： export DEFER_DECODE=1 # 是否使用推理与Token
opencompass/configs/datasets/mmlu/mmlu_ppl_ac766d.py 中的 fix_id_list, 将最大值适当调低。 ppl困惑度评测一般用于base权重测评，会将n个选项上拼接上下文，形成n个序列，再计算这n个序列的困惑度(perplexity)。其中，perplexity
节点的名称，在一个DAG中唯一，1到64位只包含中英文，数字，空格，下划线（_）和中划线（-），并且以中英文开头。 uuid String 唯一标识uuid。创建节点执行时，后台自动生成。 created_at String Execution执行的创建时间。 duration Integer Execution执行的运行时长。
数字、空格、下划线（_）和中划线（-），并且以中英文开头。 workflow_id String Workflow工作流ID。创建工作流时后台自动生成。 created_at String Workflow工作流的创建时间。 description String Workflow工作流的描述信息。
he索引，如果不使用该功能，则无需配置。注意：如果使用投机推理功能，必须开启此参数。 --served-model-name：vllm服务后台id。 可在run_vllm.sh增加如下环境变量开启高阶配置： export DEFER_DECODE=1 # 是否使用推理与Token
因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 获取AK/SK 如果已生成过AK/SK，则可跳过此步骤，找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 如下图所示，文件包含了租户名（User Name），AK（Access Key Id），SK（Secret
挂载NPU设备，示例中挂载了1张卡 work_dir：工作目录，目录下存放着训练所需代码、数据等文件 container_work_dir: 容器工作目录，一般同work_dir container_name：自定义容器名 image_id：镜像ID，通过docker images来查看拉取的镜像ID。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
