检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
list(map(lambda x: x['input_ids'], sample[key])) return sample 支持的是预训练数据风格，会根据参数args.json_keys的设置，从数据集中找到对应关键字的文本内容。例如本案例中提供的 train-00000-of-00001-a09b74b3ef9c3b56
list(map(lambda x: x['input_ids'], sample[key])) return sample 支持的是预训练数据风格，会根据参数args.json_keys的设置，从数据集中找到对应关键字的文本内容。例如本案例中提供的 train-00000-of-00001-a09b74b3ef9c3b56
Terminating：停止中 Terminated：已停止 Abnormal：异常 secondary_phase String 训练作业二级状态为内部详细状态，可能会增加、修改、删除，不建议依赖。可选值如下： Creating：创建中 Queuing：排队中 Running：运行中 Failed：运行失败
sh章节创建的推理脚本run_vllm.sh中增加需要开启的高阶配置。 词表切分 在分布式场景下，默认不使用词表切分能提升推理性能，同时也会增加单卡的显存占用。不建议开启词表并行，如确需使用词表切分，配置以下环境变量。 export USE_VOCAB_PARALLEL=1 关闭词表切分的命令：
输入数据的映射类型，取值为：file或csv。 mapping_rule Map 输入参数与csv数据的映射关系，仅当mapping_type为csv时，会返回。 父主题： 服务管理
list(map(lambda x: x['input_ids'], sample[key])) return sample 支持的是预训练数据风格，会根据参数args.json_keys的设置，从数据集中找到对应关键字的文本内容。例如本案例中提供的 train-00000-of-00001-a09b74b3ef9c3b56
存时使用 preprocessing_num_workers 16 用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。 per_device_train_batch_size 1 必须修改，指定每个设备的训练批次大小。 gradient_accumulation_steps
表用于用户终端（例如：浏览器）选择。 301 Moved Permanently 永久移动，请求的资源已被永久的移动到新的URI，返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not
存时使用 preprocessing_num_workers 16 用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。 per_device_train_batch_size 1 指定每个设备的训练批次大小。 gradient_accumulation_steps
在ModelArts中创建训练作业如：预训练，执行代码包中例如：scripts/llama2/0_pl_pretrain_13b.sh 的脚本，开始训练。 在训练中，程序会自动执行对数据集预处理、权重转换、执行训练等操作，具体可通过训练启动脚本说明和参数配置、训练的数据集预处理说明、训练的权重转换说明了解其中的操作。
S桶。具体操作可参见查看OBS桶与ModelArts是否在同一区域。 创建OBS桶时，桶的存储类别请勿选择“归档存储”，归档存储的OBS桶会导致模型训练失败。 上传Step1 准备训练数据中下载的MNIST数据集压缩包文件到OBS的“mnist-data”文件夹中。 上传数据到O
存储卷的名称。 mount_path String 存储卷在容器中的挂载路径。如：/tmp。请不要挂载在系统目录下，如“/”、“/var/run”等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。 storage_type
建AI应用，SWR源目录中的镜像更改或删除不影响服务部署。 false：不复制镜像模式，可极速创建AI应用，更改或删除SWR源目录中的镜像会影响服务部署。 initial_config 否 String 模型配置文件转成的字符串。建议通过配置文件initial_config来提供
Spark应用每个Executor的CPU核数。该配置项会替换sc_type中对应的默认参数。 -em / --executor-memory String 否 Spark应用的Executor内存，参数配置例如2G，2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。
查看资源池节点 在资源池详情页，切换到“节点”页签。您可以查看资源池中所有的节点，并且能查看每个节点资源占用的情况。当把鼠标放在节点名称上方时，会显示节点名称和资源ID，资源ID可用于查询账单或者在费用中心查询包周期资源的计费信息。 由于集群组件会占用一部分资源，所以列表中CPU（可用
小不一程度越高。 纵坐标：图片数量。 对模型而言一张图中框如果比较多且大小不一，是比较难检测的，可以根据场景添加数据用作训练，或者实际使用没有这种场景可直接删除。 按高宽比统计框数量的分布 Aspect Ratio of Bounding Boxes 横坐标：目标框的高宽比。 纵坐标：框数量（统计所有图片中的框）。
不足的部分用黑色填充。 angle_min：旋转角度随机取值范围的最小值，每张图片会从范围中随机取值作为自己的参数。默认值为90° angle_max：旋转角度随机取值范围的最大值，每张图片会从范围中随机取值作为自己的参数。默认值为-90° do_validation：数据扩增前是否进行数据校验。默认值为True。
只需修改代码后保存（ctrl+s），即可进行自动同步。 插件安装完成后在本地IDE中开启了“Automatic Upload”，本地目录中的文件会自动上传至云端开发环境Notebook。如果未开启，请参考下图开启自动上传。 图8 开启自动上传 Step7 远程调试 单击本地IDE右下角
sh Shell脚本在Windows系统编写时，每行结尾是\r\n，而在Linux系统中行每行结尾是\n，所以在Linux系统中运行脚本时，会认为\r是一个字符，导致运行报错“$'\r': command not found”，因此需要去除Shell脚本的\r字符。 父主题： 单机多卡
存时使用 preprocessing_num_workers 16 用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。 per_device_train_batch_size 1 指定每个设备的训练批次大小。 gradient_accumulation_steps
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
