检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 容器不能挂载/home
的备份和快照，实现安全、高可靠和低成本的存储需求。因此，在使用ModelArts之前通常先创建一个OBS桶，然后在OBS桶中创建文件夹用于存放数据。具体过程请参考创建OBS桶，例如桶名：standard-llama2-13b。 由于ModelArts创建训练作业时，需要将作业日志
准备镜像 准备大模型推理适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
准备镜像 准备大模型推理适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
数据输入约束。 表11 remote_constraints 参数 参数类型 描述 data_type String 数据输入类型，包括数据存储位置、数据集两种方式。 attributes Array of Map<String,String> objects 数据输入为数据集时的相关属性。枚举值：
多个属性之间的操作类型。可选值如下： OR：或操作 AND：与操作 property 否 Map<String,Array<String>> 标签属性，是Object格式，存放任意的键值对；key是属性名称，value是取值列表，如value为null表示不根据值搜索，否则搜索的值满足列表中任意一个即可。 type
准备镜像 准备大模型推理适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
准备镜像 准备大模型推理适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
Gallery仓库下载单个文件到服务器的指定路径下。 gallery-cli download {repo_id} {文件名} --local-dir={存放路径} 如下所示，表示下载文件“config.json”到服务器的“/tmp”路径下，当回显“100%”时表示下载完成。 gallery-cli
迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation（6.3.905版本）目录中。
rain->torch_npu->koyha_ss的所有文件，将koyha_ss整个目录上传到宿主机上。 依赖的插件代码包、模型包和数据集存放在宿主机上的本地目录结构如下，供参考。 [root@devserver docker_build]# ll total 192 -rw-------
in->torch_npu->diffusers的所有文件，将diffusers整个目录上传到宿主机上。 依赖的插件代码包、模型包和数据集存放在宿主机上的本地目录结构如下，供参考。 [root@devserver docker_build]# ll total 192 -rw-------
迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。 性能benchmark验证使用到的脚本存放在代码包AscendCloud-LLM-xxx.zip的llm_tools/llm_evaluation目录下。 代码目录如下: benchmark_tools
进行性能分析，这个操作相对较为繁琐且耗时。使用ModelArts时推荐挂载共享网盘如sfs turbo，既能加快训练数据的读取速度又能用于存放性能profiling数据。如果没有共享网盘，profiling数据默认保存到ModelArts训练容器中，则请参考创建ModelArts
元数据） obs:bucket:ListBucket（列举桶内对象） obs:bucket:GetBucketLocation（获取桶区域位置） obs:object:GetObject（获取对象内容、获取对象元数据） obs:object:GetObjectVersion（获取对象内容、获取对象元数据）
划线。 pool_id 否 String 专属资源池ID，获取方法请参见查询资源池列表。 offset 否 Integer 分页记录的起始位置偏移量，默认值0。 owner 否 String 实例归属的User Id，长度为32位小写字母、数字，在主账号/有admin权限场景下生效，值通常为当前登录用户ID。
持大小写字母、数字、中划线和下划线。 pool_id 否 String 专属资源池ID。 offset 否 Integer 分页记录的起始位置偏移量，默认值0。 owner 否 String 实例归属的用户ID，长度为32位小写字母、数字，在大账号/有admin权限场景下生效，值通常为当前登录用户ID。
准备镜像 准备大模型推理适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
求仅需数据调整后再重新训练。 文件规范：名称由以字母数字及中划线下划线组成，以'.csv'结尾，且文件不能直接放在OBS桶的根目录下，应该存放在OBS桶的文件夹内。如：“/obs-xxx/data/input.csv”。 文件内容：文件保存为“csv”文件格式，文件内容以换行符（
多个属性之间的操作类型。可选值如下： OR：或操作 AND：与操作 property Map<String,Array<String>> 标签属性，是Object格式，存放任意的键值对；key是属性名称，value是取值列表，如value为null表示不根据值搜索，否则搜索的值满足列表中任意一个即可。 type
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
