检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图1 复制登录指令 Step3 修改并上传镜像 1. 在ECS服务器中输入登录指令后,使用下列示例命令将Standard镜像上传至SWR: docker tag ${dockerfile_image_name}
单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图1 复制登录指令 Step3 修改并上传镜像 1. 在ECS服务器中输入登录指令后,使用下列示例命令将Standard镜像上传至SWR: docker tag ${dockerfile_image_name}
Notebook自定义镜像制作流程 图1 Notebook自定义镜像制作流程图(适用于场景一和场景二) 场景一:基于Notebook预置镜像或第三方镜像,在服务器上配置docker环境,编写Dockerfile后构建镜像并注册,具体案例参考在ECS上构建自定义镜像并在Notebook中使用 场景二:基
本教程案例是基于ModelArts Lite DevServer运行的,需要购买并开通DevServer资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。
单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图1 复制登录指令 Step3 修改并上传镜像 1. 在ECS服务器中输入登录指令后,使用下列示例命令将Standard镜像上传至SWR: docker tag ${dockerfile_image_name}
单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图1 复制登录指令 Step3 修改并上传镜像 1. 在ECS服务器中输入登录指令后,使用下列示例命令将Standard镜像上传至SWR: docker tag ${dockerfile_image_name}
单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图1 复制登录指令 Step3 修改并上传镜像 1. 在ECS服务器中输入登录指令后,使用下列示例命令将Standard镜像上传至SWR: docker tag ${dockerfile_image_name}
单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图1 复制登录指令 Step3 修改并上传镜像 1. 在ECS服务器中输入登录指令后,使用下列示例命令将Standard镜像上传至SWR: docker tag ${dockerfile_image_name}
专属资源池需单独创建,不与其他租户共享。 公共资源池 实例规格 选择实例规格,规格中描述了服务器类型、型号等信息。 xxx 流量限制(QPS) 设置待部署模型的流量限制QPS。 3 实例数 设置服务器个数。 1 更多选项 内容审核 选择是否打开内容审核,默认启用。 开关打开(默认打开),
下载失败。 ECS获取和上传基础镜像 创建ECS。 下文中介绍如何在ECS中构建一个训练镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。
选择实例规格,规格中描述了服务器类型、型号等信息。 流量限制(QPS) 设置待部署模型的流量限制QPS。 单位:次/秒 说明: 在部署过程中出现错误码“ModelArts.4206”时,表示QPS请求数量达到限制,建议等待限流结束后再重启服务。 实例数 设置服务器个数。 推荐实例数 = 流量限制
包年/包月是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。 按需计费是后付费模式,按云服务器的实际使用时长计费,可以随时开通/删除云服务器。 集群规格 集群名称 Standard专属资源池的名称。 只能以小写字母开头,由小写字母、数字、中划线(-)组成,不能以中划线结尾。
包年/包月是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。 按需计费 按需计费是后付费模式,按云服务器的实际使用时长计费,可以随时开通/删除云服务器。 集群规格 集群名称 系统默认提供一个名称,可以手动修改。 只能以小写字母开头,由小写字母、数字、中划线(-)组成,不能以中划线结尾。
String 实例私有IP地址。 表12 Image 参数 参数类型 描述 arch String 该镜像所支持处理器架构类型。枚举值如下: X86_64:x86处理器架构。 AARCH64:ARM体系架构。 create_at Long 镜像创建的时间,UTC毫秒。 description
换时设置的值相等。对应训练参数 pipeline-model-parallel-size 。 CP 1 表示context并行,默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度,则推荐增加CP值(CP ≥ 2)。对应训练参数 context-parallel-size
# 推理工具 代码上传至SFS Turbo 将AscendSpeed代码包AscendCloud-LLM-xxx.zip直接上传至ECS服务器中的SFS Turbo中,例如存放在/mnt/sfs_turbo/AscendCloud-LLM-xxx.zip目录下并解压缩。 unzip
# 推理工具 代码上传至SFS Turbo 将AscendSpeed代码包AscendCloud-LLM-xxx.zip直接上传至ECS服务器中的SFS Turbo中,例如存放在/mnt/sfs_turbo/AscendCloud-LLM-xxx.zip目录下并解压缩。 unzip
换时设置的值相等。对应训练参数 pipeline-model-parallel-size 。 CP 1 表示context并行,默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度,则推荐增加CP值(CP ≥ 2)。对应训练参数 context-parallel-size
String 实例私有IP地址。 表5 Image 参数 参数类型 描述 arch String 该镜像所支持处理器架构类型。枚举值如下: X86_64:x86处理器架构。 AARCH64:ARM体系架构。 create_at Long 镜像创建的时间,UTC毫秒。 description
String 参数描述,不超过100个字符,默认为空。 表3 dependency结构 参数 参数类型 描述 installer String 安装器名称。 packages package结构数组 依赖包集合。 表4 package结构 参数 参数类型 描述 package_name String