检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
推理业务迁移到昇腾的通用流程,可参考GPU推理业务迁移至昇腾的通用指导。 由于Huggingface网站的限制,访问Stable Diffusion链接时需使用代理服务器,否则可能无法访问网站。 在Stable Diffusion迁移适配时,更多的时候是在适配Diffusers和Stable Diffusion
服务部署节点的名称,命名规范(只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符),一个Workflow里的两个step名称不能重复 是 str inputs 服务部署节点的输入列表 否 ServiceInput或者ServiceInput的列表 outputs
Step3 准备镜像主机 准备一台Linux x86_64架构的主机,操作系统使用ubuntu-18.04。您可以准备相同规格的弹性云服务器ECS或者应用本地已有的主机进行自定义镜像的制作。 购买ECS服务器的具体操作请参考购买并登录Linux弹性云服务器。“CPU架构”选择“x86
scripts/llama2/0_pl_sft_70b.sh <MASTER_ADDR=xx.xx.xx.xx> <NNODES=4> <NODE_RANK=0> 示例: #第一台节点 sh scripts/llama2/0_pl_sft_70b.sh xx.xx.xx.xx 4 0 # 第二台节点 sh s
作业节点的名称,命名规范(只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符),一个Workflow里的两个step名称不能重复 是 str algorithm 算法对象 是 BaseAlgorithm Algorithm AIGalleryAlgorithm
包,具有root权限,结合配置指导、初始化工具及容器镜像可以快速搭建昇腾开发环境。 开通裸金属服务器资源请参见DevServer资源开通,在裸金属服务器上搭建迁移环境请参见裸金属服务器环境配置指导,使用ModelArts提供的基础容器镜像请参见容器环境搭建。 训练代码迁移 前提条件
基本配置 权限配置 创建网络 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutil安装和配置 (可选)工作空间配置 父主题: 专属资源池训练
模型注册节点的名称。只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符,一个Workflow里的两个step名称不能重复 是 str inputs 模型注册节点的输入列表 否 ModelInput或者ModelInput的列表 outputs
CommonOperations权限只能二选一,不能同时选。 SFS弹性文件服务 弹性文件服务SFS Turbo的所有权限。使用SFS服务时需要配置。 ECS弹性云服务器 弹性云服务器所有权限。使用ECS服务时需要配置。 SWR容器镜像仓库 容器镜像仓库所有权限。使用SWR服务时需要配置。同时,还需开通SWR组织权限。
ain_70b.sh <MASTER_ADDR=xx.xx.xx.xx> <NNODES=4> <NODE_RANK=0> 示例: # 第一台节点 sh scripts/llama2/0_pl_pretrain_70b.sh xx.xx.xx.xx 4 0 # 第二台节点
ain_70b.sh <MASTER_ADDR=xx.xx.xx.xx> <NNODES=4> <NODE_RANK=0> 示例: # 第一台节点 sh scripts/llama2/0_pl_pretrain_70b.sh xx.xx.xx.xx 4 0 # 第二台节点
lora_70b.sh <MASTER_ADDR=xx.xx.xx.xx> <NNODES=4> <NODE_RANK=0> 示例: #第一台节点 sh scripts/llama2/0_pl_lora_70b.sh xx.xx.xx.xx 4 0 # 第二台节点 sh
sft_70b.sh <MASTER_ADDR=xx.xx.xx.xx> <NNODES=4> <NODE_RANK=0> 示例: # 第一台节点 sh scripts/llama2/0_pl_sft_70b.sh xx.xx.xx.xx 4 0 # 第二台节点 sh s
lora_70b.sh <MASTER_ADDR=xx.xx.xx.xx> <NNODES=4> <NODE_RANK=0> 示例: #第一台节点 sh scripts/llama2/0_pl_lora_70b.sh xx.xx.xx.xx 4 0 # 第二台节点 sh
中创建文件夹model/llama-2-13b-hf。 利用OBS Browser+工具将下载的模型文件上传至创建的文件夹目录下。 在ECS服务器中安装obsutil工具,具体命令可参考obsutil工具快速使用,将OBS桶中的数据下载至SFS Turbo中。注意:需要使用用户账
device)) img_secs.append(img_sec) # Results img_sec_mean = np.mean(img_secs) img_sec_conf = 1.96 * np.std(img_secs) log('Img/sec per %s:
”和“PretrainedConfig”之间的交互。 “PretrainedConfig”:预训练模型的配置基类 提供模型配置的通用属性和两个主要方法,用于序列化和反序列化配置文件。 PretrainedConfig.from_pretrained(dir) # 从目录中加载序列
value="1.0"), wf.AlgorithmParameters(name="save_model_secs", value="60"), wf.AlgorithmParameters(name="save_summary_steps"
lora_70b.sh <MASTER_ADDR=xx.xx.xx.xx> <NNODES=4> <NODE_RANK=0> 示例: #第一台节点 sh scripts/llama2/0_pl_lora_70b.sh xx.xx.xx.xx 4 0 # 第二台节点 sh
scripts/llama2/0_pl_sft_70b.sh <MASTER_ADDR=xx.xx.xx.xx> <NNODES=4> <NODE_RANK=0> 示例: #第一台节点 sh scripts/llama2/0_pl_sft_70b.sh xx.xx.xx.xx 4 0 # 第二台节点 sh s