检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--url:API接口公网地址与"/v1/completions"拼接而成,部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code:获取方式见访问在线服务(APP认证)。
--output-prefix:处理后的数据集保存路径+数据集名称(例如:alpaca_gpt4_data)。
--output-prefix:处理后的数据集保存路径+数据集名称(例如:alpaca_gpt4_data)。
--output-prefix:处理后的数据集保存路径+数据集名称(例如:alpaca_gpt4_data)。
如果您是订阅者,可以在AI Gallery中,查找您想要的AI资产,并查看资产详情,对于满足业务需要的资产,您可以直接订阅并推送至ModelArts使用。 如果您是发布者,可以将自己开发的AI资产,发布至AI Gallery中,共享给其他用户使用。
--output-prefix:处理后的数据集保存路径+数据集名称(例如:alpaca_gpt4_data)。
--output-prefix:处理后的数据集保存路径+数据集名称(例如:alpaca_gpt4_data)。
MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 NPUS_PER_NODE=4 sh scripts/llama2/0_pl_lora_7b.sh 最后,请参考查看日志和性能章节查看LoRA微调的日志和性能。
MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 NPUS_PER_NODE=4 sh scripts/llama2/0_pl_lora_7b.sh 最后,请参考查看日志和性能章节查看LoRA微调的日志和性能。
图1 等待模型载入 最后,请参考查看日志和性能章节查看预训练的日志和性能。 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.908)
图1 等待模型载入 最后,请参考查看日志和性能章节查看预训练的日志和性能。 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.909)
MASTER_ADDR=localhost NNODES=1 NODE_RANK=0 NPUS_PER_NODE=4 sh scripts/llama2/0_pl_lora_7b.sh 最后,请参考查看日志和性能章节查看LoRA微调的日志和性能。
扩缩容Lite Cluster资源池 登录ModelArts管理控制台,在左侧菜单栏中选择“AI专属资源池 > 弹性集群 Cluster”,在“弹性集群”页面,选择“Lite资源池”页签,查看资源池列表。 单击某个资源池操作列的“扩缩容”对资源池进行扩缩容。
如果您购买了套餐包,计算节点规格可选择您的套餐包,同时在“配置费用”页签还可查看您的套餐包余量以及超出部分的计费方式,请您务必关注,避免造成不必要的资源浪费。
拉取 固件驱动:23.0.5 CANN:cann_8.0.rc2 容器镜像OS:hce_2.0 PyTorch:pytorch_2.1.0 FrameworkPTAdapter:6.0.RC2 如果用到CCE,版本要求是CCE Turbo v1.25及以上 软件包获取地址 软件包名称
-r / --region String 否 region名称,如果不填会默认使用REGION_NAME环境变量的值。 -pi / --project-id String 否 项目ID,如果不填会默认使用对应region的值,或者使用PROJECT_ID环境变量。
mox.get_model_meta(mox.NetworkKeys.RESNET_V1_50) logits_pattern = model_meta.default_logits_pattern print(logits_pattern) 您也可以通过如下接口,获取MoXing支持的网络名称列表
表1 ModelArts训练基础镜像列表 引擎类型 版本名称 PyTorch pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 TensorFlow tensorflow_2.1.0-cuda_10.1-py_3.7-ubuntu
假设训练代码的OBS目录为obs://bucket-A/XXX/{training-project}/,“{training-project}”是存放训练代码的文件夹名称。
扩缩容专属资源池 资源池扩缩容有以下类型,分别为: 对已有规格增减目标总实例数 修改容器引擎空间大小 登录ModelArts管理控制台,在左侧菜单栏中选择“AI专属资源池 > 弹性集群Cluster”,进入“Standard资源池”页签,查看资源池列表。