检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
针对昇腾云平台适配的功能代码包 |──scripts/ # 训练需要的启动脚本 # 以下目录结构,用户自己创建 |── training_data #原始数据目
AI框架,如果MindSpore要进行多机分布式训练调试,则每台机器上都必须有8张卡。 本文档提供的调测代码中涉及到的OBS路径,请用户替换为自己的实际OBS路径。 本文档提供的调测代码是以PyTorch为例编写的,不同的AI框架之间,整体流程是完全相同的,只需要修改个别的参数即可。
模型包文件model.zip中需要用户自己准备模型文件,此处仅是举例示意说明,以一个手写数字识别模型为例。 Model目录下必须要包含推理脚本文件customize_service.py,目的是为开发者提供模型预处理和后处理的逻辑。 图5 推理模型model目录示意图(需要用户自己准备模型文件) 推
准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 微调训练 指令监督微调训练 介绍如何进行SFT全参微调/lora微调、训练任务、性能查看。
针对昇腾云平台适配的功能代码包 |──scripts/ # 训练需要的启动脚本 # 以下目录结构,用户自己创建 |── training_data #原始数据目
ed; sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 选择用户自己的专属资源池,以及规格与节点数。防止训练过程中出现内存溢出的情况,用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS
d; sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_lora_13b.sh 选择用户自己的专属资源池,以及规格与节点数。防止训练过程中出现内存溢出的情况,用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS
针对昇腾云平台适配的功能代码包 |──scripts/ # 训练需要的启动脚本 # 以下目录结构,用户自己创建 |── training_data #原始数据目
针对昇腾云平台适配的功能代码包 |──scripts/ # 训练需要的启动脚本 # 以下目录结构,用户自己创建 |── training_data #原始数据目
售出和购买商品需要您按照指导注册华为帐号并开通华为云。如果您是卖家则需要完成实名认证并进行华为云云商店入驻。 如果您是卖家,您可以在云商店查看自己售卖的商品是否上架成功。在云商店右上方单击“卖家中心 > 进入卖家中心”,选择“商品管理 > 我的商品”查看在售卖的商品。 如果您是买家,
Standard一键完成商超商品识别模型部署案例中创建的在线服务名称,进入在线服务详情页,单击“修改”,进入修改在线服务页面。 图3 修改服务 开启APP认证开关,然后选择自己创建的APP应用名称,单击“下一步”后在单击“提交”即可保存修改。 图4 开启APP认证 AppCode认证预测。 在部署服务详情中单击“
str visibility Workflow资产可见性,支持"public"-公开、"group"-白名单、"private"-私有,仅自己可见三种,默认为"private"。 否 str group_users 白名单列表,仅支持填写domain_id,当visibility为"group"时才需要填写该字段
),才能用于ModelArts Standard上训练。 自定义镜像的启动命令规范 用户遵循ModelArts镜像的规范要求制作镜像,选择自己的镜像,并且通过指定代码目录(可选)和启动命令的方式来创建的训练作业。 图1 创建训练作业选择自定义方式 当使用完全自定义镜像创建训练作业
damp_percent=0.01, desc_act=False, sym=True, use_exllama=False) 您也可以将自己的数据集作为字符串列表传递,但强烈建议使用GPTQ论文中的相同数据集。 dataset = ["auto-gptq is an easy-to-use
存储配置选择“弹性文件服务SFS”,并且选择已创建的SFS Turbo实例。如果该SFS Turbo多人共用,则推荐用户编辑“子目录挂载”,创建自己的子目录进行划分。 图2 Notebook中选择弹性文件服务 使用Notebook将OBS数据导入SFS Turbo 打开已创建的Note
子账号启动其他用户的SSH实例 子账号可以看到所有用户的Notebook实例后,如果要通过SSH方式远程连接其他用户的Notebook实例,需要将SSH密钥对更新成自己的,否则会报错ModelArts.6786。更新密钥对具体操作请参见修改Notebook SSH远程连接配置。具体的错误信息提示:ModelArts
在预置的开发环境镜像中是无法实现的。用户可以使用ModelArts提供的基础镜像或用户第三方镜像来编写Dockerfile,构建出完全适合自己的镜像。 Notebook自定义镜像制作流程 图1 Notebook自定义镜像制作流程图(适用于场景一和场景二) 场景一:基于Notebo
damp_percent=0.01, desc_act=False, sym=True, use_exllama=False) 您也可以将自己的数据集作为字符串列表传递,但强烈建议使用GPTQ论文中的相同数据集。 dataset = ["auto-gptq is an easy-to-use
damp_percent=0.01, desc_act=False, sym=True, use_exllama=False) 您也可以将自己的数据集作为字符串列表传递,但强烈建议使用GPTQ论文中的相同数据集。 dataset = ["auto-gptq is an easy-to-use
damp_percent=0.01, desc_act=False, sym=True, use_exllama=False) 您也可以将自己的数据集作为字符串列表传递,但强烈建议使用GPTQ论文中的相同数据集。 dataset = ["auto-gptq is an easy-to-use