检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
码目录下accuracy_cfgs.yaml或performance_cfgs.yaml文件内容,参数详解可参考表1。 # 默认参数;根据自己实际要求修改 ## accuracy_cfgs.yaml、performance_cfgs.yaml dataset_dir: /xxxx
码目录下accuracy_cfgs.yaml或performance_cfgs.yaml文件内容,参数详解可参考表1。 # 默认参数;根据自己实际要求修改 ## accuracy_cfgs.yaml、performance_cfgs.yaml dataset_dir: /xxxx
针对昇腾云平台适配的功能代码包 |──scripts/ # 训练需要的启动脚本 # 以下目录结构,用户自己创建 |── training_data #原始数据目
模型包文件model.zip中需要用户自己准备模型文件,此处仅是举例示意说明,以一个手写数字识别模型为例。 Model目录下必须要包含推理脚本文件customize_service.py,目的是为开发者提供模型预处理和后处理的逻辑。 图5 推理模型model目录示意图(需要用户自己准备模型文件) 推
售出和购买商品需要您按照指导注册华为帐号并开通华为云。如果您是卖家则需要完成实名认证并进行华为云云商店入驻。 如果您是卖家,您可以在云商店查看自己售卖的商品是否上架成功。在云商店右上方单击“卖家中心 > 进入卖家中心”,选择“商品管理 > 我的商品”查看在售卖的商品。 如果您是买家,
str visibility Workflow资产可见性,支持"public"-公开、"group"-白名单、"private"-私有,仅自己可见三种,默认为"private"。 否 str group_users 白名单列表,仅支持填写domain_id,当visibility为"group"时才需要填写该字段
业类型的支持。 自助专属池网络打通:可以在ModelArts管理控制台自行创建和管理专属资源池所属的网络。如果需要在专属资源池的任务中访问自己VPC上的资源,可通过“打通VPC”来实现。 更加完善的集群信息:全新改版的专属资源池详情页面中,提供了作业、节点、资源监控等更加全面的集
针对昇腾云平台适配的功能代码包 |──scripts/ # 训练需要的启动脚本 # 以下目录结构,用户自己创建 |── training_data #原始数据目
ed; sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 选择用户自己的专属资源池,以及规格与节点数。防止训练过程中出现内存溢出的情况,用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS
d; sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_lora_13b.sh 选择用户自己的专属资源池,以及规格与节点数。防止训练过程中出现内存溢出的情况,用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS
准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 微调训练 指令监督微调训练 介绍如何进行SFT全参微调/lora微调、训练任务、性能查看。
针对昇腾云平台适配的功能代码包 |──scripts/ # 训练需要的启动脚本 # 以下目录结构,用户自己创建 |── training_data #原始数据目
针对昇腾云平台适配的功能代码包 |──scripts/ # 训练需要的启动脚本 # 以下目录结构,用户自己创建 |── training_data #原始数据目
存储配置选择“弹性文件服务SFS”,并且选择已创建的SFS Turbo实例。如果该SFS Turbo多人共用,则推荐用户编辑“子目录挂载”,创建自己的子目录进行划分。 图2 Notebook中选择弹性文件服务 使用Notebook将OBS数据导入SFS Turbo 打开已创建的Note
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_pretrain_13b.sh 选择用户自己的专属资源池,以及规格与节点数。防止训练过程中出现内存溢出的情况,用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置,并选择用户创建的SFS
在预置的开发环境镜像中是无法实现的。用户可以使用ModelArts提供的基础镜像或用户第三方镜像来编写Dockerfile,构建出完全适合自己的镜像。 Notebook自定义镜像制作流程 图1 Notebook自定义镜像制作流程图(适用于场景一和场景二) 场景一:基于Notebo
AI框架,如果MindSpore要进行多机分布式训练调试,则每台机器上都必须有8张卡。 本文档提供的调测代码中涉及到的OBS路径,请用户替换为自己的实际OBS路径。 本文档提供的调测代码是以PyTorch为例编写的,不同的AI框架之间,整体流程是完全相同的,只需要修改个别的参数即可。
工作空间名称。长度限制为4-64字符,支持中文、大小写字母、数字、中划线和下划线。同时'default'为系统预留的默认工作空间名称,用户无法自己创建名为'default'的工作空间。 description 否 String 工作空间描述,默认为空。长度限制为0-256字符。 表4
damp_percent=0.01, desc_act=False, sym=True, use_exllama=False) 您也可以将自己的数据集作为字符串列表传递,但强烈建议使用GPTQ论文中的相同数据集。 dataset = ["auto-gptq is an easy-to-use
damp_percent=0.01, desc_act=False, sym=True, use_exllama=False) 您也可以将自己的数据集作为字符串列表传递,但强烈建议使用GPTQ论文中的相同数据集。 dataset = ["auto-gptq is an easy-to-use