检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
规格信息,如表5所示。 flavor String 机器规格。 spec Object 实例定义。Notebook类型实例,数据结构如表9 notebook字段数据结构说明所示。 workspace Object 工作空间,如表18所示。 latest_update_timestamp
详情如下: Notebook 表1 Notebook挂载点介绍 挂载点 是否只读 备注 /home/ma-user/work/ 否 客户数据的持久化目录。 /data 否 客户PFS的挂载目录。 /cache 否 裸机规格时支持,用于挂载宿主机NVMe的硬盘。 /train-worker1-log
专属资源池的费用请参考专属资源池计费项。 - - 存储资源 对象存储OBS 用于存储训练和推理的输入数据和输出结果数据。 具体费用可参见对象存储价格详情。 注意: 存储到OBS中的数据需在OBS控制台进行手动删除。如果未删除,则会按照OBS的计费规则进行持续计费。 按需计费 包年/包月
240606 步骤六 编写Config.yaml文件 k8s有两种方式来管理对象: 命令式,即通过Kubectl指令直接操作对象。 声明式,通过定义资源YAML格式的文件来操作对象。 首先给出单个节点训练的config.yaml文件模板,用于配置pod。而在训练中,需要按照参数说
240606 步骤六 编写Config.yaml文件 k8s有两种方式来管理对象: 命令式,即通过Kubectl指令直接操作对象。 声明式,通过定义资源YAML格式的文件来操作对象。 首先给出单个节点训练的config.yaml文件模板,用于配置pod。而在训练中,需要按照参数说
登录弹性文件服务控制台,在文件系统列表中,单击文件系统名称进入详情页。其中,“共享路径”即为此参数的参数值。 id 否 String EFS专属存储盘ID,只有当category为EFS,同时ownership为DEDICATED时必填。 参数值获取方式如下:登录弹性文件服务控制
reboot 第一条命令为安装Linux内核头文件和内核镜像,其中版本为5.4.0-144-generic。 第二条命令为重新生成GRUB引导程序的配置文件,用于在启动计算机时加载操作系统, 命令将使用新安装的内核镜像更新GRUB的配置文件,以便在下次启动时加载新的内核。 父主题: Lite
创建OBS桶和文件夹 在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示,示例中的桶名称“test-modelarts”和文件夹名称均为举例,请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使
创建OBS桶和文件夹 在OBS服务中创建桶和文件夹,用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示,示例中的桶名称“test-modelarts”和文件夹名称均为举例,请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使
String 训练作业需要的数据集OBS路径URL,默认为空。如:“/usr/data/”。不可与data_source或者dataset_id/dataset_version_id同时出现,但必须有其一。 dataset_id 否 String 训练作业的数据集ID。应与datase
Server运行的,需要购买并开通Server资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 训练 启动训练 介绍各个训练阶段:指令微调、PPO强化训练、
业、推理任务性能),减少应用的调度延迟,适用于对CPU缓存和调度延迟敏感的场景。关闭绑核表示关闭工作负载实例独占CPU的功能,优点是CPU共享池可分配的核数较多。也可关闭系统默认绑核后,在业务容器中用taskset等方式进行灵活绑核。 Dropcache:开启后表示启用Linux
动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试,可以使用公开数据集,例如Alpaca、ShareGPT。也可以根据业务实际情况,使用generate_datasets.py脚本生成和业务数据分布接近的数据集。 公开数据集下载地址: ShareGPT:
String 输入数据的名称,支持1到64位只包含英文、数字、下划线(_)和中划线(-)的字符。 type 否 String 输入项类型。枚举值如下: dataset:数据集 obs:OBS data_selector:数据选择 data 否 Object 输入项数据。 value 否
动态benchmark 获取测试数据集。 动态benchmark需要使用数据集进行测试,可以使用公开数据集,例如Alpaca、ShareGPT。也可以根据业务实际情况,使用generate_datasets.py脚本生成和业务数据分布接近的数据集。 公开数据集下载地址: ShareGPT:
240606 步骤六 编写Config.yaml文件 k8s有两种方式来管理对象: 命令式,即通过Kubectl指令直接操作对象。 声明式,通过定义资源YAML格式的文件来操作对象。 首先给出单个节点训练的config.yaml文件模板,用于配置pod。而在训练中,需要按照参数说
准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 预训练 预训练 介绍如何进行预训练,包括训练数据处理、超参配置、训练任务、性能查看。 微调训练 SFT全参微调
Server运行的,需要购买并开通Server资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。 准备镜像 准备训练模型适用的容器镜像。 训练 启动训练 介绍各个训练阶段:指令微调、PPO强化训练、
使用自动学习实现声音分类 准备声音分类数据 创建声音分类项目 标注声音分类数据 训练声音分类模型 部署声音分类服务 父主题: 使用自动学习实现零代码AI开发
使用自动学习实现文本分类 准备文本分类数据 创建文本分类项目 标注文本分类数据 训练文本分类模型 部署文本分类服务 父主题: 使用自动学习实现零代码AI开发