正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令
使用ModelArts Standard专属资源池进行单机单卡训练 操作流程 准备工作 购买服务资源(OBS和SWR) 配置权限 创建专属资源池(不需要打通VPC) 安装和配置OBS命令行工具 (可选)工作空间配置 模型训练 本地构建镜像及调试 上传镜像 上传数据和算法到OBS 使用Notebook进行代码调试
准备镜像环境 Step1 检查环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户
准备环境 本文档中的模型运行环境是ModelArts Lite的DevServer。请参考本文档要求准备资源环境。 资源规格要求 计算规格:不同模型训练推荐的NPU卡数请参见表2。 硬盘空间:至少200GB。 Ascend资源规格: Ascend: 1*ascend-snt9b表示Ascend单卡。
SFT全参微调训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b SFT微调为例,执行脚本 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置,必须修改的参数如表1所示。其他超参均有默认值,可以参考表1按照实际需求修改。
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试:评估在固定输入、固定输出和固定并发下,模型的吞吐与首token延迟。该方式实现简单,能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试:评估在请求并发在一定范围内波动
在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境(ModelArts控制台的在线服务功能)中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中,创建文件夹,准备ascend_vllm代码包、模型权重文件、推理启动脚本run_vllm.s
AOE的自动性能调优使用上完全没有效果怎么办? 在MindSpore Lite Convertor2.1版本之前可能出现的调优不生效的场景,建议直接使用MindSpore Lite Convertor2.1及以后的版本。配置文件指定选项进行AOE调优。使用转换工具配置config
使用ModelArts Standard专属资源池训练的场景介绍 不同AI模型训练所需要的数据量和算力不同,在训练时选择合适的存储及训练方案可提升模型训练效率与资源性价比。ModelArts Standard支持单机单卡、单机多卡和多机多卡的训练场景,满足不同AI模型训练的要求。
预训练任务 配置预训练脚本qwen.sh中的超参,并执行预训练任务。 这里以Qwen-14B为例,对于Qwen-7B和Qwen-72B,操作过程与Qwen-14B相同,只需修改对应参数即可。 预训练超参配置 预训练脚本qwen.sh,存放在“xxx-Ascend/llm_trai
在推理生产环境中部署推理服务 本章节介绍如何在ModelArts的推理生产环境(ModelArts控制台的在线服务功能)中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中,创建文件夹,准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。
创建Workflow训练作业节点 功能介绍 该节点通过对算法、输入、输出的定义,实现ModelArts作业管理的能力。主要用于数据处理、模型训练、模型评估等场景。主要应用场景如下: 当需要对图像进行增强,对语音进行除噪等操作时,可以使用该节点进行数据的预处理。 对于一些物体检测,
迁移Standard专属资源池和网络至其他工作空间 背景信息 专属资源池的工作空间关联了企业项目,企业项目涉及到账单归集。为隔离不同子用户操作资源的权限,ModelArts提供了工作空间功能,管理员可以根据工作空间,隔离不同子用户操作工作空间内资源的权限。工作空间迁移包括资源池迁移和网络迁移,具体方法可见下文说明。
String(1-50) body 设备组ID,在增加设备组后由物联网平台返回获得。 deviceIds 必选 List<String>(1000) body 要从设备组删除的设备ID列表。 响应参数 void 错误码 Http状态码 错误码 错误描述 说明 200 100601 The number
如何查看会议历史记录? 您好,点击PC客户端左上角头像 > 个人会议管理平台 > 会议管理>历史会议查看。 父主题: 会议
数据库相关 sybase Sybase环境下需要修改字符集,不修改可能会出现乱码以及因为大字段导致的数据库异常退出 解决步骤: 在服务器上打开MS-DOS窗口,进入sybase安装目录中的charsets\cp936目录,如: cd sybase\charsets\cp936 输入以下命令加载cp936字符集:
启动命令 启动步骤如下 启动DM,进入bin目录下,输入命令 startmanager 启动DM服务 启动ND01,进入app01的bin目录下,输入命令startnode 启动ND服务 启动ND02,进入app02的bin目录下,输入命令startnode 启动ND服务 父主题:
Windows操作系统 下面讲述的是在Windows环境下安装部署ABI的整个过程。 安装JDK 安装JAVA运行环境(jdk1.8或以上版本),如下图所示: 图1 安装JDK1 图2 安装JDK2 安装过程中,可以默认设置,直接NEXT完成安装,具体过程略。 安装TOMCAT
黑白名单 只有启用了公钥认证,设置的黑白名单才能生效。 父主题: 使用服务治理
空间角色权限说明 协同空间预置4种角色,分别为拥有者、管理员、可编辑和只读。创建空间的用户默认为“拥有者”角色,空间拥有者可以添加空间成员,为成员分配空间角色。 表1列出了协同空间的常用操作与空间角色的关系,您可以通过该表了解各空间角色的操作权限。 系统超级管理员未加入空间前拥有