检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts支持使用ECS创建专属资源池吗? 不支持。创建资源池时,只能选择界面提供的“未售罄”节点规格进行创建。专属资源池的节点规格后台是对应的ECS资源,但是无法使用账号下购买的ECS,作为ModelArts专属资源池。 父主题: Standard资源池
y-mm-dd等)的数据。 如果某一列的取值只有一种,会被视为无效列。请确保标签列的取值至少有两个且无数据缺失。 标签列指的是在训练任务中被指定为训练目标的列,即最终通过该数据集训练得到模型时的输出(预测项)。 除标签列外数据集中至少还应包含两个有效特征列(列的取值至少有两个且数据缺失比例低于10%)。
ModelArts的功能都需经过授权,可以更精确的控制子用户的权限范围,达成权限最小化的安全策略。 用工作空间限制资源访问 工作空间是ModelArts面向企业客户提供的一个高阶功能,用于进一步将用户的资源划分在多个逻辑隔离的空间中,并支持以空间维度进行访问的权限限定。目前工作空
本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 支持的模型列表和权重文件 本方案支持vLLM的v0.5.0版本。不同vLLM版本支持的模型列表有差异,具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
emo。 ip 否 String 用户GaussDB(DWS)集群的IP地址。 port 否 String 用户GaussDB(DWS)集群的端口。 queue_name 否 String 表格数据集,DLI队列名。 subnet_id 否 String MRS集群的子网ID。 table_name
py文件启动,该启动文件产生的日志。 训练进程日志:用户训练代码的标准输出。 pip-requirement.txt安装日志:如果用户有定义pip-requirement.txt文件,会产生pip包安装日志。 ModelArts平台日志:ModelArts平台产生的系统日志,主要用于运维人员定位平台问题。
Notebook实例的存储配置采用的是云硬盘EVS。 图1 创建Notebook实例时选择云硬盘EVS存储 单次最大可以扩容100GB,扩容后的总容量不超过4096GB。 云硬盘EVS存储容量最大支持4096GB,达到4096GB时,不允许再扩容。 实例停止后,扩容后的容量仍然有效。计费也是按照扩容后的云硬盘EVS容量进行计费。
e:并行卡数。 --hostname:服务部署的IP,使用本机IP 0.0.0.0。 --port:服务部署的端口8080。 --max-model-len:最大数据输入+输出长度,不能超过模型配置文件config.json里面定义的“max_position_embedding
如果没有子网可选,可以单击右侧的“创建子网”,跳转到网络控制台,创建可用的子网。 支持1个VPC下多个子网的打通,若VPC下有多个子网,会显示“+”,您可单击“+”即可添加子网(上限10个)。 若需要使用打通VPC的方式实现专属资源池访问公网,由于要访问的公网地址不确定,一般是建议用户在
已开启IPv6,IPv6才会生效。若是打通VPC后,才开启ModelArts网络的IPv6或VPC网络的IPv6,此时需要重新打通VPC及子网,IPv6才会生效。 图2 创建网络 图3 启动IPv6 单用户最多可创建15个网络。 网段设置以后不能修改,避免与将要打通的VPC网段冲突。可能冲突的网段包括:
专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.5.0版本。不同vLLM版本支持的模型列表有差异,具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理
专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异,具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理
默认为True,复制文件夹时是否将源文件夹最后一级目录复制至目的文件夹下,仅对文件夹复制有效。 表2 失败相应说明 参数 参数类型 描述 error_code String 调用失败时的错误码。调用成功时无此字段。 error_msg String 调用失败时的错误信息。调用成功时无此字段。 父主题: OBS管理
Studio Code (VS Code) 是一个流行的代码编辑器,它支持多种编程语言和开发环境。支持通过VS Code连接和使用Jupyter Notebook。 当用户创建完成支持SSH的Notebook实例后,使用VS Code的开发者可以通过以下方式连接到开发环境中: VS Code一键连接Notebook(推荐)
KeyPair: 需要选择保存在本地的Notebook对应的keypair认证。即创建Notebook时创建的密钥对文件,创建时会直接保存到浏览器默认的下载文件夹中。 PathMappings: 该参数为本地IDE项目和Notebook对应的同步目录,默认为/home/ma-us
数据集输出位置:用来存放输出的数据标注的相关信息,如版本发布生成的Manifest文件等。单击图标选择OBS桶下的空目录,且此目录不能与输入位置一致,也不能为输入位置的子目录。 数据集输入位置:用来存放源数据集信息,例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录,但不能与输出位置为同一目录。
指令微调数据:如上述提供的 alpaca_gpt4_data.json 数据集,数据集包含有以下字段: instruction:描述模型应执行的任务。指令中的每一条都是唯一的。 input:任务的可选上下文或输入。instruction 对应的内容会与 input 对应的内容拼接后作为指令,即指令为
指令微调数据:如上述提供的 alpaca_gpt4_data.json 数据集,数据集包含有以下字段: instruction:描述模型应执行的任务。指令中的每一条都是唯一的。 input:任务的可选上下文或输入。instruction 对应的内容会与 input 对应的内容拼接后作为指令,即指令为
指令微调数据:如上述提供的 alpaca_gpt4_data.json 数据集,数据集包含有以下字段: instruction:描述模型应执行的任务。指令中的每一条都是唯一的。 input:任务的可选上下文或输入。instruction 对应的内容会与 input 对应的内容拼接后作为指令,即指令为
本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8.0.rc2。 确保容器可以访问公网。 DevServer驱动版本要求23.0.5 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表及权重文件地址