检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
om，引擎包选择步骤3构建的镜像。 图3 创建模型 将创建的模型部署为在线服务，大模型加载启动的时间一般大于普通的模型创建的服务，请配置合理的“部署超时时间”，避免尚未启动完成被认为超时而导致部署失败。 图4 部署为在线服务 调用在线服务进行大模型推理，请求路径填写/v2/mod
Cluster或Lite Server时，所需的ECS实例数、内存大小、CPU核数和EVS硬盘大小等等资源会超出华为云默认提供的资源配额，因此需要申请扩大配额。具体配额项如下。 表1 ModelArts Lite涉及的资源配额 服务 资源类型 ECS资源类型 ECS实例数 CPU核心数 RAM容量（MB）
然后单击“确定”。 SWR授权管理详情可参考授权管理。 如果给子用户的SWR授权不是SWR Admin权限，则需要继续配置SWR组织权限。 父主题： 权限配置
在ModelArts控制台的左侧导航栏中，选择“专属资源池”，单击创建，未提示权限不足，表明管理员用户的权限配置成功。 配置开发者权限 开发者权限需要通过IAM的细粒度授权控制实现，可以通过以下配置流程实现开发者权限配置。 使用主账号创建一个开发者用户组user_group，将开发者账号加入用户组user_group中。具体操作请参见Step1
每个资源池至少需要有一个节点池，当只有一个节点池时不支持删除。 查看节点池的存储配置 在节点池管理的更新页面，可以查看该节点池配置的系统盘、容器盘或数据盘的磁盘类型、大小、数量、写入模式、容器引擎空间大小、挂载路径磁盘配置等参数。 在Lite资源池的扩缩容页面，也可以查看节点池的存储配置信息。
未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
训练的数据集预处理说明。 Step2 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例，执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
OpenAI-API-compatible”供应商，单击添加模型。 在弹窗中，配置MaaS对应的模型名称、API Key、API Endpoint URL、Function calling等信息。 表1 配置说明 配置项 说明 模型名称 MaaS服务调用界面显示的模型名称。 API Key
构建新镜像。 注意：训练作业的资源池以及ECS都需要联通外网，否则会安装和下载失败。 ECS获取和上传基础镜像 创建ECS。 下文中介绍如何在ECS中构建一个训练镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建
明和训练的数据集预处理说明。 步骤2 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例，执行脚本为0_pl_lora_70b.sh和0_pl_lora_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
由于弹性集群资源池可选择弹性裸金属或弹性云服务器作为节点资源，不同机型的节点对应的操作系统、适用的CCE集群版本等不相同，为了便于您制作镜像、升级软件等操作，本文对不同机型对应的软件配套版本做了详细介绍。 裸金属服务器的对应的软件配套版本 表1 裸金属服务器 类型 卡类型 RDMA网络协议
预处理说明。 Step2 修改训练超参配置 以 llama2-70b 和 llama2-13b 预训练 为例，执行脚本为 0_pl_pretrain_70b.sh 和 0_pl_pretrain_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均
在Notebook中安装 例如，通过JupyterLab在“TensorFlow-1.8”的环境中安装Shapely。 打开一个Notebook实例，进入到Launcher界面。 在“Notebook”区域下，选择“TensorFlow-1.8”，新建一个ipynb文件。 在新建的
明和训练的数据集预处理说明。 步骤2 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例，执行脚本为0_pl_sft_70b.sh 和 0_pl_sft_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
配置节点参数控制分支执行 功能介绍 支持单节点通过参数配置或者获取训练输出的metric指标信息来决定执行是否跳过，同时可以基于此能力完成对执行流程的控制。 应用场景 主要用于存在多分支选择执行的复杂场景，在每次启动执行后需要根据相关配置信息决定哪些分支需要执行，哪些分支需要跳过
据集预处理说明。 步骤2 修改训练超参配置 以 llama2-70b 和 llama2-13b 预训练 为例，执行脚本为 0_pl_pretrain_70b.sh 和 0_pl_pretrain_13b.sh 。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均
通过公网访问通道的方式访问在线服务 背景描述 ModelArts推理默认使用公网访问在线服务。在线服务部署成功后，将为用户提供一个可调用的API，此API为标准Restful API。您可以在服务详情页面，调用指南页签中查看API接口公网地址。 图1 API接口公网地址 约束限制
在线服务和边缘服务有什么区别？ 在线服务 将模型部署为一个Web服务，您可以通过管理控制台或者API接口访问在线服务。 边缘服务 云端服务是集中化的离终端设备较远，对于实时性要求高的计算需求，把计算放在云上会引起网络延时变长、网络拥塞、服务质量下降等问题。而终端设备通常计算能力不
环境配置相关 如何查看Notebook使用的cuda版本？ 如何打开ModelArts开发环境的Terminal功能？ 如何在Notebook中安装外部库？ 如何获取本机外网IP？ 如何解决“在IOS系统里打开ModelArts的Notebook，字体显示异常”的问题？ Notebook有代理吗？如何关闭？
其中ServiceStep节点包含两个输入，一个是模型列表对象，另一个是在线服务对象，此时在运行态通过开关的方式来控制部署/更新服务，如下图所示： 在线服务开关默认关闭，节点走部署服务的流程；如果需要更新服务，则手动打开开关，选择相应的在线服务即可。 进行服务更新时，需要保证被更新的服务所使用的模型与配置的模型名称相同。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
