检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务管理概述 服务管理，包括将已创建成功的模型部署为在线服务或本地服务。可以实现在线预测、本地预测、服务详情查询、查看服务日志等功能。 这里的在线服务包括“predictor”和“transformer”两类，都包括下文描述的功能，本章节以“predictor”服务为例进行说明。
推理服务测试 推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测
更新服务配置 更新当前服务对象配置。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数；其它平台的Session鉴权请参考Session鉴权。 方式1：根据部署在线服务生成的服务对象进行更新服务配置 1 2 3 4 5 6 7
方式二：通过驱动升级功能对已有的资源池驱动版本进行升级 方式一：购买资源池时通过自定义驱动参数进行配置 在购买资源池页面，部分GPU和Ascend规格资源池允许自定义安装驱动。开启自定义驱动开关并选择需要的驱动版本即可。 方式二：通过驱动升级功能对已有的资源池驱动版本进行升级 如果在购买资源池时，没配置自定义驱动，默
在JupyterLab中使用MindInsight可视化作业 ModelArts支持在开发环境中开启MindInsight可视化工具。在开发环境中通过小数据集训练调试算法，主要目的是验证算法收敛性、检查是否有训练过程中的问题，方便用户调测。 MindInsight能可视化展现出训
进入容器后执行启动命令。 docker exec -it ${container_name} bash python3 launch.py --port 8183 --skip-torch-cuda-test --enable-insecure-extension-access --listen
部署推理服务 非分离部署推理服务 分离部署推理服务 父主题： 主流开源大模型基于Server适配PyTorch NPU推理指导（6.3.909）
图2 模型的自定义镜像制作场景二 场景三：预置镜像既不满足软件环境要求，同时需要放入模型包，新的镜像超过35G，在服务器（如ECS）上制作。具体案例参考在ECS中通过Dockerfile从0制作自定义镜像用于推理。 图3 模型的自定义镜像制作场景三 约束限制 自定义镜像中不能包含恶意代码。
Face权重文件以及训练代码都需要上传至SFS Turbo中。而基于SFS Turbo所执行的训练流程如下： 将SFS Turbo挂载至ECS服务器后，可直接访问SFS Turbo。通过SSH连接ECS将代码包上传至SFS Turbo中。 在表1获取基础镜像，随后通过镜像方案说明中的步骤执行代码包中llm_t
表格数据集，HDFS路径。例如/datasets/demo。 ip String 用户GaussDB(DWS)集群的IP地址。 port String 用户GaussDB(DWS)集群的端口。 queue_name String 表格数据集，DLI队列名。 subnet_id String MRS集群的子网ID。
只需修改代码后保存（ctrl+s），即可进行自动同步。 插件安装完成后在本地IDE中开启了“Automatic Upload”，本地目录中的文件会自动上传至云端开发环境Notebook。如果未开启，请参考下图开启自动上传。 图8 开启自动上传 Step7 远程调试 单击本地IDE右下角interpr
包年/包月 创建桶不收取费用，按实际使用的存储容量和时长收费 事件通知（不开启则不计费） 订阅消息使用消息通知服务，在事件列表中选择特定事件，在事件发生时发送消息通知。 如果想使用消息通知，需要在创建训练作业时开启“事件通知”功能。 具体计费可见消息通知服务价格详情。 按实际用量付费
当AI说有问题求助的时候，可以在AI说发表评论求助。 请确保开启了邮箱通知。 在“AI Gallery”页面中，单击右上角“我的Gallery > 我的资料”进入我的资料页面，查看“开启邮箱通知”开关，默认是打开的。如果未打开请开启。 选择“评论”页签在输入框中输入评论内容，单击“发表
x86_64架构的主机，操作系统使用Ubuntu-18.04。您可以准备相同规格的弹性云服务器ECS或者应用本地已有的主机进行自定义镜像的制作。 购买ECS服务器的具体操作请参考购买并登录Linux弹性云服务器。“CPU架构”选择“x86计算”，“镜像”选择“公共镜像”，推荐使用Ubuntu18
足MoE场景 昇腾随机数生成算子与GPU保持一致 支持GroupNorm+transpose+BMM融合算子 FFN推理算子支持geglu激活函数 支持配套pybind推理的10+算子（matmul 、swiglu、rope等） 配套CANN8.0.RC1镜像 无 基础镜像 CANN8
# 推理工具 代码上传至SFS Turbo 将AscendSpeed代码包AscendCloud-LLM-xxx.zip直接上传至ECS服务器中的SFS Turbo中，例如存放在/mnt/sfs_turbo/AscendCloud-LLM-xxx.zip目录下并解压缩。 unzip
# 推理工具 代码上传至SFS Turbo 将AscendSpeed代码包AscendCloud-LLM-xxx.zip直接上传至ECS服务器中的SFS Turbo中，例如存放在/mnt/sfs_turbo/AscendCloud-LLM-xxx.zip目录下并解压缩。 unzip
方式二：使用Java语言发送预测请求 AK/SK签名认证方式，仅支持Body体12M以内，12M以上的请求，需使用Token认证。 客户端须注意本地时间与时钟服务器的同步，避免请求消息头X-Sdk-Date的值出现较大误差。因为API网关除了校验时间格式外，还会校验该时间值与网关收到请求的时间差，如果
的值进行整除。 Step4 开启训练故障自动重启功能 创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图3 开启故障重启 断点续训练是通过ch
使用从OBS选择的数据创建表格数据集如何处理Schema信息？ Schema信息表示表格的列名和对应类型，需要跟导入数据的列数保持一致。 若您的原始表格中已包含表头，需要开启“导入是否包含表头”开关，系统会导入文件的第一行（表头）作为列名，无需再手动修改Schema信息。 若您的原始表格中没有表头，需要关闭“导
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
