检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题： 将模型部署为实时推理作业
访问在线服务支持的访问通道 通过公网访问通道的方式访问在线服务 通过VPC访问通道的方式访问在线服务 通过VPC高速访问通道的方式访问在线服务 父主题： 将模型部署为实时推理作业
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题： 将模型部署为实时推理作业
rdma-sriov-dev-plugin 0.1.0 无约束 适用于BMS、RDMA且非ascend-1980 用于支持容器里使用RDMA网卡。 os-node-agent 6.5.0-20240529142433 无约束 无约束 OS插件，用于故障检测。 icAgent icagent default CCE默认安装当前适配版本
ModelArts支持将模型部署为哪些类型的服务？ 支持在线服务、批量服务和边缘服务。 父主题： 功能咨询
基于这些基础镜像构建自定义镜像，用于部署推理服务。 X86架构（CPU/GPU）的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10.1) tensorflow_2.1.0-cuda_10.1-py_3
原因分析 由于ECC错误，导致作业运行失败。 处理方法 当ECC错误且计数超过64时，系统会自动隔离故障节点，重启训练作业确认故障是否解决。如果未隔离的节点导致训练作业再次失败或卡死，请联系技术支持处理。 父主题： 业务代码问题
创建导入任务 功能介绍 创建数据集的导入任务：从存储系统导入样本、标签到数据集。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_
训练作业是否支持定时或周期调用？ ModelArts训练作业不支持定时周期化调用。当您的作业处于“运行中”状态时，可以按照业务需求进行调用。 父主题： 管理训练作业版本
资源包名称。支持本地文件，OBS路径及用户已上传到DLI资源管理系统的文件。如果需要指定多个参数，可以使用--resources resource1 --resources resource2。 --files Array of String 否 用户已上传到DLI资源管理系统的类型为
创建工作空间 功能介绍 创建工作空间（"default"为系统预留的默认工作空间名称，不能使用）。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v1/
上完成。从技术上看，ModelArts底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，而不需要关心底层的技术。同时，ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架，也支持开发者使用自研的算法框架，匹配您的使用习惯。
使用Prometheus查看Lite Cluster监控指标 Prometheus是一款开源监控工具，ModelArts支持Exporter功能，方便用户使用Prometheus等第三方监控系统获取ModelArts采集到的指标数据。 本章节主要介绍如何通过Prometheus查看Lite Cluster监控指标。
在线服务发起预测请求： 方式一：使用图形界面的软件进行预测（以Postman为例）。Windows系统建议使用Postman。 方式二：使用curl命令发送预测请求。Linux系统建议使用curl命令。 方式三：使用Python语言发送预测请求。 方式四：使用Java语言发送预测请求。
ModelArts支持从MRS服务中导入存储在HDFS上的csv格式的数据，首先需要选择已有的MRS集群，并从HDFS文件列表选择文件名称或所在目录，导入文件的列数需与数据集schema一致。MRS的详细功能说明，请参考MRS用户指南。 图1 从MRS导入数据 集群名称：系统自动将当前账
设置在线服务故障自动重启 场景描述 当系统检测到Snt9b硬件故障时，自动复位Snt9B芯片并重启推理在线服务，提升了推理在线服务的恢复速度。 约束限制 仅支持使用Snt9b资源的同步在线服务。 只支持针对整节点资源复位，请确保部署的在线服务为8*N卡规格，请谨慎评估对部署在该节点的其他服务的影响。
启动提供服务，并支持gRPC和HTTP Restful API的访问方式。 Triton是一个高性能推理服务框架，提供HTTP/gRPC等多种服务协议，支持TensorFlow、TensorRT、PyTorch、ONNXRuntime等多种推理引擎后端，并且支持多模型并发、动态b
VS Code手动连接Notebook 本地IDE环境支持PyCharm和VS Code。通过简单配置，即可用本地IDE远程连接到ModelArts的Notebook开发环境中，调试和运行代码。 本章节介绍基于VS Code环境访问Notebook的方式。 前提条件 已下载并安装VS
ModelArts支持的预置镜像列表 ModelArts预置镜像更新说明 ModelArts统一镜像列表 Notebook专属预置镜像列表 训练专属预置镜像列表 推理专属预置镜像列表 父主题： 制作自定义镜像用于ModelArts Standard
自定义镜像导入配置运行时依赖无效 问题现象 通过API接口选择自定义镜像导入创建模型，配置了运行时依赖，没有正常安装pip依赖包。 原因分析 自定义镜像导入不支持配置运行时依赖，系统不会自动安装所需要的pip依赖包。 处理方法 重新构建镜像。 在构建镜像的dockerfile文件中安装pip依赖包，例如安装Flask依赖包。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
