华为云用户手册

从DWS导入数据 ModelArts支持从DWS导入表格数据，用户需要选择对应的DWS集群，并输入需要对应的数据库名、表名以及用户名和密码。所导入表的schema(列名和类型)需要跟数据集相同。DWS的详细功能说明，请参考DWS用户指南。 图1 从DWS导入数据 集群名称：系统自动将当前账号下的DWS集群展现在列表中，您可以在下拉框中选择您所需的DWS集群。 数据库名称：根据选择的DWS集群，填写数据所在的数据库名称。 表名称：根据选择的数据库，填写数据所在的表。 用户名：输入DWS集群管理员用户的用户名。 密码：输入DWS集群管理员用户的密码。 从DWS导入数据，需要借助 DLI 的功能，如果用户没有访问DLI服务的权限，需根据页面提示创建DLI的委托。 父主题： 数据接入

从 MRS 导入数据 ModelArts支持从MRS服务中导入存储在HDFS上的csv格式的数据，首先需要选择已有的MRS集群，并从HDFS文件列表选择文件名称或所在目录，导入文件的列数需与数据集schema一致。MRS的详细功能说明，请参考MRS用户指南。 图1 从MRS导入数据 集群名称：系统自动将当前账号下的MRS集群展现在此列表中，但是流式集群不支持导入操作。请在下拉框中选择您所需的集群。 文件路径：根据选择的集群，输入对应的文件路径，此文件路径为HDFS路径。 导入是否包含表头：开启表示导入时将表头同时导入。 父主题： 数据接入

从DLI导入数据 表格数据集支持从DLI导入数据。 从DLI导入数据，用户需要选择DLI队列、数据库和表名称。所选择的表的schema(列名和类型)需与数据集一致，支持自动获取所选择表的schema。DLI的详细功能说明，请参考DLI用户指南。 图1 DLI导入数据 队列名称：系统自动将当前账号下的DLI队列展现在列表中，用户可以在下拉框中选择需要的队列。 数据库名称：根据选择的队列展现所有的数据库，请在下拉框中选择您所需的数据库。 表名称：根据选择的数据库展现此数据库中的所有表。请在下拉框中选择您所需的表。 DLI的default队列只用作体验，不同账号间可能会出现抢占的情况，需进行资源排队，不能保证每次都可以得到资源执行相关操作。 DLI支持schema映射的功能，即导入的表的schema的字段名称可以不和数据集相同，但类型要保持一致。 父主题： 数据接入

文本分类 { "source": "content://I like this product ", "id":"XGDVGS", "annotation": [ { "type": "modelarts/text_classification", "name": " positive", "annotated-by": "human", "creation-time": "2019-01-23 11:30:30" } ] } content字段是指被标注的文本（UTF-8编码，可以是中文），其他参数解释与图像分类相同，请参见表1。

语音内容 { "source":"s3://path/to/audio1.wav", "annotation":[ { "type":"modelarts/audio_content", "property":{ "@modelarts:content":"Today is a good day." }, "annotated-by":"human", "creation-time":"2019-01-23 11:30:30" } ] } “source”、“usage”、“annotation”等参数说明与图像分类一致，详细说明请参见表1。 “property”中的“@modelarts:content”参数，数据类型为“String”，表示语音内容。

语音分割 { "source":"s3://path/to/audio1.wav", "usage":"TRAIN", "annotation":[ { "type":"modelarts/audio_segmentation", "property":{ "@modelarts:start_time":"00:01:10.123", "@modelarts:end_time":"00:01:15.456", "@modelarts:source":"Tom", "@modelarts:content":"How are you?" }, "annotated-by":"human", "creation-time":"2019-01-23 11:30:30" }, { "type":"modelarts/audio_segmentation", "property":{ "@modelarts:start_time":"00:01:22.754", "@modelarts:end_time":"00:01:24.145", "@modelarts:source":"Jerry", "@modelarts:content":"I'm fine, thank you." }, "annotated-by":"human", "creation-time":"2019-01-23 11:30:30" } ] } “source”、“usage”、“annotation”等参数说明与图像分类一致，详细说明请参见表1。 “property”的参数解释如表10所示。 表10 “property”参数说明 参数名 数据类型 描述 @modelarts:start_time String 声音的起始时间，格式为“hh:mm:ss.SSS”。 其中“hh”表示小时，“mm”表示分钟，“ss”表示秒，“SSS”表示毫秒。 @modelarts:end_time String 声音的结束时间，格式为“hh:mm:ss.SSS”。 其中“hh”表示小时，“mm”表示分钟，“ss”表示秒，“SSS”表示毫秒。 @modelarts:source String 声音来源。 @modelarts:content String 声音内容。

文本命名实体 { "source":"content://Michael Jordan is the most famous basketball player in the world.", "usage":"TRAIN", "annotation":[ { "type":"modelarts/text_entity", "name":"Person", "property":{ "@modelarts:start_index":0, "@modelarts:end_index":14 }, "annotated-by":"human", "creation-time":"2019-01-23 11:30:30" }, { "type":"modelarts/text_entity", "name":"Category", "property":{ "@modelarts:start_index":34, "@modelarts:end_index":44 }, "annotated-by":"human", "creation-time":"2019-01-23 11:30:30" } ] } “source”、“usage”、“annotation”等参数说明与图像分类一致，详细说明请参见表1。 其中，property的参数解释如表6所示。例如，当“"source":"content://Michael Jordan"”时，如果要提取“Michael”，则对应的“start_index”为“0”，“end_index”为“7”。 表6 property参数说明 参数名 数据类型 说明 @modelarts:start_index Integer 文本的起始位置，值从0开始，包括start_index所指的字符。 @modelarts:end_index Integer 文本的结束位置，但不包括end_index所指的字符。

文本三元组 { "source":"content://"Three Body" is a series of long science fiction novels created by Liu Cix.", "usage":"TRAIN", "annotation":[ { "type":"modelarts/text_entity", "name":"Person", "id":"E1", "property":{ "@modelarts:start_index":67, "@modelarts:end_index":74 }, "annotated-by":"human", "creation-time":"2019-01-23 11:30:30" }, { "type":"modelarts/text_entity", "name":"Book", "id":"E2", "property":{ "@modelarts:start_index":0, "@modelarts:end_index":12 }, "annotated-by":"human", "creation-time":"2019-01-23 11:30:30" }, { "type":"modelarts/text_triplet", "name":"Author", "id":"R1", "property":{ "@modelarts:from":"E1", "@modelarts:to":"E2" }, "annotated-by":"human", "creation-time":"2019-01-23 11:30:30" }, { "type":"modelarts/text_triplet", "name":"Works", "id":"R2", "property":{ "@modelarts:from":"E2", "@modelarts:to":"E1" }, "annotated-by":"human", "creation-time":"2019-01-23 11:30:30" } ] }

声音分类 { "source": "s3://path/to/pets.wav", "annotation": [ { "type": "modelarts/audio_classification", "name":"cat", "annotated-by":"human", "creation-time":"2019-01-23 11:30:30" } ] } “source”、“usage”、“annotation”等参数说明与图像分类一致，详细说明请参见表1。

图像分类 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 { "source":"s3://path/to/image1.jpg", "usage":"TRAIN", "hard":"true", "hard-coefficient":0.8, "id":"0162005993f8065ef47eefb59d1e4970", "annotation": [ { "type": "modelarts/image_classification", "name": "cat", "property": { "color":"white", "kind":"Persian cat" }, "hard":"true", "hard-coefficient":0.8, "annotated-by":"human", "creation-time":"2019-01-23 11:30:30" }, { "type": "modelarts/image_classification", "name":"animal", "annotated-by":"modelarts/active-learning", "confidence": 0.8, "creation-time":"2019-01-23 11:30:30" }], "inference-loc":"/path/to/inference-output" } 表1 字段说明 字段 是否必选 说明 source 是 被标注对象的URI。数据来源的类型及示例请参考表2。 usage 否 默认为空，取值范围： TRAIN：指明该对象用于训练。 EVAL：指明该对象用于评估。 TEST：指明该对象用于测试。 INFERENCE：指明该对象用于推理。 如果没有给出该字段，则使用者自行决定如何使用该对象。 id 否 此参数为系统导出的样本id，导入时可以不用填写。 annotation 否 如果不设置，则表示未标注对象。annotation值为一个对象列表，详细参数请参见表3。 inference-loc 否 当此文件由推理服务生成时会有该字段，表示推理输出的结果文件位置。 表2 数据来源类型 类型 示例 OBS “source”:“s3://path-to-jpg” Content “source”:“content://I love machine learning” 表3 annotation对象说明 字段 是否必选 说明 type 是 标签类型。取值范围为： image_classification：图像分类 text_classification：文本分类 text_entity：文本命名实体 object_detection：对象检测 audio_classification：声音分类 audio_content：声音内容 audio_segmentation：声音起止点 name 是/否 对于分类是必选字段，对于其他类型为可选字段，本示例为图片分类名称。 id 是/否 标签ID。对于三元组是必选字段，对于其他类型为可选字段。三元组的实体标签ID格式为“E+数字”，比如“E1”、“E2”，三元组的关系标签ID格式为“R+数字”，例如“R1”、“R2”。 property 否 包含对标注的属性，例如本示例中Cat有两个属性，颜色（color）和品种（kind）。 hard 否 表示是否是难例。“True”表示该标注是难例，“False”表示该标注不是难例。 annotated-by 否 默认为“human”，表示人工标注。 human creation-time 否 创建该标注的时间。是用户写入标注的时间，不是Manifest生成时间。 confidence 否 表示机器标注的置信度。范围为0～1。

文件型数据标注状态 数据标注状态分为“未标注”和“已标注”。 未标注：仅导入标注对象（指待标注的图片，文本等），不导入标注内容（指标注结果信息）。 已标注：同时导入标注对象和标注内容，当前“自由格式”的数据集不支持导入标注内容。 为了确保能够正确读取标注内容，要求用户严格按照规范存放数据： 导入方式选择目录时，需要用户选择“标注格式”，并按照标注格式的要求存放数据。 导入方式选择manifest时，需要满足manifest文件的规范，详细规范请参见标注格式章节。 数据标注状态选择“已标注”，您需要保证目录或manifest文件满足相应的格式规范，否则可能存在导入失败的情况。

图像分类 图像分类的数据支持两种格式： ModelArts imageNet 1.0：目录方式，只支持单标签。 相同标签的图片放在一个目录里，并且目录名字即为标签名。当存在多层目录时，则以最后一层目录为标签名。 示例如下所示，其中Cat和Dog分别为标签名。 dataset-import-example ├─Cat │ 10.jpg │ 11.jpg │ 12.jpg │ └─Dog 1.jpg 2.jpg 3.jpg ModelArts image classification 1.0：txt标签文件，支持多标签 当目录下存在对应的txt文件时，以txt文件内容作为图像的标签。 示例如下所示，import-dir-1和imort-dir-2为导入子目录。 dataset-import-example ├─import-dir-1 │ 10.jpg │ 10.txt │ 11.jpg │ 11.txt │ 12.jpg │ 12.txt └─import-dir-2 1.jpg 1.txt 2.jpg 2.txt 单标签的标签文件示例，如1.txt文件内容如下所示： Cat 多标签的标签文件示例，如2.txt文件内容如下所示： Cat Dog 只支持JPG、JPEG、PNG、BMP格式的图片。单张图片大小不能超过5MB，且单次上传的图片总大小不能超过8MB。

声音分类 ModelArts audio classfication dir 1.0：要求用户将相同标签的声音文件放在一个目录里，并且目录名字即为标签名。 示例： dataset-import-example ├─Cat │ 10.wav │ 11.wav │ 12.wav │ └─Dog 1.wav 2.wav 3.wav

文本分类 文本分类支持导入“txt”和“csv”两种文件类型，文本的编码格式支持“UTF-8”和“GBK”。 文本分类的标注对象和标注文件有2种存放模式。 ModelArts text classfication combine 1.0：文本和标注合并，文本分类的标注对象和标注内容在一个文本文件内，标注对象与标注内容之间，多个标注内容之间可分别指定分隔符。 例如，文本文件的内容如下所示。标注对象与标注内容之间采用tab键分隔。 手感很好，反应速度很快，不知道以后怎样 positive 三个月前买了一个用的非常好果断把旧手机替换下来尤其在待机方面表现得尤为明显 positive 没充一会电源怎么也会发热呢音量健不好用回弹不好 negative 算是给自己的父亲节礼物吧物流很快下单不到24小时就到货了耳机更赞有些低音炮的感觉入耳很紧不会掉棒棒哒 positive ModelArts text classfication 1.0：文本和标注分离，文本分类的标注对象和标注文件均为文本文件，并且以行数进行对应，如标注文件中的第一行表示的是标注对象文件中的第一行的标注。 例如，标注对象“COMMENTS_20180919_114745.txt”的内容如下所示。 手感很好，反应速度很快，不知道以后怎样 三个月前买了一个用的非常好果断把旧手机替换下来尤其在待机方面性能好 没充一会电源怎么也会发热呢音量健不好用回弹不好 算是给自己的父亲节礼物吧物流很快下单不到24小时就到货了耳机更赞有些低音炮的感觉入耳很紧不会掉棒棒哒 标注文件“COMMENTS_20180919_114745_result.txt”的内容。 positive negative negative positive 此数据格式要求将标注对象和标注文件存储在同一目录，并且一一对应，如标注对象文件名为“COMMENTS_20180919_114745.txt”，那么标注文件名为“COMMENTS _20180919_114745_result.txt”。 数据文件存储示例： ├─dataset-import-example │ COMMENTS_20180919_114732.txt │ COMMENTS _20180919_114732_result.txt │ COMMENTS _20180919_114745.txt │ COMMENTS _20180919_114745_result.txt │ COMMENTS _20180919_114945.txt │ COMMENTS _20180919_114945_result.txt

表格 支持从OBS导入csv文件，需要选择文件所在目录，其中csv文件的列数需要跟数据集schema一致。支持自动获取csv文件的schema。 ├─dataset-import-example │ table_import_1.csv │ table_import_2.csv │ table_import_3.csv │ table_import_4.csv

表格数据集从OBS导入操作 ModelArts支持从OBS导入表格数据，即csv文件。 表格数据集导入说明： 导入成功的前提是，数据源的schema需要与创建数据集指定的schema保持一致。其中schema指表格的列名和类型，创建数据集时一旦指定，不支持修改。 从OBS导入csv文件，不会校验数据类型，但是列数需要跟数据集的schema保持一致。如果数据格式不合法，会将数据置为null，详见表3。 导入的csv文件要求如下：需要选择文件所在目录，其中csv文件的列数需要跟数据集schema一致。支持自动获取csv文件的schema。 ├─dataset-import-example │ table_import_1.csv │ table_import_2.csv │ table_import_3.csv │ table_import_4.csv

文件型数据标注状态 数据标注状态分为“未标注”和“已标注”。 未标注：仅导入标注对象（指待标注的图片、文本等），不导入标注内容（指标注结果信息）。 已标注：同时导入标注对象和标注内容，当前“自由格式”的数据集不支持导入标注内容。 为了确保能够正确读取标注内容，要求用户严格按照规范存放数据： 导入方式选择目录时，需要用户选择“标注格式”，并按照标注格式的要求存放数据，详细规范请参见标注格式章节。 导入方式选择manifest时，需要满足manifest文件的规范。 数据标注状态选择“已标注”，您需要保证目录或manifest文件满足相应的格式规范，否则可能存在导入失败的情况。 导入已标注的文件，导入完成后，请检查您导入的数据是否为已标注状态。

导入方式 OBS导入数据方式分为“OBS目录”和“Manifest文件”两种。 OBS目录：指需要导入的数据集已提前存储至OBS目录中。此时需选择用户具备权限的OBS路径，且OBS路径内的目录结构需满足规范，详细规范请参见OBS目录导入数据规范说明。当前只有“图像分类”、“物体检测”、“表格”、“文本分类”和“声音分类”类型的数据集，支持从OBS目录导入数据。其他类型只支持Manifest文件导入数据集的方式。 Manifest文件：指数据集为Manifest文件格式，Manifest文件定义标注对象和标注内容的对应关系，且Manifest文件已上传至OBS中。Manifest文件的规范请参见Manifest文件导入规范说明。 导入“物体检测”类型数据集前，您需要保证标注文件的标注范围不超过原始图片大小，否则可能存在导入失败的情况。 表1 不同类型数据集支持的导入方式 数据集类型 标注类型 OBS目录导入 Manifest文件导入 图片 图像分类 支持 可以导入未标注或已标注数据 已标注数据格式规范：图像分类 支持 可以导入未标注或已标注数据 已标注数据格式规范：图像分类 物体检测 支持 可以导入未标注或已标注数据 已标注数据格式规范：物体检测 支持 可以导入未标注或已标注数据 已标注数据格式规范：物体检测 图像分割 支持 可以导入未标注或已标注数据 已标注数据格式规范：图像分割 支持 可以导入未标注或已标注数据 已标注数据格式规范：图像分割 音频 声音分类 支持 导入的是未标注或已标注数据 格式规范：声音分类 支持 可以导入未标注或已标注数据 已标注数据格式规范：声音分类 语音内容 支持 导入的是未标注数据 支持 可以导入未标注或已标注数据 已标注数据格式规范：语音内容 语音分割 支持 导入的是未标注数据 支持 可以导入未标注或已标注数据 已标注数据格式规范：语音分割 文本 文本分类 支持 导入的是未标注或已标注数据 已标注数据格式规范：文本分类 支持 可以导入未标注或已标注数据 已标注数据格式规范：文本分类 命名实体 支持 导入的是未标注数据 支持 可以导入未标注或已标注数据 已标注数据格式规范：文本命名实体 文本三元组 支持 导入的是未标注数据 支持 可以导入未标注或已标注数据 已标注数据格式规范：文本三元组 视频 视频 支持 导入的是未标注数据 支持 可以导入未标注或已标注数据 已标注数据格式规范：视频标注 其他 自由格式 支持 导入的是未标注数据 - 表格 表格 支持 还支持从DWS、DLI、MRS导入数据。 格式规范：表格 -

规格限制 除表格类型之外的数据集（如视频、文本、音频等），单个数据集的最大样本数量限制：1000000，最大标签数量限制：10000。 除图片类型之外的数据集（如视频、文本、音频等），单个样本大小限制：5GB。 针对图片类数据集（物体检测、图像分类、图像分割），单个图片大小限制：25MB。 单个manifest文件大小限制：5GB。 文本文件单行大小限制：100KB。 数据管理标注结果文件大小限制：100MB。

不同类型数据集支持的功能列表 其中，不同类型的数据集支持不同的功能，如智能标注、团队标注等。详细信息参考表1。 表1 不同类型的数据集支持的功能 数据集类型 标注类型 创建数据集 导入数据 导出数据 发布数据集 修改数据集 管理版本 自动分组 数据特征 图片 图像分类 支持 支持 支持 支持 支持 支持 支持 支持 物体检测 支持 支持 支持 支持 支持 支持 支持 支持 图像分割 支持 支持 支持 支持 支持 支持 支持 - 音频 声音分类 支持 支持 - 支持 支持 支持 - - 语音内容 支持 支持 - 支持 支持 支持 - - 语音分割 支持 支持 - 支持 支持 支持 - - 文本 文本分类 支持 支持 - 支持 支持 支持 - - 命名实体 支持 支持 - 支持 支持 支持 - - 文本三元组 支持 支持 - 支持 支持 支持 - - 视频 视频 支持 支持 - 支持 支持 支持 - - 自由格式 自由格式 支持 - _ 支持 支持 支持 - - 表格 表格 支持 支持 - 支持 支持 支持 - -

数据集的类型 当前ModelArts支持如下格式的数据集。 图片：对图像类数据进行处理，支持 .jpg、.png、.jpeg、.bmp四种图像格式，支持用户进行图像分类、物体检测、图像分割类型的标注。 音频：对音频类数据进行处理，支持.wav格式，支持用户进行声音分类、语音内容、语音分割三种类型的标注。 文本：对文本类数据进行处理，支持.txt、.csv格式，支持用户进行文本分类、命名实体、文本三元组三种类型的标注。 视频：对视频类数据进行处理，支持.mp4格式，支持用户进行视频标注。 自由格式：管理的数据可以为任意格式，目前不支持标注，适用于无需标注或开发者自行定义标注的场景。如果您的数据集需存在多种格式数据，或者您的数据格式不符合其他类型数据集时，可选择自由格式的数据集。 表格 表格：适合表格等结构化数据处理。数据格式支持csv。不支持标注，支持对部分表格数据进行预览，但是最多支持100条数据预览。

数据准备简介 数据管理模块在重构升级中，对未使用过数据管理的用户不可见。如果要使用数据管理相关功能，建议提交工单开通权限。 通常来讲，AI人工智能三要素包括数据、算法和算力。数据的质量会影响模型的精度，一般来说，大量高质量的数据更有可能训练出高精度AI模型。现在很多算法使用常规数据能将准确率做到85%或者90%，而商业化应用要求会更高，如果将要模型精度提升至96%甚至99%，则需要大量高质量的数据，这个时候也会要求数据更加精细化、场景化、专业化，这也成为了AI模型突破瓶颈的关键性条件。如何快速准备大量高质量的数据已经成为AI开发过程中一个具有挑战性的问题。 ModelArts是面向AI开发者的一站式开发平台，能够支撑开发者从数据到AI应用的全流程开发过程，包含数据处理、算法开发、模型训练、模型部署等操作。并且提供AI Gallery功能，能够在市场内与其他开发者分享数据、算法、模型等。为了能帮用户快速准备大量高质量的数据，ModelArts数据管理提供了全流程的数据准备、数据处理和数据标注能力。 图1 ModelArts数据准备全流程 ModelArts数据管理为用户准备高质量的AI数据提供了以下主要能力： 解决用户获取数据的问题。 用户可在AI Gallery上一键下载需要的数据资源到ModelArts数据管理。 提供多种数据接入方式，支持用户从OBS，MRS，DLI以及DWS等服务导入用户的数据。 提供18+数据增强算子，帮助用户扩增数据，增加训练用的数据量。 帮助用户提高数据的质量。 提供图像、文本、音频、视频等多种格式数据的预览，帮助用户识别数据质量。 提供对数据进行多维筛选的能力，用户可以根据样本属性、标注信息等进行样本筛选。 提供12+标注工具，方便用户进行精细化、场景化和专业化的数据标注。 提供基于样本和标注结果进行特征分析，帮助用户整体了解数据的质量。 提升用户数据准备的效率。 提供数据版本管理能力，帮助用户提升数据管理的效率。 提供数据校验、数据选择、数据清洗等多种数据处理算子，帮助用户快速处理数据。 提供交互式标注、智能标注等能力，提升用户数据标注的效率。 提供团队标注以及团队标注流程管理能力，帮助用户提升大批量数据标注的能力。

前提条件 ModelArts在线服务正常运行。 已在 云监控 页面设置告警规则，具体操作请参见设置告警规则。 在线服务已正常运行一段时间（约10分钟）。 对于新创建的在线服务，需要等待一段时间，才能查看上报的监控数据和监控视图。 故障、删除状态的在线服务，无法在云监控中查看其监控指标。当在线服务再次启动或恢复后，即可正常查看。 对接云监控之前，用户无法查看到未对接资源的监控数据。具体操作，请参见设置告警规则。

操作场景 通过设置ModelArts在线服务和模型负载告警规则，用户可自定义监控目标与通知策略，及时了解ModelArts在线服务和模型负载状况，从而起到预警作用。 设置ModelArts服务和模型的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置ModelArts服务和模型告警规则的具体方法。 只有“运行中”的在线服务，支持对接 CES 监控。

监控指标 表1 ModelArts支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期 cpu_usage CPU使用率 该指标用于统计ModelArts用户服务的CPU使用率。 单位：百分比。 ≥ 0% ModelArts模型负载 1分钟 mem_usage 内存使用率 该指标用于统计ModelArts用户服务的内存使用率。 单位：百分比。 ≥ 0% ModelArts模型负载 1分钟 gpu_util GPU使用率 该指标用于统计ModelArts用户服务的GPU使用情况。 单位：百分比。 ≥ 0% ModelArts模型负载 1分钟 gpu_mem_usage GPU显存使用率 该指标用于统计ModelArts用户服务的GPU显存使用情况。 单位：百分比。 ≥ 0% ModelArts模型负载 1分钟 npu_util NPU使用率 该指标用于统计ModelArts用户服务的NPU使用情况。 单位：百分比。 ≥ 0% ModelArts模型负载 1分钟 npu_mem_usage NPU显存使用率 该指标用于统计ModelArts用户服务的NPU显存使用情况。 单位：百分比。 ≥ 0% ModelArts模型负载 1分钟 successfully_called_times 调用成功次数 统计ModelArts用户调用服务的成功次数。 单位：次/分钟。 ≥Count/min ModelArts模型负载 ModelArts在线服务 1分钟 failed_called_times 调用失败次数 统计ModelArts用户调用服务的失败次数。 单位：次/分钟。 ≥Count/min ModelArts模型负载 ModelArts在线服务 1分钟 total_called_times 调用总次数 统计ModelArts用户调用服务的次数。 单位：次/分钟。 ≥Count/min ModelArts模型负载 ModelArts在线服务 1分钟 disk_read_rate 磁盘读取速率 统计ModelArts用户服务的磁盘读取速率 单位：bit/min ≥bit/min ModelArts模型负载 1分钟 disk_write_rate 磁盘写入速率 统计ModelArts用户服务的磁盘写入速率 单位：bit/min ≥bit/min ModelArts模型负载 1分钟 send_bytes_rate 上行速率 统计ModelArts用户服务的 出方向网络流速。 单位：bit/min ≥bit/min ModelArts模型负载 1分钟 recv_bytes_rate 下行速率 统计ModelArts用户服务的 入方向网络流速。 ≥bit/min ModelArts模型负载 1分钟 req_count_2xx 2xx响应次数 统计api接口2xx响应的次数 ≥Count/min ModelArts在线服务 1分钟 req_count_4xx 4xx异常次数 统计api接口返回4xx错误的次数 ≥Count/min ModelArts在线服务 1分钟 req_count_5xx 5xx异常次数 统计api接口返回5xx错误的次数 ≥Count/min ModelArts在线服务 1分钟 avg_latency 平均延迟毫秒数 统计api接口平均响应延时时间 ≥ms ModelArts在线服务 1分钟 对于有多个测量维度的测量对象，使用接口查询监控指标时，所有测量维度均为必选。 查询单个监控指标时，多维度dim使用样例：dim.0=service_id,530cd6b0-86d7-4818-837f-935f6a27414d&dim.1="model_id,3773b058-5b4f-4366-9035-9bbd9964714a。 批量查询监控指标时，多维度dim使用样例： "dimensions": [ { "name": "service_id", "value": "530cd6b0-86d7-4818-837f-935f6a27414d" } { "name": "model_id", "value": "3773b058-5b4f-4366-9035-9bbd9964714a" } ]

SSE在线服务调用 SSE协议本身不提供额外的认证方式，和HTTP请求方式一致。 可以使用ModelArts提供的以下认证方式： token认证 AK/SK APP认证 SSE服务调用如下（以图形界面的软件Postman进行预测，token认证为例）： 图1 SSE服务调用 图2 响应头Content-Type 正常情况下，可以观察到响应头Content-Type为text/event-stream;charset=UTF-8。

背景说明 WebSocket是一种网络传输协议，可在单个TCP连接上进行全双工通信，位于OSI模型的应用层。WebSocket协议在2011年由IETF标准化为RFC 6455，后由RFC 7936补充规范。Web IDL中的WebSocket API由W3C标准化。 WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就可以建立持久性的连接，并进行双向数据传输。

准备工作 使用专属资源池部署在线服务，服务状态为“运行中”。 需使用新版专属资源池部署服务，详情请参见ModelArts Standard资源池功能介绍。 只有专属资源池部署的服务才支持VPC直连的高速访问通道。 VPC直连的高速访问通道，目前只支持访问在线服务。 因流量限控，获取在线服务的IP和端口号次数有限制，每个主账号租户调用次数不超过2000次/分钟，每个子账号租户不超过20次/分钟。 目前仅支持 自定义镜像 导入模型，部署的服务支持高速访问通道。

背景说明 访问在线服务的实际业务中，用户可能会存在如下需求： 高吞吐量、低时延 TCP或者RPC请求 因此，ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道，用户的业务请求不需要经过推理平台，而是直接经VPC对等连接发送到实例处理，访问速度更快。 由于请求不经过推理平台，所以会丢失以下功能： 认证鉴权 流量按配置分发 负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图

访问在线服务简介 在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测。 在线服务的API默认为HTTPS访问，同时还支持WebSocket访问。在线服务部署时如果选择了“升级为WebSocket”，服务部署完成后，API接口公网地址将是一个WebSocket协议地址。请参见Websocket访问在线服务。 当前ModelArts支持访问在线服务的认证方式有以下方式（均以HTTPS请求为例）： Token认证 AK/SK认证 APP认证 ModelArts支持通过以下几种方式调用API访问在线服务： 访问在线服务（公网访问通道） 访问在线服务（VPC高速访问通道） 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。 因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 父主题： 访问在线服务