华为云用户手册

响应 响应样例 {"success": true,"returnData": [{"id": "29","tenantName": "NAIE_datalake_xxxx_01","tenantId": "07c0712c6e00d55e0fbec01f9709fe20","collectorPackageId": "Collector_VV1.0","collectorPackageName": "NAIE_Collector_20.5.1.tar.gz","collectorPackageVersion": "V1.0","description": "V1.0","packageStatus": "usable","packageUrl": "NAIE_datalake_xxxx_01/20200401165741/xxxx","updateTime": 1585731606576,"createTime": 1585731606576,"remarks": "testwml"}]} 要素说明 参数名 参数类型 备注 success Boolean 请求是否成功。 returnData Object 返回值。 id string 主键ID。 tenantName string 租户名称。 tenantId string 租户ID。 collectorPackageId string 采集机软件包ID。 collectorPackageName string 采集机软件包名称。 collectorPackageVersion string 采集机软件包版本。 description string 描述信息。 packageStatus string 采集机状态。 packageUrl string 软件包保存路径。 updateTime int 更新时间戳。 createTime int 创建时间戳。 remarks String 备注。

响应 响应样例 {"success": true,"returnData": {"isBuyD CS ervice": true,"buyStatus": "SUC CES S"}} 要素说明 参数名 参数类型 备注 success boolean 请求是否成功。 returnData object 返回值。 isBuyDCService boolean 是否订购。 true：已订购。 false：未订购。 buyStatus String 具体的订购状态。

请求 请求样例 GET https://ip:port/softcomai/datalake/collection/v1.0/collectorPackage/list?collectorPackageId=Collector_V21.5.1_Linux_x64&status=usable 参数说明 参数名 是否必选 参数类型 备注 collectorPackageId 否 String 采集机软件包ID。 status 否 String 采集机软件包状态。

修订记录 发布日期 修订记录 2021-08-30 新增加密处理章节。 2021-06-30 调整文档的目录结构，修改如下章节： 新建数据集 应用数据集 数据解析 数据处理 数据探索 时序数据标注 安全管理 2021-04-30 根据软件界面，更新内容。 修改如下章节： 数据标注 新增如下章节： 音频图像标注 前提条件 访问音频图像标注服务 标注图片 2021-03-30 删除“元数据管理与数据处理（旧版本）”服务章节。 2021-02-28 修改如下章节： 创建解析任务 启动解析任务 云地采集服务更名为： 数据接入服务 。 2021-02-08 云地采集服务：根据软件界面，更新全部内容。 2021-01-30 根据软件界面，更新内容。 修改如下章节： 设置项目信息 上传数据文件 新增如下章节： 系统管理 数据备份与恢复 如何访问数据备份与恢复服务 数据备份 数据恢复 2020-12-30 根据软件界面，更新内容。 修改如下章节： 设置项目信息 前提条件 新建本地上传任务 上传数据文件 使用对象的角色介绍 前提条件 授权采集机 创建采集任务 创建数据加载任务 进入创建查询页面 创建查询 使用模板执行查询 查看查询结果 2020-11-30 根据软件界面，更新内容。 修改如下章节： 设置项目信息 添加采集任务 添加治理任务 添加发布任务 确认创建项目 启动项目 新增授权文件 上传数据文件 授权采集机 创建采集任务 新增如下章节： 添加解析任务 新增“数据解析”服务及其相关章节。 2020-9-30 同步软件更新如下页面： 添加采集任务 添加治理任务 添加发布任务 启动项目 保存项目为模板（可选） 新增授权文件 新建本地上传任务 上传数据文件 使用对象的角色介绍 前提条件 上传并发布采集机软件包 授权采集机 创建采集任务 启动采集任务 查看采集任务详细信息 创建逻辑实体 2020-8-30 同步软件更新如下页面的操作步骤： 设置项目信息 添加采集任务 添加治理任务 添加发布任务 确认创建项目 启动项目 保存项目为模板（可选） 访问本地上传服务 上传数据文件 访问数据接入服务 上传并发布采集机软件包 授权采集机 查看采集任务详细信息 新增如下页面： 新建本地上传任务 2020-7-30 同步软件更新如下页面的操作步骤： 设置项目信息 添加采集任务 添加治理任务 添加发布任务 访问本地上传服务 新增授权文件 上传数据文件 访问数据接入服务 上传并发布采集机软件包 授权采集机 创建采集任务 查看采集任务详细信息 同步软件更新如下页面： 数据安全服务更名为：安全管理服务。 数据安全审计服务更名为：安全审计服务。 元数据管理（新版本）服务更名为：数据建模服务。 更新所有服务的工具箱访问路径。 2020-6-30 数据资产管理服务界面改版，所有服务的访问路径更新。 数据安全服务的“目录管理”菜单变更为“分层管理”，资料对应更新。 调整文档的目录结构：删除原“数据开发”父章节，将该父章节下的子章节级别上升一级，新增基础工具的快速入门（可选）父章节，将数据开发、数据安全、数据集成、数据服务、时序数据标注移到基础工具的快速入门（可选）父章节下面，将原附录中的“元数据管理与数据处理（旧版本）”章节移到数据开发下面。 华为云新增HUAWEI ID登录方式，修改访问数据服务中的界面截图。 2020-03-30 新增3个服务：数据加载服务、元数据管理（新版本）、数据处理（新版本）。 元数据管理与数据处理服务更名为：元数据管理与数据处理（旧版本）。 数据权限管理更名为：数据安全服务。 2019-12-30 数据探索服务，“探索工厂”菜单功能更新，对应更新“探索工厂”章节内容。 数据权限管理服务变更内容如下所示： 逻辑实体变更提醒功能删除，对应删除“逻辑实体变更提醒”章节。 新增“公告栏展示”章节。 菜单名称更新，对应刷新“资源管理”章节内容。 新增“水印管理”章节。 2019-10-30 服务改版，资料全量更新。 2019-04-30 第一次正式发布。 父主题： 快速入门

修订记录 发布日期 修订记录 2021-12-10 修改支持解析哪些类型的数据章节。 2021-08-30 新增用户注销后，是否会清理数据服务对应的个人数据以及资源，是否还会计费？章节。 2021-07-30 修改数据服务的优势是什么章节。 删除“数据资产管理服务脚本的执行类型有哪些”章节。 2021-06-30 调整文档的目录结构，修改如下章节： 数据集 数据接入 数据建模 数据解析 数据加载 数据处理 数据探索 数据标注 安全管理 安全审计 数据备份 数据恢复 数据准备 2021-03-30 删除“元数据管理与数据处理（旧版本）”服务章节。 2021-02-28 新增服务：本地上传、数据接入、数据解析。 2021-01-30 同步软件修改如下章节： 物理实体支持哪些数据源？ 新增如下章节： 系统管理 数据备份与恢复 备份失败怎么处理？ 恢复失败怎么处理？ 2020-7-30 同步软件修改如下章节的名称： 数据开发 数据标注 数据服务 数据安全 2020-6-30 调整文档的目录结构：修改原“数据开发”父章节为“通用类”，新增基础工具类父章节，将数据开发、数据安全、数据服务、数据标注移到基础工具类父章节下面，将原附录中的“元数据管理与数据处理（旧版本）”章节移到数据开发下面。 修改文档中“数据准备”为“数据资产管理服务”，修改“流程”为“项目”。 2020-5-30 按照数据资产管理服务新版界面，调整文档的目录结构：修改原“数据准备”父章节为“数据开发”，新增“治理工具”、“安全工具”、“管理工具”、“智能工具”、“附录”父章节，将除“数据开发”之外的其他服务章节移到父章节下面。 修改如下章节： 私有模板和公共模板的区别是什么 新增数据安全审计，对应章节为“安全审计”。 2020-03-30 新增3个服务：数据加载、元数据管理（新版本）、数据处理（新版本）。 元数据管理与数据处理更名为：元数据管理与数据处理（旧版本） 数据权限管理更名为：数据安全服务。 2019-12-30 新增数据准备。 2019-10-30 时序数据标注新增待标注数据文件格式要求？章节。 数据探索新增如下章节： 什么是模板？什么时候使用模板？ 什么是函数？什么是自定义函数？什么是内置函数？ 2019-04-30 第一次正式发布。 父主题： 常见问题

请求 请求样例 POST https://10.154.122.236:9000/tools/controller/fma/OBS/export{ "bucketName": "obs-s00223682","fileType": "mrf","inputPath": "/wer/FMA/20180427115649/","outputPath": "/wer/fmaresult/","zipSign": "N"}

文档导读 数据资产管理服务提供了产品介绍、快速入门、用户指南、API参考、常见问题和产品术语手册，帮助用户快速熟悉和使用数据资产管理服务。 表1 文档导读 手册 概述 《产品介绍》 本文档详细阐述了数据资产管理服务的概念、应用场景、产品功能和产品价值等。 《快速入门》 本文档介绍了数据资产管理服务入门操作的流程，指导用户快速上手和掌握数据资产管理服务的基本操作。 《用户指南》 本文档详细介绍了数据资产管理服务的所有功能的操作方法。 《API参考》 本文档包含了数据资产管理服务API的描述、语法、参数说明及样例等内容。 《常见问题》 本文档收集了用户日常使用数据资产管理服务遇到的问题并给予解答，有助于快速解答用户问题。 《产品术语》 本文档详细阐释了数据资产管理服务相关的术语。

角色访问权限 数据服务定义了7种角色，见表1。 表1 角色名称及说明 角色名称 说明 Data Acquisition Engineer 表示数据采集工程师，负责数据采集、传输和入湖。 Data Processing Engineer 表示数据工程师，负责数据解析适配、预处理、处理、后处理、控制数据流向、模型管理、设置数据目录和逻辑实体的密级。 Data Asset Manager 表示数据资产管理员，可执行的操作包括如下： 负责数据分层管理、数据模型管理和审核（密级复审）及授权。 数据权限按角色授权、用户（组）授权。 设置组织对应的组织类型。 设置组织类型的数据权限。 设置数据目录和逻辑实体的密级。 Data Lake SRE 表示 数据湖 SRE（Site Reliability Engineer），可执行的操作包括如下： 租户管理（例如：添加租户）、数据湖底层资源订购（例如：发送数据资产管理服务的订单号和URL给市场审批人员进行订单审批）及账号设置。 角色定义、用户（组）定义、用户（组）与角色绑定。 Data Operation Engineer 表示数据运营工程师，是对外提供数据消费的管理人员或系统，负责申请发布数据集、配置数据集授权和申请下架数据集。 Data Owner 表示数据集审批人员，负责审批数据集发布申请、数据集订阅申请和数据集删除申请。 Data Security Auditor 表示安全审计员，负责数据安全审计工作。 对应数据集的角色以及使用操作权限，如下所示。 Data Operation Engineer：数据集管理者，负责数据集的发布、授权和删除等，可以浏览、查询、订阅和下载已发布或已发布授权的数据集。 Data Owner：数据集管理者，负责数据集的审批，可以浏览、查询、订阅和下载已发布或已发布授权的数据集。 Data Acquisition Engineer、Data Processing Engineer、Data Asset Manager、Data Lake SRE、Data Security Auditor、无角色用户以及其他租户下的所有用户：数据集消费者，可以浏览、查询、订阅和下载已发布或已发布授权的数据集。 以上角色的用户被配置为审批人可以审批数据集订阅申请。 父主题： 数据集

响应 响应样例 { "success": true, "returnData": [ { "taskType": "COLLECTION_CLOUD_MANUAL", "taskId": "5418221873907872709", "extraInfo": "true" }, { "taskType": "GOVERN_MODEL", "taskId": "7443426536349073929", "extraInfo": "{\"classId\":\"01\",\"businessName\":\"流量性能数据集VLAN1111111\",\"entityName\":\"performance_data_set_valn_vqxID\",\"entityType\":\"01\",\"absoluteDirectory\":\"DataModeling/数据准备FTTH/\",\"status\":\"1\",\"physicalEntities\":[{\"dsType\":\"HIVE\",\"pdmName\":\"performance_data_set_valn_vqxID\"}],\"ldmEntityAttributes\":[{\"attrName\":\"运营商子网\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"CarrierOperator\",\"dataLen\":256},{\"attrName\":\"子系统标识\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"SubSystemID\",\"dataLen\":256},{\"attrName\":\"对象原生名称\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"ObjOrgName\",\"dataLen\":256},{\"attrName\":\"测量对象原生ID\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"OrgID\",\"dataLen\":256},{\"attrName\":\"采集时间\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"Collection_Time\",\"dataLen\":256},{\"attrName\":\"测量周期\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"Granularity\",\"dataLen\":256},{\"attrName\":\"数据生成时间\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"SubDatCreTime\",\"dataLen\":256},{\"attrName\":\"数据更新时间\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"SubDatModTime\",\"dataLen\":256},{\"attrName\":\"VLAN网络上行包个数\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"VLAN_UpStream_Network\",\"dataLen\":256},{\"attrName\":\"VLAN网络下行包个数\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"VLAN_DownStream_Network\",\"dataLen\":256},{\"attrName\":\"上行流量\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"Upstream_Rate\",\"dataLen\":256},{\"attrName\":\"下行流量\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"Downstream_Rate\",\"dataLen\":256},{\"attrName\":\"上行带宽占用率\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"Upstream_Bandwidth_Occupancy\",\"dataLen\":256},{\"attrName\":\"下行带宽占用率\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"Downstream_Bandwidth_Occupancy\",\"dataLen\":256},{\"attrName\":\"VLAN的上行流量字节数\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"VLAN_Upflow_Account_by_Byte\",\"dataLen\":256},{\"attrName\":\"VLAN的上行丢弃流量包个数\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"VLAN_Upflow_Discard\",\"dataLen\":256},{\"attrName\":\"VLAN的下行流量字节数\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"VLAN_Downflow_Account_by_Bytes\",\"dataLen\":256},{\"attrName\":\"VLAN的下行丢弃流量包个数\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"VLAN_Downflow_Discard\",\"dataLen\":256},{\"attrName\":\"VLAN的上行流量速率\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"VLAN_Upstream_Rate\",\"dataLen\":256},{\"attrName\":\"VLAN的下行流量速率\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"VLAN_stream_Rate\",\"dataLen\":256},{\"attrName\":\"VLAN的上行流量包个数\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"VLAN_Upflow_Account_by_Packet\",\"dataLen\":256},{\"attrName\":\"VLAN的下行流量包个数\",\"dataType\":\"AIVCHAR\",\"pk\":\"0\",\"attrCode\":\"VLAN_Downflow_Account_by_Packet\",\"dataLen\":256}]}" } ]} 要素说明 参数名 参数类型 备注 success Boolean 请求是否成功，取值包括true和false。 returnData Json 返回体。 taskType String 任务类型。 taskId String 任务ID。 extraInfo String 附加信息。

响应 响应样例 {"success": true,"returnData": {"id": "1077","recordId": "8667683741922742151","tenantId": "051fb6cf4c00d33d0f85c003b99352a0","userId": "061a1ebe4200d36c1ff7c003867502fa","applyId": "20191218163209-1883904408","datasetId": "6250524987736810235","datasetName": "流量性能数据","excuteDate": "2019-12-18 16:48:19","targetPath": "s3a://bucket-hvnngyjf/061a1ebe4200d36c1ff7c003867502fa/Dataset/","targetFileName": "t_olttrainingdata_001.csv","taskResult": "success"}} 要素说明 参数名 参数类型 备注 success String 请求是否成功。 tenantId String 下载用户的租户ID。 userId String 下载用户的ID。 applyId String 申请订单号。 datasetName String 数据集名称。 excuteDate String 下载开始时间。 targetPath String 下载路径。 targetFileName String 下载的文件名。 taskResult String 下载结果。

请求 请求样例 POST https://ip:port/softcomai/datalake/collection/v1.0/probePackage/download{"probePackageId": "IT_Huawei_V1R1C1_sftp_Object_V1_0","cusName": "PQAMONHO9ITCE3AMRYYH","cusId": "*****************************"} 参数说明 参数名 是否必选 参数类型 备注 probePackageId 是 String 探针包ID。 cusName 是 String 最终租户的AK。 cusId 是 String 最终租户的SK。

请求 请求样例 POST https://ipaddr:port/softcomai/datalake/dataplan/north/v1.0/progress/managetoken/start{ "progressId": "P_20200609213203_290316086", "obsBucketName": "obs-collector-050e6eefc60026d90f38c00c37c4ce40", "obsPath": "Collector-b4e87e94_3e986e27017c4d35ab023e93c1c9f93e", "netInfo": "net", "extend": "IT", "collectMode": "remote", "tenantId": "051fb6cf4c00d33d0f85c003b99352a0", "userId": "07cd49e4be00d3f11f30c00305dff75e", "tenantName": "softcomai_z00284297_03", "projectId": "051fb6d19780d5312f41c003c7e7258d", "ipAddr": "10.113.209.60", "protocal": "sftp", "userName": "qiaoweigang", "collectType": "PM", "dataSourceId": "0"} 参数说明 参数名 是否必选 参数类型 备注 progressId 是 String 项目ID。 obsBucketName 是 String obs桶名称。 obsPath 是 String obs路径。 netInfo 否 String 采集的子网信息。 extend 否 String 扩展信息。 collectMode 是 String 手工采集或者远程采集。 tenantId 是 String 租户ID。 userId 是 String 用户ID。 tenantName 是 String 租户名称。 projectId 是 String 项目ID。 ipAddr 否 String IP地址。 protocal 否 String 协议。 userName 是 String 用户名称。 collectType 否 String 采集类型。 dataSourceId 否 String 数据源ID。

响应 响应样例 { "success": true, "errorMsg": null, "errorCode": null, "returnData": [ { "storage_type": "STANDARD", "endpoint": "obs.cn-north-7.ulanqab.huawei.com", "create_time": "2019-09-24 14:40:06", "bucket_type": "private", "bucket_url": "#/obs/bucket-19nd0481/list", "bucket_name": "bucket-19nd0481", "region": "cn-north-7" }, { "storage_type": "STANDARD", "endpoint": "obs.cn-north-7.ulanqab.huawei.com", "create_time": "2019-12-20 16:11:01", "bucket_type": "private", "bucket_url": "#/obs/bucket-px4ghgss/list", "bucket_name": "bucket-px4ghgss", "region": "cn-north-7" }, { "storage_type": "STANDARD", "endpoint": "obs.cn-north-7.ulanqab.huawei.com", "create_time": "2019-12-20 16:05:57", "bucket_type": "private", "bucket_url": "#/obs/bucket-fvoeat6z/list", "bucket_name": "bucket-fvoeat6z", "region": "cn-north-7" }, { "storage_type": "STANDARD", "endpoint": "obs.cn-north-7.ulanqab.huawei.com", "create_time": "2019-08-13 09:45:13", "bucket_type": "public", "bucket_url": "#/obs/bucket-hvnngyjf/list", "bucket_name": "bucket-hvnngyjf", "region": "cn-north-7" } ]} 要素说明 参数名 参数类型 备注 success String 请求是否成功，取值包括true和false。 returnData Json 返回对象。 bucket_name String 桶名称。 bucket_type String 桶类型。

响应 响应样例 { "success": true, "errorMsg": null, "errorCode": null, "returnData": { "dataList": [], "page": { "recordCount": 0, "start": "0" } }} 要素说明 参数名 参数类型 备注 success String 请求是否成功，取值包括true和false。 returnData JSON 返回值。 dataList JSON 历史记录列表。 page JSON 分页信息。 recordCount String 历史记录总数量。 start String 初始值。

URI URI格式 GET /softcomai/datalake/dataplan/v1.0/north/collect/history?tag={tag}&pageSize={pageSize}&pageNum={pageNum} 参数说明 参数名 是否必选 参数类型 备注 tag 否 String 标签。 pageSize 否 int 每页数据条数。 pageNum 否 int 分页用到的起始页。

响应 响应样例 { "success": true, "errorMsg": null, "errorCode": null, "returnData": { "progressId": "P_20200603165940_301474888", "taskId": null, "status": "paused", "tasks": [ { "taskId": "436270250810240449", "progressId": null, "taskType": null, "status": "datamodeling", "costTime": null }, { "taskId": "1390001482728680741", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "5747801440579742209", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "6154835133575143660", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "8406842844263828283", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "827104687751094888", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "7826064017599405738", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "7498323115960797049", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "8087882487810397966", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "8689828541593348536", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "124812881638809274", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "444179672959702062", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "6843909926709687981", "progressId": null, "taskType": null, "status": "init", "costTime": null }, { "taskId": "6564816443207784994", "progressId": null, "taskType": "COLLECTION_BUILTIN", "status": "completed", "costTime": null } ] }} 要素说明 参数名 参数类型 备注 success Boolean 请求是否成功，取值包括true和false。 returnData JSON 返回信息。 progressId String 项目ID。 taskId String 任务ID。 status String 项目状态。 tasks JSON LIST 任务集。 taskType String 任务类型。 costTime String 花费时间。

请求 请求样例 POST https://ipaddr:port/softcomai/datalake/dataplan/v1.0/debug/syncTask[ { "progressId":"P_20200430003015_1233851437", "deAnalysisType":"DATA_STATIS TICS ", "deTaskRequest":{ "files":[ ], "whereConditions":[ ], "displayRows":1000, "limit":"", "functionInstances":[ ], "groupByFields":[ ], "fieldKpiInstances":[ ], "distinct":false, "logicalDataSourceEntitys":[ { "dsType":"OTHER", "name":"dataplan_modelA", "alias":"a1", "fields":[ { "name":"start_time", "dataType":"String", "index":0, "length":20 }, { "name":"value", "dataType":"Number", "index":1, "length":10 } ], "entityId":"dr-ecbb6f141ac9434186c4fef820bfe1e1", "allFieldsChecked":true, "referencedFields":[ { "name":"start_time", "dataType":"String", "index":0, "length":20 }, { "name":"value", "dataType":"Number", "index":1, "length":10 } ], "path":"dr-761deda7c97b4595af680b802c1cca5c" } ], "taskResultPath":"" } }] 参数说明 参数名 是否必选 参数类型 备注 progressId 是 String 项目ID。 deAnalysisType 是 String 当前只支持DATA_STATISTICS。 deTaskRequest 是 JSON DE探索请求。

请求 请求样例 GET https://ipaddr:port/softcomai/datalake/dataplan/v1.0/debug/syncTask/status/P_20200430003015_1233851437?pageNum=1&pageSize=5 参数说明 参数名 是否必选 参数类型 备注 pageNum 是 int 分页用到的起始页。 pageSize 是 int 每页数据条数。

响应 成功响应样例 { "success": true, "returnData": { "page": { "currentPageNum": 1, "lastPageNum": 1, "totalPageNum": 1, "startRowIndex": 0, "gotoPageNum": 0, "pageSize": 5, "recordCount": 4 }, "dataList": [ { "id": "7252886378968147877", "progressId": "P_20200430003015_1233851437", "deTaskId": "1589161734307_0096", "deTaskName": "DataPlan_20200511160101_1307221140", "createTime": "2020-05-11 16:01:17", "status": "SUCCESS", "tenantId": "051fb6cf4c00d33d0f85c003b99352a0", "userId": "06179cf4c080d5bb1faac0035a6a3650", "analysisType": "DATA_STATISTICS" } ] }} 要素说明 参数名 参数类型 备注 success String 请求是否成功。 returnData JSON 返回体。 page JSON 分页信息。 dataList JSON 任务状态列表。 id String 任务ID。 progressId String 项目ID。 deTaskId String DE任务ID。 deTaskName String DE任务名称。 createTime String 创建时间。 status String 任务状态。 userId String 用户信息。 tenantId String 租户信息。 analysisType String 分析任务类型。

请求 请求样例 https://ip:port/softcomai/datalake/collection/v1.0/netmap/task{"dataType": "performance","collectorId": "Collector-82b0ce3d","status": "save","collectionMode": "AGENT","protocolType": "sftp","protocolCategory": "","strategy": "interval","interval": {"acquisitionUnit": "min","acquisitionCycle": "30"},"protocolList": [{"host": "xx.xx.xx.xx","port": "22","userName": "root","password": "Abc@123","path": "/yy"}]} 参数说明 参数名 是否必选 参数类型 备注 dataType 是 String 数据类型。 dataType 是 String 数据类型。 collectorId 否（连接方式是AGENT时，必选） String 采集机ID。 status 是 String 操作状态。 save：保存任务。 start：开始采集。 stop：停止采集。 collectionMode 否 String 连接方式，EIP AGENT VPN。 protocolType 否 String 协议类型。 protocolCategory 否 String 协议类别。 strategy 否 String 采集策略。 once：一次性采集。 period：周期性采集。 interval：间隔性采集。 interval.acquisitionUnit 否（策略为间隔性必选） String 间隔单位。 min：分钟。 hour：小时。 interval.acquisitionCycle 否（策略为间隔性必选） String 间隔时长，取值范围为：1~10000。 cron.jobType 否（策略为周期性必选） Int cron作业类型，取值范围为：0~6。 cron.second 否（策略为周期性必选） Int 秒，取值范围为：0~59。 cron.minute 否（策略为周期性必选） Int 分钟，取值范围为：0~59。 cron.hour 否（策略为周期性必选） Int 小时，取值范围为：0~23。 protocolList.host 否 String 数据源IP。 protocolList.port 否 String 数据源端口，取值范围为：1~65535。 protocolList.userName 否 String 数据源名称。 protocolList.password 否 String 数据源密码。 protocolList.path 否 String 数据源路径。

响应 响应样例 {"success": true,"returnData": {"tenantNumOfTemplate": 1,"tenantNumOfLdm": 1,"tenantNumOfData": 1,"totalData": 3.63806159E8,"totalEntityNum": 1964,"totalTemplateNum": 0,"templateReturnModels": [{"tenantId": "06199423d580d2e02f70c00d9c615d38","totalTemplateNum": 0,"tenantName": "ai_train_test01_03"} }, "ledgerLdmModels": [{"ledgerTime": "Jan 8, 2021 8:51:50 AM","tenantId": "051fb6d19780d5312f41c003c7e7258d","totalEntityNum": 1964,"tenantName": "softcomai_test01_03"} ], "dataByTenantModel": [{"tenantId": "06463b144f80d2df2fb2c01ccc1e0c94","totalData": 3.63806159E8} ]}

响应 成功响应样例 {"success" : true,"returnData" : [{"id" : "dr-a2aa098f20264f24bbb413b68fd9847e","pId" : "dr-4319a8ff97f245479f8be8e5be1b8be0","label" : "测量对象","disabled" : false,"isMetaDataInfo" : true,"secretLevel" : "2","isAllPublish" : false,"dataFrom" : "DR","autoPublish" : false,"timeLimitAuto" : false,"children" : []}]} 失败响应样例 {"success": false,"errorMsg": "","errorCode": "23469349.30000.01036"}

请求 请求样例 POST /softcomai/datalake/v1.0/originDataModels/entitys[{"id" : "0","pId" : "","label" : "DG","desc" : {},"disabled" : false,"isMetaDataInfo" : false,"isAllPublish" : false,"autoPublish" : false,"timeLimitAuto" : false,"children" : [{"id" : "402880c96d70ac63016f1be7cbf22148","pId" : "0","label" : "核心网通道","desc" : {},"disabled" : false,"isMetaDataInfo" : false,"isAllPublish" : false,"autoPublish" : false,"timeLimitAuto" : false,"children" : [{"id" : "402880c96d70ac63016f1be84b2d2149","pId" : "402880c96d70ac63016f1be7cbf22148","label" : "","desc" : {},"disabled" : false,"isMetaDataInfo" : false,"isAllPublish" : false,"autoPublish" : false,"timeLimitAuto" : false,"children" : [],"iconClass" : "ti-icon ti-icon-file","isExpanded" : false}],"iconClass" : "ti-icon ti-icon-file","isExpanded" : false}],"iconClass" : "ti-icon ti-icon-file","isExpanded" : false}] 参数说明 表1 Body参数说明 参数名 是否必选 参数类型 备注 id 否 String 当前节点的ID，该节点的ID在后台不生效。 pId 否 String 当前节点的父节点的ID。 label 否 String 标签信息。 desc 是 String 描述信息。 isMetaDataInfo 否 boolean 是否是数据集。 isAllPublish 是 boolean 是否全部为内部可见。 autoPublish 是 boolean 是否是自动化接口发布的数据集。 timeLimitAuto 是 boolean 时域是否自动生成。 children 是 Object 该节点下面的字节点的信息。

配置查询条件 选择模式。 配置模式：执行2~3。 手写模式：执行步骤4。 在“配置”区域的“基本设置”和“函数”两个页签中配置结果字段、结果显示行数、结果行数、是否去重、条件过滤、函数和数据分析等信息。 在右侧点击“查看代码”页签查看配置后生成的SQL。 数据分析的相关配置不展示在SQL中。 在“代码块”区域自定义SQL语句。 对于熟悉SQL的用户，支持手写。手写过程中，提供关键字、函数、字段名提示与自动补齐等功能。另外还提供了自定义语法。 单击“执行”，校验通过后，新创建的查询任务显示在任务管理列表中。 保存模板：可以将配置保存为模板，用户其他查询任务。 重置：重新配置参数。 父主题： 数据探索

响应 响应样例 { "success": true, "returnData": { "totalCount": 9, "successCount": 8, "runningCount": 0, "failCount": 1, "serviceDetail": [ { "service": "datacatalogexternaladmin", "serviceStatus": "success", "backupId": "20201230190000004" }, { "service": "OBS", "serviceStatus": "success", "backupId": "20201230190000004" }, { "service": "cloudcollection", "serviceStatus": "success", "backupId": "20201230190000004" }, { "service": "dataplanexternal", "serviceStatus": "success", "backupId": "20201230190000004" }, { "service": "dlunion", "serviceStatus": "success", "backupId": "20201230190000004" }, { "service": "dataplan", "serviceStatus": "success", "backupId": "20201230190000004" }, { "service": "datapermission", "serviceStatus": "success", "backupId": "20201230190000004" }, { "service": "localdatatransfer", "serviceStatus": "success", "backupId": "20201230190000004" }, { "service": "datacatalogadmin", "serviceStatus": "failed", "description": "{\"aidomainalpha_wulan3_TrafficPredictdev\":\"not finish until check!\",\"Telcloud-test\":\"not finish until check!\",\"dlunion.universe.wulan3_2\":\"not finish until check!\",\"beta_testDuoTe\":\"not finish until check!\",\"aitrainalpha_wulan3_test\":\"not finish until check!\",\"aitrainalpha_wulan3_test1\":\"not finish until check!\",\"aitrainalpha_wulan3_test4\":\"not finish until check!\",\"Data.Lake.Experience_Center2\":\"not finish until check!\"}", "backupId": "20201230190000004" } ] }} 要素说明 参数名 参数类型 备注 success String 请求是否成功，取值包括true和false。 returnData JSON LIST 返回值。 totalCount int 备份服务总个数。 successCount int 备份成功的服务个数。 runningCount int 备份失败的服务个数。 failCount int 运行中的服务个数。 serviceDetail List 返回数据列表。 backupId String 备份ID。 serviceStatus String 任务运行状态。 service String 执行备份任务的服务。 description String 服务备份失败时的描述信息。

请求 请求样例 POST https://ipaddr:port/softcomai/datalake/dataplan/v1.0/data/process/job/ebbe83fae4364c41a74cc91e32bd99e4/config{"parameter":[{"label":"input_path","value":"s3://bucket-hvnngyjf/1809e47a-519f-4477-1f55-ee34f13368f2","required":false,"paramDesc":"新的参数"},{"label":"output_path","value":"s3://bucket-hvnngyjf/output/1590068447837/","required":false,"paramDesc":"新的参数"},{"label":"new_Param","value":"test1000","required":false,"paramDesc":"新的参数"}]} 参数说明 参数名 是否必选 参数类型 备注 parameter 是 JSON 参数内容。 label 是 String 参数键值。 paramDesc 是 String 参数别名。 value 是 String 变量值。

响应 响应样例 { "success": true, "returnData": { "isBuyDCService": true, "buyStatus": "SUCCESS", "dlInfo": [ { "orderId": "orderId-hvnngyjf", "requestId": "req-lqwutcqu", "projectId": "051fd6a2fd00d4f62f18c0062001f1e5", "status": "FAILED", "userName": "softcomai_xxxxxxx", "endUserProjectId": "051fb6d19780d5312f41c003c7e7258d", "resourceUserName": "resUser_xxxxxx", "createTime": "2019-08-28T09:16:24Z", "region": "cn-north-7", "serviceType": "AnomalyDetect", "serviceUrl": "https://console.ulanqab.huawei.com/domainconsole/?region=cn-north-7#/anomaly/control-panel", "user": { "id": "051fb6d0a500d3451fc8c0030793f460", "type": "hec" } } ] }} 要素说明 参数名 参数类型 备注 success String 请求是否成功，取值包括true和false。 returnData JSON LIST 返回值。 type String 资源类型。 isBuyDCService bool 是否已订购数据服务。 buyStatus String 订购状态。 serviceUrl String 订购服务的url。

响应 响应样例 {"success" : true,"returnData" : {"page" : {"currentPageNum" : 1,"lastPageNum" : 1,"totalPageNum" : 1,"startRowIndex" : 0,"gotoPageNum" : 0,"pageSize" : 10,"recordCount" : 3},"dataList" : [{"datasetId" : "1658940099067789417","sourceId" : "402898ac6782434a01678323968b007e","attrId" : "402898ac6782434a0167832396920080","attrName" : "ReportID","attrDesc" : "测量报告标识","attrType" : "STRING","dataLen" : 50,"sn" : "0.0","entityId" : "402898ac6782434a01678323968b007e","createOper" : "sysadmin","createTime" : "2018-12-20T08:26:23.764+0000","modifyOper" : "xxxxxxx","modifyTime" : "2018-12-20T08:26:23.764+0000","status" : "1"}, {"datasetId" : "1658940099067789417","sourceId" : "402898ac6782434a01678323968b007e","attrId" : "402898ac6782434a0167832396920081","attrName" : "DescriptionID","attrDesc" : "描述标识","attrType" : "STRING","dataLen" : 50,"sn" : "1.0","entityId" : "402898ac6782434a01678323968b007e","createOper" : "sysadmin","createTime" : "2018-12-20T08:26:23.765+0000","modifyOper" : "xxxxxxxx","modifyTime" : "2018-12-20T08:26:23.765+0000","status" : "1"}, {"datasetId" : "1658940099067789417","sourceId" : "402898ac6782434a01678323968b007e","attrId" : "402898ac6782434a0167832396930082","attrName" : "Description","attrDesc" : "描述内容","attrType" : "STRING","dataLen" : 1000,"sn" : "2.0","entityId" : "402898ac6782434a01678323968b007e","createOper" : "sysadmin","createTime" : "2018-12-20T08:26:23.767+0000","modifyOper" : "xxxxxxx","modifyTime" : "2018-12-20T08:26:23.767+0000","status" : "1"}]}} 要素说明 参数名 参数类型 备注 success string 请求是否成功。 returnData JSON 返回体。 page JSON 分页信息。 dataList JSON 样例数据列表。 datasetId String 所属数据集ID。 content String 数据或者表结构信息。 isHeader String 判断是数据还是表结构信息（true：表结构）。 sourceId String 数据来源表的ID。

响应 响应样例 {"success": true,"returnData": [{"id": "4832665986944823199","pId": "0","label": "iMaster NAIE数据集","secretLevel": "3","secretLevelShow": "秘密","children": [{"id": "3343759697104414348","pId": "4832665986944823199","label": "AI应用数据集","secretLevel": "3","secretLevelShow": "秘密","children": [{"id": "9066151065890594972","pId": "3343759697104414348","label": "云核心网","secretLevel": "3","secretLevelShow": "秘密","children": []},{"id": "233354352536725172","pId": "3343759697104414348","label": "园区网络","secretLevel": "3","secretLevelShow": "秘密","children": []},{"id": "5960466819173103601","pId": "3343759697104414348","label": "固定接入","secretLevel": "3","secretLevelShow": "秘密","children": []},{"id": "1930965109629857097","pId": "3343759697104414348","label": "承载网络","secretLevel": "3","secretLevelShow": "秘密","children": []},{"id": "375252172027615631","pId": "3343759697104414348","label": "无线接入","secretLevel": "3","secretLevelShow": "秘密","children": []},{"id": "105492919821655068","pId": "3343759697104414348","label": "流程IT","secretLevel": "3","secretLevelShow": "秘密","children": []},{"id": "6787554429672580131","pId": "3343759697104414348","label": "能源和IT","secretLevel": "3","secretLevelShow": "秘密","children": []},{"id": "6113299040457399155","pId": "3343759697104414348","label": "跨域网络","secretLevel": "3","secretLevelShow": "秘密","children": []},{"id": "5519414930355963485","pId": "3343759697104414348","label": "运营商BG","secretLevel": "3","secretLevelShow": "秘密","children": []}]},{"id": "4558837511291541433","pId": "4832665986944823199","label": "主题数据集","secretLevel": "3","secretLevelShow": "秘密","children": [{"id": "7039271394963952752","pId": "4558837511291541433","label": "云核心网","secretLevel": "3","secretLevelShow": "秘密","children": []},{"id": "4126756165299645493","pId": "4558837511291541433","label": "接入网","secretLevel": "3","secretLevelShow": "秘密","children": []},{"id": "3749271058946006501","pId": "4558837511291541433","label": "无线接入网01","secretLevel": "3","secretLevelShow": "秘密","comment": "描述信息","children": []}]}]}]} 要素说明 参数名 参数类型 备注 success String 请求是否成功。 returnData JSON 返回体。 id String 目录ID。 pId String 父ID。 label String 目录名称。 secretLevel String 密级。 secretLevelShow String 业务名称。 comment String 描述信息。 children JSON 子节点。

请求 请求样例 POST https://IP:PORT/softcomai/datalake/v1.0/catalogs/autoMgr/create{"userId": "xxxx","userName": "xxxx","tenantName": "xxxx","tenantId": "xxxx","projectId": "xxxx"} 参数说明 参数名 是否必选 参数类型 备注 userId 是 String 用户ID。 userName 是 String 用户名称。 tenantId 是 String 租户ID。 tenantName 是 String 租户名称。 projectId 是 String 项目ID。