检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据连接 功能介绍 创建数据连接。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/data-connections 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
根据guid获取资产详情 功能介绍 根据表guid可以获取表的详情信息,表的详情信息包含column的信息,也可以根据column的guid直接获取column的信息。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/asset/entities/{guid}
创建血缘信息 功能介绍 创建血缘信息 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/lineage/lineage-info 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
新建汇总表 功能介绍 根据入参,手动创建汇总表。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/aggregation-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
添加完字段后,请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。
添加完字段后,请确保自定义入库时间字段与目的端表字段类型相匹配。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。
查询敏感数据发现概览结果(以分类和密级为单位) 功能介绍 查询敏感数据发现概览结果(以分类和密级为单位)。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/sensitive-data/result/overview 表1 路径参数
分配队列资源给指定空间 功能介绍 分配队列资源给指定空间。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission/queue/assigned-source 表1 路径参数 参数 是否必选 参数类型 描述 project_id
监控采集任务 参数名 说明 任务名称 采集任务的名称。 实例状态 实例(即采集任务)的状态。 成功 部分成功 执行中 失败 运行异常 暂停:因管理面升级,监控任务暂停,升级完成后监控继续执行。 调度方式 展示采集任务的调度状态,分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。
查看事实表详情 功能介绍 通过ID查看事实表的详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/fact-logic-tables/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 在“数据连接”页面,单击“创建数据连接”按钮。 图2 数据连接 在弹出窗口中,配置数据连接参数
产品功能 数据集成:多种方式异构数据源高效接入 数据集成提供30+同构/异构数据源之间数据集成的功能,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成基于分布式计算框架,利用并行化处理技术,支持用户稳定
文件可用于导入。导出主题设计信息的操作,请参见导出主题设计信息。 建立好主题设计信息后,可以对主题信息进行查找、编辑或删除操作。详情请参见管理主题设计。 主题设计概述 默认情况下,系统预设了“L1-主题域分组”、“L2-主题域”和“L3-业务对象”三层主题层级。 主题域分组:主题域分组是基于业务场景对主题域进行分组。
量,则系统会将承诺时间-预警余量作为触发报警的预警时间,判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间内的最晚完成时间,将基线承诺时间设置在基线上任务最晚完成时间之
获取对账作业详情 功能介绍 获取对账作业详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/quality/consistency-tasks/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
新建DataArts Studio与DWS数据湖的连接 本章节以新建DWS连接为例,介绍如何建立DataArts Studio与数据仓库底座之间的数据连接。 前提条件 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。
您可以对实时作业中某个节点配置“禁用”后恢复运行,恢复运行时可以重新选择运行位置。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度
s Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。 在左侧导航栏中进入API管理,找到待调用的A
Kafka主要是查询Topic未消费的消息数。 参数 用户可参考表1和表2配置MRS Kafka的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafka中已创建的Topic,使用SDK或者命令行创建。具体操作请参见从零开始使用Kafka。
该配置会占用总体资源,影响新增其他作业,非必要不配置。 taskmanager.memory.managed.fraction int 0.2 taskmanager管理内存占比。 taskmanager.memory.network.max int 128MB 默认不需要配置,分库分表场景下如果实例数和表数过多,建议根据实际情况增加网络内存。