检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个节点,可以查看该节点的详情。 进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。 图4 查看节点血缘
节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个节点,可以查看该节点的详情。 进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。 图4 查看节点血缘
查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图9 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。 父主题: 使用教程
看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图10 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。 父主题: 使用教程
看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图13 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。 父主题: 使用教程
元数据管理模块是数据湖治理的基石,支持创建自定义策略的采集任务,可采集数据源中的技术元数据。支持自定义业务元模型,批量导入业务元数据,关联业务和技术元数据、全链路的血缘管理和应用。 图5 全链路数据血缘 数据地图 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者,提供方便快
看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图14 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。 父主题: 使用教程
看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图13 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。 父主题: 使用教程
ShowTableModelByIdRequest request = new ShowTableModelByIdRequest(); request.withId("{id}"); try { ShowTableModelByIdResponse
看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图17 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。 父主题: 使用教程
或大数据服务中,适用于数据库离线同步场景,不适用于在线实时同步。 支持整库同步的数据源(已支持的数据源即可作为源端,又可作为目的端组成不同链路)如下所示: 读取能力:DWS、RDS(MySQL)、RDS(PostgreSQL) 写入能力:DWS、DLI 父主题: 数据集成(离线作业)
看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图12 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。 父主题: 使用教程
看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图14 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。 父主题: 使用教程
看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图15 前往监控 性能调优 若链路同步速度过慢,可参考参见任务性能调优章节章节中对应链路文档进行排查及处理。 父主题: 使用教程
以由DRS来完成数据迁移。即主流数据库到数据库(含第三方数据库)的场景,使用DRS进行迁移。更多详情请参见数据复制服务。 目前支持的数据库链路有: 自建/他云MySQL->RDS for MySQL 自建/他云PostgreSQL->RDS for PostgreSQL 自建/他云MongoDB->DDS
withName("tag1") ); WorkspaceVO modelbody = new WorkspaceVO(); modelbody.withId("1208730797675311104") .withName("xingneng2")
资源迁移 数据架构 DataArts Studio数据架构践行数据治理方法论,将数据治理行为可视化,打通数据基础层到汇总层、集市层的数据处理链路,落地数据标准和数据目录,通过关系建模、维度建模实现数据标准化,通过统一指标平台建设,实现规范化指标体系,消除歧义、统一口径、统一计算逻辑,对外提供主题式数据查询与挖掘服务。
描述 direction 否 String 查询方向,取值范围:BOTH、IN、OUT。默认BOTH。 depth 否 Integer 血缘链路长度,默认值5。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户T
(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列,以及SFTP/FTP迁移数据到DLI的链路场景),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。
如果value值为空或者null时,则返回字符串“aaa”,否则返回value。 表达式:StringUtils.defaultIfEmpty(value,"aaa") 特殊链路说明 当源端为DLI,目的端为DWS时,DLI的tinyint类型字段映射为DWS的smallint类型字段。 当源端为Hudi,目的端为