检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可靠性:通过异常恢复,重试等机制确保数据的一致性和准确性。 多样性: 数据源多样性:源端和目的端可供选择多种数据源,为用户提供了多种选择。 链路多样性:部分链路支持全量和增量同步,部分链路支持分库分表。 可维护性:支持作业监控和日志查看,方便运维人员进一步定位。 易用性:长界面更易操作,用户只需配置必要信息,学习成本减低。
YARN计算队列和数据湖探索计算队列。 全链路数据安全:DataArts Studio数据治理全链路包含数据集成、数据管理(架构设计、指标设计、数据质量管理)、数据开发、数据资产管理和数据服务等不同阶段。在数据动态流动场景下,可通过数据访问控制、数据脱敏等安全防护措施保障数据全链路、全生命周期安全能力
性按默认值设置,不跟随源端。 不自动创建 Row key拼接分隔符 可选参数,用于多列合并作为rowkey,默认为空格。 , Rowkey冗余 可选参数,是否将选做Rowkey的数据同时写入HBase的列,默认值“否”。 否 压缩算法 可选参数,创建新HBase表时采用的压缩算法,默认为值“NONE”。
基线监控的链路上,首个没有在预警时间(任务节点粒度)完成的任务节点。 基线破线 基线破线报警需满足以下两个条件: 任务节点的上游(包含直接和间接上游)没有出现过破线 该任务没有在承诺时间节点完成 破线加剧 执行变慢导致破线加剧报警触发需满足以下两个条件: 任务所在链路已发送首次“基线破线”报警
表/文件同步支持的数据源类型 表/文件同步可以实现表或文件级别的数据同步。 支持单表同步的数据源(已支持的数据源即可作为源端,又可作为目的端组成不同链路)如下所示: 数据仓库:DWS、DLI Hadoop:MRS Hive、Apache Hive、MRS HBase、MRS Hudi、OpenSource
节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个节点,可以查看该节点的详情。 进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。 图4 查看节点血缘
节点(需是支持血缘的节点类型)详情页面,可以查看节点的血缘信息。 单击血缘图中节点左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个节点,可以查看该节点的详情。 进入“作业”页签,单击“编辑”可跳转到数据开发的作业编辑页面。 图4 查看节点血缘
ShowTableModelByIdRequest request = new ShowTableModelByIdRequest(); request.withId("{id}"); try { ShowTableModelByIdResponse
资源迁移 数据架构 DataArts Studio数据架构践行数据治理方法论,将数据治理行为可视化,打通数据基础层到汇总层、集市层的数据处理链路,落地数据标准和数据目录,通过关系建模、维度建模实现数据标准化,通过统一指标平台建设,实现规范化指标体系,消除歧义、统一口径、统一计算逻辑,对外提供主题式数据查询与挖掘服务。
现在通常所说的数据库指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据库,其以行和列的形式存储数据,具有结构化程度高,独立性强,冗余度低等优点。1970年关系型数据库的诞生,真正彻底把软件中的数据和程序分开来,成为主流计算机系统不可或缺的组成部分。关系型数据库已经成为目
换行符结束。 释义: 规范URI,即请求资源路径,是URI的绝对路径部分的URI编码。 格式: 根据RFC 3986标准化URI路径,移除冗余和相对路径部分,路径中每个部分必须为URI编码。如果URI路径不以“/”结尾,则在尾部添加“/”。 举例: 示例中的URI:/app1,此时规范的URI编码为:
以由DRS来完成数据迁移。即主流数据库到数据库(含第三方数据库)的场景,使用DRS进行迁移。更多详情请参见数据复制服务。 目前支持的数据库链路有: 自建/他云MySQL->RDS for MySQL 自建/他云PostgreSQL->RDS for PostgreSQL 自建/他云MongoDB->DDS
withName("tag1") ); WorkspaceVO modelbody = new WorkspaceVO(); modelbody.withId("1208730797675311104") .withName("xingneng2")
点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH:采用这种分布方式,需要为用户表指定一个分布列(distribute
描述 direction 否 String 查询方向,取值范围:BOTH、IN、OUT。默认BOTH。 depth 否 Integer 血缘链路长度,默认值5。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户T
点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH方式:采用这种分布方式,需要为用户表指定一个分布列(distribute
点是每个DN上都有此表的全量数据,在join操作中可以避免数据重分布操作,从而减小网络开销;缺点是每个DN都保留了表的完整数据,造成数据的冗余。一般情况下只有较小的维度表才会定义为Replication表。 HASH:采用这种分布方式,需要为用户表指定一个分布列(distribute
(例如从HBase/CloudTable/MongoDB导出数据时,CDM有较大概率无法获得所有列,以及SFTP/FTP迁移数据到DLI的链路场景),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。
实例执行时间过长时,可能会造成后续多批次作业全部被跳过。当作业实例需要持续执行时,强行跳过可能会造成业务逻辑错误,如当输出为分区表时,跳过冗余作业实例可能会造成“分区空洞”,建议谨慎配置此选项)。 说明: “跳过等待的实例,运行最近的批次”当前只支持分钟或小时调度的作业实例跳过。
如果value值为空或者null时,则返回字符串“aaa”,否则返回value。 表达式:StringUtils.defaultIfEmpty(value,"aaa") 特殊链路说明 当源端为DLI,目的端为DWS时,DLI的tinyint类型字段映射为DWS的smallint类型字段。 当源端为Hudi,目的端为