检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
来源模型:本示例选择“sdi”。 源表:本示例选择原始数据表“sdi_taxi_trip_data”,标准出行数据表的数据均来源于该原始数据表。 图30 新建映射 字段映射: 在“字段映射”区域,依次为表中的字段设置源字段,所选择的源字段应与表中的字段代表相同含义,一一对应。如图31所示,在字段映射的底部,会显示生成的SQL语句,可供参考。
配置源端参数。 各同步场景下选择需要同步库表的方式请参考下表。 表5 选择需要同步的库表 同步场景 配置方式 整库 选择需要迁移的MySQL库表。 图4 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。 分库分表 添加逻辑表。 逻辑表名:即最终写入到DMS Kafka的Topic名。
如何使用表达式方式获取当前时间? 问题描述 如何使用表达式方式获取当前时间? 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题:
中转VPC的子网(例如10.186.0.0/24)。 路由表 子网实际关联的路由表,绑定资源组时会在此路由表中添加资源组的路由信息。本参数无需配置。 为网络连接绑定资源组,实际上是通过资源组网段与中转VPC之间的对等连接连通网络,因此绑定资源组时会在此路由表中添加一条指向资源组VPC网段的路由。
作业中源连接为Hive连接时,源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参
生表的主键。则父表应为“学生表”,对应子表应为“成绩表”。 父表字段PK 选择父表的字段,PK表示主键Primary Key。该父表的字段应为父表的主键。 例如,对于根据3NF范式设计的“成绩表”和“学生表”,成绩表中的“学号”属性为学生表的主键。则此父表字段PK应为“学生表”的“学号”。
IDC自建数据库。 入方向放行:放通弹性公网IP到数据库监听端口的访问。 出方向放行:放通数据库监听端口到弹性公网IP的数据传输。 本地IDC自建数据库添加白名单。 本地IDC自建数据库需要添加弹性公网IP(例如100.x.x.x/32)访问数据库的权限。各类型数据库添加白名单的
子网”,找到数据源所在的子网并单击对应路由表名称进入配置界面。 图5 查找数据源路由表 在路由表界面中选择“基本信息”页签,单击“添加路由”,目的地址指向Migration资源组VPC网段(例如172.16.0.0/19),下一跳跳至此前已配置好的企业路由器。 图6 数据源路由表添加路由 企业路由器中添加路由。
在数据资产搜索结果中,图标为表格的数据资产为表,单击某一表名称,可以查看表的详情。在详情页面,可以查看表的血缘信息。 单击血缘图中表左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个表,可以查看该表的详情。 图5 查看表血缘 父主题: 节点数据血缘
作业中目的连接为DDS连接时,即导入数据到文档数据库服务(DDS)时,目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。
如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。 表1 获取驱动 关系数据库类型 驱动名称 获取地址 建议版本 云数据库 MySQL MySQL MYSQL
模式或表空间:选择从本地MySQL的哪个数据库导出数据。 目的端作业配置 目的连接名称:选择创建RDS连接中的“rds_link”。 模式或表空间:选择将数据导入到RDS的哪个数据库。 自动创表:选择“不存在时创建”,当RDS数据库中没有本地MySQL数据库里的表时,CDM会自动在RDS数据库中创建那些表。
选择的数据库进行修改。 *数据表 对于DLI和DWS类型的敏感数据发现任务,您需要设置选择表的方式,当前支持手动筛选、通配符匹配和全部三种方式。 手动筛选:即手动在数据表列表中选择需要进行敏感发现任务的表。手动筛选时,在表筛选窗口的搜索框中可以进行模糊匹配,如果需要全选表时仅支持分页全选。
多维模型是由数字型度量值组成的一张事实表连接到一组包含描述属性的多张维度表,事实表与维度表通过主/外键实现关联。 在DataArts Studio数据架构中,维度建模是以维度建模理论为基础,构建总线矩阵、抽象出事实和维度,构建维度模型和事实模型,同时对报表需求进行抽象整理出相关指标体系,构建出汇总模型。
400 必须指定Redis主键字段列表。 Redis主键字段列表未指定。 请指定Redis主键字段列表后再重试。 Cdm.1211 400 Redis主键字段列表必须在字段列表中存在。 Redis主键字段列表不在字段列表中。 请指定Redis主键字段列表后再重试。 Cdm.1213
移任务的创建,轻松应对复杂迁移场景。数据集成支持的功能主要有: 表/文件/整库迁移 支持批量迁移表或者文件,还支持同构/异构数据库之间整库迁移,一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase增量迁移,以及使用Where条件配合时间变量函数实现增量数据迁移。
启用细粒度认证后,在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办? 可能原因 数据开发用户不具备DWS Database Access权限。 解决方案 为数据开发用户添加DWS Database Access权限后,再次尝试选择数据库。 父主题: 数据安全
单击“汇总表”页签,进入汇总表页面。 在汇总表列表中,单击需要关联质量规则的汇总表名称。 在汇总表的详情页的表字段列表中,单击,配置单个表字段关联质量规则。 图9 汇总表单个字段关联质量规则 配置完成后,单击“确定”,完成汇总表字段关联质量规则。 更新已有规则:若勾选此项,新添加的规则会覆盖旧规则。
单击页面上方“规则分组”页签,进入分组列表页面。 图1 新建数据识别规则组 单击“新建”,输入新建分组名称和描述,参数设置参考表1,并勾选左侧列表中的识别规则。配置完成后单击“确定”即可。 图2 新建分组参数配置 您所勾选的规则将显示在右侧列表中,右侧已选列表中,已选规则可以通过单击操作来取消勾选。 表1 参数配置表
的数仓支持的更新表的能力不同,在数据架构中所做的表更新操作,如果数仓不支持,则无法确保数据库中的表和数据架构中的表是一致的。例如,DLI类型的表更新操作不支持删除表字段,如果在数据架构的表中删除了表字段,则无法在数据库中相应的删除表字段。 如果线下数据库支持更新表结构语法,可以在DDL模板配置对应语法