检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型,并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。
仅DAYU Administrator、Tenant Administrator或者工作空间管理员支持重置APP类型应用的AppSecret。 APPSecret限制一分钟内重置一次,重置记录可在事件管理内查看。 重置APPSecret会导致已授权的API调用失败,请谨慎操作。
Hadoop集群配置主要用于新建Hadoop类型连接时,能够简化复杂的连接参数配置,如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类: MRS集群:MRS HDFS,MRS HBase,MRS Hive。
当作业源端为MRS ClickHouse、DWS及Hive时: 若int及float类型字段为null时,创建MRS ClickHouse表格时字段类型需设置为nullable(),否则写入到MRS ClickHouse的值会为0。
问题描述 用户在配置事件驱动调度时,事件触发类型选择kafka时,不能选到线下kafka。 解决方案 数据开发中的事件驱动不支持线下kafka,仅支持MRS kafka。 父主题: 数据开发
CUSTOM即自定义类型,在手动配置血缘时,对于不支持的数据源,您可以添加为自定义类型。
图8 添加编码规则 表2 添加编码规则说明 参数名称 说明 类型 选择编码规则的类型,当前支持如下六种: 业务指标,逻辑实体,逻辑属性, 数据标准、码表、业务对象。 生效范围 生效范围默认是全局。可以选择 主题、流程、码表、数据标准下一级路径。 系统规则 是否为系统规则。
5C91687BA886EDCD12ACBC3FF19A3C3F HDFS文件编码只能为“UTF-8”,故HDFS不支持设置文件编码类型。 父主题: 配置CDM作业目的端参数
选择连接器类型,如图2所示。 这里的连接器类型,是根据待连接的数据源类型分类的,包含了CDM目前支持导入/导出的所有数据源类型。 图2 选择连接器类型 选择数据源类型后,单击“下一步”配置连接参数,这里以创建MySQL连接为例。
支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持的同步对象范围不同,详细情况可参考下表。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步的DML:包括INSERT、UPDATE、DELETE。
支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持的同步对象范围不同,详细情况可参考下表。 表3 同步对象范围 类型名称 使用须知 同步对象范围 支持同步的DML:包括INSERT、UPDATE、DELETE。 支持同步的DDL:新增列。
仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。
*接口类型 包含加密和消息通知接口两种类型,请根据业务场景选择所需类型。 加密类型:主要用于在数据开发导入数据文件时,根据数据入湖检测规则实时发现敏感数据后,调用外部接口所对接的的第三方平台加密算法对文件数据进行加密处理。
“${}”来完成时间类型的宏定义,当前支持两种类型:dateformat和timestamp。
仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。
“${}”来完成时间类型的宏定义,当前支持两种类型:dateformat和timestamp。
仅支持日期、数字、布尔、字符(除SHORTTEXT) 类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。
解决方案 码表由多条表字段的名称+编码+数据类型组成,码表的表字段可以关联到数据标准上,数据标准会应用到某张模型表的字段上。 父主题: 数据架构
数据连接类型 如果逆向到逻辑模型,请在下拉列表中选择所需要的连接类型。 如果逆向到物理模型,将显示当前模型的连接类型。 数据连接 选择所需要的数据连接。 如需从其他数据源逆向数据库到关系模型中,需要先在DataArts Studio管理中心创建一个数据连接,以便连接数据源。
表4 审批人属性说明 参数名 是否必选 参数类型 说明 approverName 是 String 审批人名称。 响应参数 无 请求示例 创建一个脚本名称为echoTimeShell的脚本,脚本类型为Shell,脚本内容为echo a,脚本关联的连接名称为con。