检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将O
所示信息。 表1 应用信息 信息项 描述 应用名称 应用名称。 应用类型 选择APP应用类型，APP认证方式的API只能授权给APP类型的应用。 IAM：IAM类型应用为IAM认证方式的API进行授权。IAM类型应用为实例级别配置，应用名称固定为华为账号，每个DataArts S
集群配置管理支持新建、编辑或删除Hadoop集群配置。 Hadoop集群配置主要用于新建Hadoop类型连接时，能够简化复杂的连接参数配置，如图1所示。 图1 使用集群配置前后对比 CDM支持的Hadoop类型连接主要包括以下几类： MRS集群：MRS HDFS，MRS HBase，MRS Hive。
ClickHouse连接时，目的端作业参数如表1所示。 当作业源端为MRS ClickHouse、DWS及Hive时： 若int及float类型字段为null时，创建MRS ClickHouse表格时字段类型需设置为nullable()，否则写入到MRS ClickHouse的值会为0。 请确认目的端表引擎是否为
数据开发中的事件驱动是否支持线下kafka？ 问题描述 用户在配置事件驱动调度时，事件触发类型选择kafka时，不能选到线下kafka。 解决方案 数据开发中的事件驱动不支持线下kafka，仅支持MRS kafka。 父主题： 数据开发
参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。 选择数据连接类型：源端选MongoDB，目的端选DWS。 图1 选择数据连接类型 选择集成作业类型：同步类型默认为实时，同步场景包含整库和分库分表场景。 图2 选择集成作业类型 同步场景相关介绍请参见同步场景。 配置网络资源：选择已创
的数据处理和数据迁移类型节点后自动产生的，无需进行手动配置。支持自动血缘解析的节点类型和场景请参见自动血缘解析。 手动配置血缘，是在数据开发作业节点中，自定义血缘关系的输入表和输出表。注意手动配置血缘时，此节点的自动血缘解析将不生效。支持手动配置血缘的节点类型请参见手动配置血缘。
误。 5C91687BA886EDCD12ACBC3FF19A3C3F HDFS文件编码只能为“UTF-8”，故HDFS不支持设置文件编码类型。 父主题： 配置CDM作业目的端参数
M集群后的“作业管理 > 连接管理 > 新建连接”。选择连接器类型，如图2所示。 这里的连接器类型，是根据待连接的数据源类型分类的，包含了CDM目前支持导入/导出的所有数据源类型。 图2 选择连接器类型 选择数据源类型后，单击“下一步”配置连接参数，这里以创建MySQL连接为例。
源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${}”来完成时间类型的宏定义，当前支持两种类型：dateformat和timestamp。
仅支持英文字母的数据库名、表名与列名，不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符（除SHORTTEXT） 类型的数据类型，不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库：数据湖探索（DLI） Hadoop：MRS HBase，MRS Hive
仅支持英文字母的数据库名、表名与列名，不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符（除SHORTTEXT） 类型的数据类型，不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库：数据湖探索（DLI） Hadoop：MRS HBase，MRS Hive
源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${}”来完成时间类型的宏定义，当前支持两种类型：dateformat和timestamp。
超过64个字符。 *接口类型 包含加密和消息通知接口两种类型，请根据业务场景选择所需类型。 加密类型：主要用于在数据开发导入数据文件时，根据数据入湖检测规则实时发现敏感数据后，调用外部接口所对接的的第三方平台加密算法对文件数据进行加密处理。 消息通知类型：主要用于配置权限到期提醒
仅支持英文字母的数据库名、表名与列名，不支持存在空格、符号等特殊字符。 仅支持日期、数字、布尔、字符（除SHORTTEXT） 类型的数据类型，不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 FusionInsight HDFS 数据仓库：数据仓库服务（DWS），数据湖探索（DLI）
码表和数据标准有什么关系？ 问题描述 码表和数据标准的关系是什么。 解决方案 码表由多条表字段的名称+编码+数据类型组成，码表的表字段可以关联到数据标准上，数据标准会应用到某张模型表的字段上。 父主题： 数据架构
s 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号，获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。
枚举 选择过滤器类型： WILDCARD：输入通配符作为过滤文件，满足过滤条件的路径或文件会被传输。 TIME：时间过滤器，当文件的修改时间晚于输入的时间时，该文件才会被传输。 fromJobConfig.pathFilter 否 String 路径过滤器，过滤类型为通配符时配置，
String 字段类型。 domain_type String 字段类型所属域。 枚举值： NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend String 数据类型扩展字段。
parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET, CARBON类型。 如果原始数据表存储格式不满足要求，您可以通过CDM将原
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
