检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单线程flush的FileGroup的数量 <= 5,推荐值2。 单线程flush的FileGroup的数量 <= 10,推荐值5。 单线程flush的FileGroup的数量 <= 25,推荐值10。 单线程flush的FileGroup的数量 <= 50,推荐值20。 单线程flush的FileGroup的数量
如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户
且该用户拥有DWS数据库的读、写和删除权限。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 已在CDM集群的“作业管理 > 连接管理 > 驱动管理”页面,上传了MySQL数据库驱动。 创建CDM集群并绑定EIP
请求参数 表2 参数说明 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景:作业定义文件在OBS上的路径,作业定义文件的格式参考导出作业的响应消息。例如obs://myBucket/jobs.zip。 params 否 Map<String,String>
不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。 不自动创建 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
曼谷等其他地区和国家提供国际带宽,主要面向非中国大陆地区的用户。如果您或者您的目标用户在中国大陆,使用这些区域会有较长的访问时延,不建议使用。 云服务之间的关系 如果多个云服务一起搭配使用,需要注意不同区域的云服务内网不互通。 例如DataArts Studio(包括管理中心、CDM等组件)需要与MRS
整的SQL语句,定义如何对数据对象进行数据质量监控。 计算引擎 集群名称 选择运行对账作业的引擎。仅数据连接为DLI类型时,此参数有效。 规则模板 模板名称 该参数定义如何对数据对象做数据质量监控。 来源对象的模板名称包含内置的规则模板和用户自定义的规则模板。 目的对象的“模板名称”由来源对象的规则类型自动生成。
数据类型扩展字段。 ref_id String 属性关联对象的id ref_name_ch String 属性关联对象的中文名 ref_name_en String 属性关联对象的英文名 stand_row_id String 关联的数据标准的ID,填写String类型替代Long类型。 stand_row_name
响应Body参数 参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value value object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 main_table
是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。 说明: 如果CDM集群为2.9.0版本及之后版本,且MRS集群为3.1.0及之后版本,则所创建的用户至少
参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述 value FactLogicTableVO object value,统一的返回结果的外层数据结构。 表6 FactLogicTableVO 参数 参数类型
本章节适用于配置实时处理集成作业的Mysql到DWS链路,期望将源端1个或多个Mysql实例的数据实时同步到目的端为DWS数据库的场景。 整库:适用于将1个源端为Mysql实例上的多个数据库表实时同步到1个目标端为DWS实例的多个库表。 分库分表:适用于将多个源端为Mysql实例上的多个分库中的分表实时同步到1个目标端为DWS实例的汇聚表。
数据类型扩展字段。 ref_id String 属性关联对象的id ref_name_ch String 属性关联对象的中文名 ref_name_en String 属性关联对象的英文名 stand_row_id String 关联的数据标准的ID,填写String类型替代Long类型。 stand_row_name
验”或“正则表达式校验忽略Null”时,正则表达式的规则长度最大支持1024个字符。 版本 仅“模板名称”选择为自定义的规则模板时,需要配置该参数。自定义的规则模板发布后,会产生对应的版本号,此处选择所需的版本。 权重 设置规则的权重,支持按照字段级别设置权重。权重范围:【1-9】,整数。默认值为5。
和目的端的以下参数中配置时间宏变量: 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${}”来完成时间类型的宏定义,当前支持
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306
消费组ID:由用户指定,标识当前实时处理集成作业的消费组。 当迁移作业消费DMS Kafka集群某一Topic的消息后,在Kafka集群的“消费组管理”可以看到此处配置的消费组ID、在“消息查询”可以查到消费属性group.id。因为Kafka把消费消息的一方称为消费者(Consumer),
String 批量导出的资源类型:rule-template表示质量规则模板,quality-task表示质量作业,consistency-task表示对账作业,report表示质量报告。 is_select_all 否 Boolean 是否导出当前空间的所有作业,true表示导出所有,false表示否,默认
标端对应类型的字段中。 字段映射配置:选择字段映射关系、设置字段批量映射规则。 字段映射关系 同名映射:对字段名称相同的字段进行映射。使用已有数据进行相同列名的字段自动映射。 同行映射:源表和目标表的字段名称不一致,但字段对应相同行的数据进行映射。查询源端和目的端的字段,再进行相同行的字段自动映射。