检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模式。 说明:STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 linkConfig.accessKey 否 String
)。 支持的监控指标 实时处理集成作业支持的监控指标如表1所示。 表1 实时处理集成作业支持的监控指标 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) 源库WAL抽取时延 该指标用于统计当前从源库抽取WAL的时延 ≥ 0ms 实时处理集成作业 1分钟 作业数据输入速率
starting at 1 but was 0”,即数组下标必须从1开始,a[1]表示数组中的第一个元素。 查看该CDM实时作业:配置源端为Kafka,目的端为DLI字段映射,赋值来源为“源表字段”,赋值框使用kafka消息中的嵌套json数组写入方式为a[0]。由于在字段映射使用源表字段对目标
ATE},在作业参数中会自动增加脚本参数DATE,脚本参数DATE的值支持使用EL表达式。如果是变量时间的话,需要使用DateUtil内嵌对象的表达式,平台会自动转换成历史日期。EL表达式用法可参考EL表达式。 补数据作业除了支持作业参数,脚本参数或者全局环境变量也支持。 约束条件
version_tag String 版本标记,只读。 description String 版本描述。 biz_id String 业务对象ID,ID字符串。 biz_type String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE: 汇总表 ATOMIC_INDEX:
数说明。 ORACLE 请参见ORACLE数据连接参数说明。 DIS 请参见DIS数据连接参数说明。 主机连接 请参见主机连接参数说明。 对象存储服务(OBS) 请参见OBS数据连接参数说明。 Apache HDFS 请参见Apache HDFS数据连接参数说明。 MRS Hudi
ection_id,database_name,table_name参数值。 table_object_name 否 String 数据表对象名(数据连接.库.模式表/表),如果是获取业务报告规则评分,data_connection_id,database_name,table_
中,并实时导入表格存储服务Cloudtable集群的HBase/OpenTSDB表。 OBS:通道里的流式数据存储在DIS中,并周期性导入对象存储服务OBS;通道里的实时文件数据传输完成后,导入OBS。 说明: 转储至CloudTable,仅华北-北京一区域支持。 单击,在弹出的
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
ATE},在作业参数中会自动增加脚本参数DATE,脚本参数DATE的值支持使用EL表达式。如果是变量时间的话,需要使用DateUtil内嵌对象的表达式,平台会自动转换成历史日期。EL表达式用法可参考EL表达式。 补数据作业除了支持作业参数,脚本参数或者全局环境变量也支持。 约束条件
DAY)}*”(这是CDM支持的日期宏变量格式,详见时间宏变量使用解析)。 图1 文件过滤 配置作业定时自动执行,“重复周期”为1天。 这样每天就可以把昨天生成的文件都导入到目的端目录,实现增量同步。 文件增量迁移场景下,“路径过滤器”的使用方法同“文件过滤器”一样,需要路径名称里带有时间字段,这样可以定期增量同步指定目录下的所有文件。
policy_name String 策略名称 resources Array of ResourcePolicyItem objects 资源对象列表 members Array of MemberPolicyItem objects 成员列表 create_time Long 创建时间
支持记录迁移和文件迁移 默认为记录迁移。仅当源端为Hive2.x且数据存储在HDFS、目的端为Hive3.x且数据存在OBS并行文件系统时,才支持文件迁移。 当选择文件迁移时,需保证源端和目的端的表格式和属性需一致才能迁移成功。 记录迁移 文件迁移 分区过滤条件 “读取方式”选择“HDFS”时显示此参数。
Oracle到MRS Hudi参数调优 源端优化 Oracle抽取优化。 暂无优化配置项。 目的端优化 Hudi写入优化。 Hudi表写入性能慢,优先审视表设计是否合理,建议使用Hudi Bucket索引的MOR表,并根据实际数据量配置Bucket桶数,以达到Migration写入性能最佳。
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
据源之间数据集成的服务,支持单表/文件迁移、整库迁移、增量集成,支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成 创建集群 新建数据迁移的源连接、目的连接 新建表/文件迁移作业 步骤4:元数据采集 为了在DataArts St
version_tag String 版本标记,只读。 description String 版本描述。 biz_id String 业务对象ID,ID字符串。 biz_type String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE: 汇总表 ATOMIC_INDEX:
CDM集群和数据服务专享版集群在工作空间之间相互隔离,建议您在新空间提前准备好对应旧空间的集群。 搬迁依赖于OBS功能,请您提前规划OBS桶和文件夹目录。 DataArts Studio数据搬迁时,依赖各组件的备份或导入导出能力。您可以根据自己的数据需求,自由选择搬迁哪个组件的数据。