检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Oracle 连接Oracle数据库时,具体参数请参见Oracle数据库连接参数说明。 分库 连接达梦数据库时,具体参数请参见分库连接参数说明。 对象存储服务(OBS) 连接OBS时,具体参数请参见OBS连接参数说明。 MRS HDFS FusionInsight HDFS Apache
eline进行数据格式变换。 目的端为Elasticsearch时需要先在kibana中创建管道ID。 目的端为CSS时不需要创建管道ID,此参数填写配置文件名称,默认为name。 目的端为Elasticsearch时:pipeline_id 目的端为CSS时:name(name为配置文件名称)
类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库:数据湖探索(DLI) Hadoop:MRS HBase,MRS Hive 搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 分库数据源不支持作为目的端。 神通(ST) Hadoop:MRS
类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库:数据湖探索(DLI) Hadoop:MRS HBase,MRS Hive 搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 分库数据源不支持作为目的端。 神通(ST) Hadoop:MRS
配置MySQL/SQL Server/PostgreSQL目的端参数 当作业将数据导入到MySQL/SQL Server/PostgreSQL时,目的端作业参数如表1所示。 表1 MySQL、SQL Server、PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库:数据湖探索(DLI) Hadoop:MRS HBase,MRS Hive 搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 分库数据源不支持作为目的端。 分库指的是同时连接多个后
类型的数据类型,不支持二进制类型等其他数据类型。 迁移时不支持目的端自动建表。 分库 数据仓库:数据湖探索(DLI) Hadoop:MRS HBase,MRS Hive 搜索:Elasticsearch,云搜索服务(CSS) 对象存储:对象存储服务(OBS) 分库数据源不支持作为目的端。 分库指的是同时连接多个后
Hive 对象存储:对象存储服务(OBS) 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) NoSQL 分布式缓存服务(DCS) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS)
文件选择“是”时,不显示该参数。 | QUERY参数 该参数设置为“是”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“否”时,上传到OBS的对象使用的对象名,包含query参数。 否 忽略不存在原路径/文件 如果将其设为是,那么作业在源路径不存在的情况下也能成功执行。
Hive 对象存储:对象存储服务(OBS) 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) NoSQL 分布式缓存服务(DCS) Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS)
CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型:JSON对象、JSON数组。 JSON对象:JSON文件包含单个对象,或者以行分隔/串连的多个对象。 单一对象JSON { "took" : 190, "timed_out" : false
CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型:JSON对象、JSON数组。 JSON对象:JSON文件包含单个对象,或者以行分隔/串连的多个对象。 单一对象JSON { "took" : 190, "timed_out" : false
linkConfig.storageType 是 String 对象存储的类型。 linkConfig.obsBucketType 否 String OBS桶类型。 对象桶:OB。 并行文件系统:PFS。 说明: 桶类型分为对象桶和并行文件系统,对象桶过滤文件会比较慢,建议客户使用并行文件桶。 linkConfig
Hudi目的端的作业失败,日志报错Read Timeout怎么解决? 问题描述: 作业日志报错Read time out,日志如下: 原因分析 确认MRS集群的JdbcServer是多实例模式还是多租模式。 如果是多实例模式,跳转3。 否则跳转2。 多租户模式下,确认其他租户的作业是否正常。
数、作业定时备份/恢复、配置作业环境变量、作业批量导入/导出等功能。 新建表/文件迁移作业 新建整库迁移作业 配置作业源端参数 配置作业目的端参数 作业配置管理 批量管理作业 已发布区域:全部 API 您可以使用CDM提供的API对云数据迁移服务进行操作,如创建集群、创建连接、创建作业等操作。
式。 说明: STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 EMBEDDED 检查Hive JDBC连通性 是否需要测试Hive
文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输入多个文件名(最多50个),文件名之间默认使用“|”分隔,您也可以自定义文件分隔符,从而实现文件列表迁移。 迁移文件或对象时支持文件级增
文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输入多个文件名(最多50个),文件名之间默认使用“|”分隔,您也可以自定义文件分隔符,从而实现文件列表迁移。 迁移文件或对象时支持文件级增
建MRS Hive数据连接。 在“表/文件迁移”页签中,单击“新建作业”,创建数据迁移作业。 配置Oracle源端参数、MRS hive目的端参数,并配置传递参数,参数形式为 ${varName},本示例参数为${cur_date},如图2所示。 图2 配置作业 不能在CDM迁移
Hudi目的端的作业执行Spark SQL写入Hudi失败怎么办? 问题描述 报错:hoodie table path not found。 报错:写入记录中存在空值,写入失败。 报错:killed by external signal。 报错:java.lang.IllegalArgumentException。