检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、EIP异常时会发送短信或邮件通知用户。 查看当前配置,确认无误后单击“立即购买”进入规格确认界面。 集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。 单击“提交”,系统开始自动创建CDM集群,在“集群管理”界面可查看创建进度。 父主题: 创建并管理CDM集群
连接管理 创建连接 查询连接 删除连接 修改连接 父主题: API
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。
连接器类型选择“MRS Hive”后单击“下一步”,配置MRS Hive连接的参数,如图2所示。 图2 创建MRS Hive连接 单击“显示高级属性”可查看更多可选参数,这里保持默认,必填参数如下表所示。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据
连接器类型选择“MRS Hive”后单击“下一步”,配置MRS Hive连接的参数,如图2所示。 图2 创建MRS Hive连接 单击“显示高级属性”可查看更多可选参数,这里保持默认,必填参数如下表所示。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。
OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
是否有元数据查询的权限。 说明: 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 default 表名 单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 说明:
开源Doris由用户直接填写。 MRS Doris配置方法:登录MRS Doris数据源所在集群的Manager页面,选择“集群 > 服务 > Doris > 实例”,查看MRS Doris所在的“业务IP”。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。
进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表,提供以下批量操作: 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时,会将组内的所有作业都删除。 创建作业的任务配置中,如果已经将作业分配到了不同的分组中,则这里可以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。
面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 父主题: 配置CDM作业目的端参数
类型主要用于精确去重场景下,对数据进行预聚合。同时也可以用于如用户画像场景存放用户ID等。 BITMAP 列只能通过配套的 BITMAP 函数进行查询和使用。 达梦数据库迁移时支持的数据类型 源端为达梦数据库,目的端为Hive、DWS时,支持的数据类型如下: 表12 达梦数据库作为源端时支持的数据类型
类型主要用于精确去重场景下,对数据进行预聚合。同时也可以用于如用户画像场景存放用户ID等。 BITMAP 列只能通过配套的 BITMAP 函数进行查询和使用。 达梦数据库迁移时支持的数据类型 源端为达梦数据库,目的端为Hive、DWS时,支持的数据类型如下: 表12 达梦数据库作为源端时支持的数据类型
b.d.e”、“a.b.d.f”。 fromJobConfig.queryString 否 String 使用Elasticsearch的查询字符串(query string)对源数据进行过滤,CDM只迁移满足过滤条件的数据。 父主题: 源端作业参数说明
单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 说明: 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安