检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
等情况)时,您需要重新编辑并保存该连接。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络
FusionInsight HDFS Apache HDFS 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HDFS 连接MRS上的HDFS数据源时,相关参数如表1所示。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2
如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 default 表名 单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认
FusionInsight HBase Apache HBase 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HBase 连接MRS上的HBase数据源时,相关参数如表1所示。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2
只有当源端为关系数据库时,才有该参数。表示写入表数据时,用户选择的操作: 不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 先删除后创建:CDM先删除“表名”参数中指定的表,然后再重新创建该表。
Management,简称IAM)。如果云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CDM服务。 默认情况下,新建的IAM用户没有任何权限,您需要将其加入用户组,并给用户组授予策略或角色,才能使用户组中的用户获得相应的权限,这一过程称为授权。授权后,用户就可以基于已有权限对云服务进行操作。
Hive表trip_data有三个分区字段:骑行起始时间的年、骑行起始时间的年月、骑行起始时间的年月日,例如一条骑行记录的起始时间为2018/5/11 9:40,那么这条记录会保存在分区trip_data/2018/201805/20180511下面。对trip_data按时间维度统计汇总时,只需要对局部数据扫描,从而提升性能。
Hive表trip_data有三个分区字段:骑行起始时间的年、骑行起始时间的年月、骑行起始时间的年月日,例如一条骑行记录的起始时间为2018/5/11 9:40,那么这条记录会保存在分区trip_data/2018/201805/20180511下面。对trip_data按时间维度统计汇总时,只需要对局部数据扫描,从而提升性能。
对min 运算无效。 图1 报错信息 故障分析 客户作业中配置的并发数大于1,CDM会选择分区列进行分区迁移,默认情况:取主键字段,如果没有主键字段取的是从元数据里面的第一个字段作为分区字段。 由于客户作业中设置的并发数是8,程序选择IsDef作为分区字段,但是IsDef的类型是bit,不支持min运算所以会报错。
Message. -- ResponseCode: 403”考虑是Hive同步表到OBS目录报错。用户配置连接器时候,没有打开OBS开关。 检查连接器配置,发现没有打开开关,参数含义是“是否支持OBS存储,如果Hive表数据存储在OBS,需要打开此开关”。 解决方案 修改连接配置,
群。 该场景下,如果CDM集群只是用于迁移OBS数据到DLI,不需要迁移其他数据源,则CDM集群所在的VPC、子网、安全组选择任一个即可,没有要求,CDM通过内网访问DLI和OBS。主要是选择CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。
群。 该场景下,如果CDM集群只是用于迁移OBS数据到DLI,不需要迁移其他数据源,则CDM集群所在的VPC、子网、安全组选择任一个即可,没有要求,CDM通过内网访问DLI和OBS。主要是选择CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。
ddsdb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 父主题: 配置CDM作业目的端参数
mddb 集合名称 选择待导入数据的集合,相当于关系数据库的表名。单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时,选择需要进行的插入行为操作。
d5值的文件,例如build.sh和build.sh.md5在同一目录下。若配置了“MD5文件名后缀”,则只迁移有MD5值的文件至目的端,没有MD5值或者MD5不匹配的数据文件将迁移失败,MD5文件自身不被迁移。 若未配置“MD5文件名后缀”,则迁移所有文件。 写入时 该功能目前
图12 修改属性 CDM节点配置为创建作业时,节点运行会检测是否有同名CDM作业。 如果CDM作业未运行,则按照请求体内容更新同名作业。 如果同名CDM作业正在运行中,则等待作业运行完成。此时该CDM作业可能被其他任务启动,可能会导致数据抽取不符合预期(如作业配置未更新、运行时间宏
d5值的文件,例如build.sh和build.sh.md5在同一目录下。若配置了“MD5文件名后缀”,则只迁移有MD5值的文件至目的端,没有MD5值或者MD5不匹配的数据文件将迁移失败,MD5文件自身不被迁移。 若未配置“MD5文件名后缀”,则迁移所有文件。 写入时 该功能目前
FusionInsight Hive Apache Hive 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS Hive 用户具有MRS Hive连接的表的访问权限时,才能在字段映射时看到表。 MRS Hive连接适用于华为云上的MapReduce服务。MRS
statement is not equal to the table schema”。 原因分析 从metastore中删了表,但是文件没有清空,表的目录文件存在导致的,可能建的是外表。 解决方案 将表目录清空,再重新执行作业。 父主题: 故障处理类
源端为HTTP/HTTPS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name":