检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,CDM通过EIP访问Oracle数据源。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,CDM通过EIP访问Oracle数据源。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。 在“集群管理”界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。
如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 9030 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。
完成之后,就可以到CDM控制台,通过Internet迁移公网的数据上云了。例如:迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题: 通用类
Redis连接参数说明 Redis连接适用于用户在本地数据中心或ECS上自建的Redis,适用于将数据库或文件中的数据加载到Redis。 Redis连接不支持SSL加密的Redis数据源。 连接本地Redis数据库时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。
CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,CDM通过EIP访问Oracle数据源。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。 在“集群管理”界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。
CDM集群创建完成后,在集群管理界面选择“绑定弹性IP”,CDM通过EIP访问Oracle数据源。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
TOTAL_FILES:表示总文件数。 FILES_WRITTEN:表示写入的文件数。 FILES_READ:表示读取的文件数。 ROWS_WRITTEN:表示写入成功的行数。 ROWS_READ:表示读取成功的行数。
图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。
图1 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。
作业完成后,查询DWS表中的数据是否和HBase中的数据匹配。如果不匹配,请检查JSON文件中HBase和DWS字段的顺序是否一致。 父主题: 故障处理类
原因分析 从metastore中删了表,但是文件没有清空,表的目录文件存在导致的,可能建的是外表。 解决方案 将表目录清空,再重新执行作业。 父主题: 故障处理类
指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 SSL加密 可选参数,单击“显示高级属性”后显示。 支持启用SSL加密传输。
已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动。注意,上传的驱动版本不必与待连接的数据库版本相匹配,直接参考表1获取建议版本的JDK8 .jar格式驱动即可。
很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。
集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考 cdm.large 8核 16GB 16 cdm.xlarge 16核 32GB 32 cdm.4xlarge 64核 128GB 128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时
说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群,请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。
开启后,支持配置20个手机号码或邮箱,作业(目前仅支持表/文件迁移的作业)失败时、EIP异常时会发送短信或邮件通知用。 phone_num 否 String 接收消息通知的手机号码。 email 否 String 接收消息通知的邮箱。