检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 Where子句 参数位置:在创建表/文件迁移作业时,如果源端为关系型数据库,那么在源端作业参数的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age
表在metastore中存在,但不是Huid表,或者表在metastore中存在,但是表目录不存在,根因是在表目录下没有.hoodie目录。可能删表的时候只删了文件而没有drop table。 设置为主键或者预聚合键的列有空值,写入hoodie会失败。 查看作业配置,查看表属性中hoodie.datasource
类型都会生成一个子作业并发执行,可以单击作业名查看子作业进度。 作业执行完成后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据,以及日志信息(子作业才有日志)。 图5 作业执行记录 父主题: 使用教程
类型都会生成一个子作业并发执行,可以单击作业名查看子作业进度。 作业执行完成后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据,以及日志信息(子作业才有日志)。 图5 作业执行记录 父主题: 使用教程
节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置: 消息通知:CDM的迁移作业(目前仅支持表/文件迁移的作业)失败时,或者EIP异常时,会发送短信或邮件通知用户。该功能产生的消息通知不会计入收费项。 用户隔离:控制其他用户是否能够查看、操作该集群中的迁移作业和连接。
在集群管理界面,找到步骤1:创建集群章节创建的集群“cdm-aff1”。 单击该CDM集群后的“作业管理”,进入作业管理界面。 选择“表/文件迁移 > 新建作业”,配置作业基本信息。 图1 新建作业 作业名称:输入便于记忆、区分的作业名称,例如:“mysql2dws”。 源端作业配置
作业任务启动后,每个待迁移的表都会生成一个子任务,单击整库迁移的作业名称,可查看子任务列表。 单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 整库迁移的作业没有日志,子作业才有。在子作业的历史记录界面单击“日志”,可查看作业的日志信息。 父主题: 使用教程
约束冲突处理配置为"insert into",默认使用IGNORE,与唯一键值上的现有行重复的新行将被丢弃,任务不会终止。因为Mysql服务机制无法在操作过程中停止文件传输,此情况下,CDM界面显示写入记录与实际更新行数会不一致。 Mysql Local模式详情请参见:https://dev.mysql.com/doc/refman/8
作业任务启动后,每个待迁移的表都会生成一个子任务,单击整库迁移的作业名称,可查看子任务列表。 单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 整库迁移的作业没有日志,子作业才有。在子作业的历史记录界面单击“日志”,可查看作业的日志信息。 父主题: 使用教程
获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON 进入CDM主界面,创建一个DWS到OBS的表/文件迁移作业。 在CDM“作业管理”界面的“表/文件迁移”页签下,找到已创建的作业,单击作业操作列的“更多 > 查看作业JSON”,如图1所示。 您也可以使用其它已创建好的CDM作业JSON。
在“连接管理”页签中,单击“新建连接”,分别创建Oracle数据连接和MRS Hive数据连接,详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件迁移”页签中,单击“新建作业”,创建数据迁移作业。 配置Oracle源端参数、MRS hive目的端参数,并配置传递参数,参数形式为 ${
标签键(key)的最大长度为36个字符,标签值(value)的最大长度为43个字符。 消息通知 否 开启后,支持配置20个手机号码或邮箱,作业(目前仅支持表/文件迁移的作业)失败时、EIP异常时会发送短信或邮件通知用户。 查看当前配置,确认无误后单击“立即购买”进入规格确认界面。 集群创建好以后不支
SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。 KERBEROS IP与主机名映射 输入IP和主机名。 如果配置文件使用主机名,需要配置所有IP与主机的映射,多个主机之间使用空格进行分隔。 IP:10.3.6.9 主机名: hostname01 HBase版本
败。 STANDALONE IP与主机名映射 运行模式选择“EMBEDDED”、“STANDALONE”时,该参数有效。 如果HDFS配置文件使用主机名,需要配置IP与主机的映射。格式:IP与主机名之间使用空格分隔,多对映射使用分号或回车换行分隔。 10.1.6.9 hostname01
Array of links objects 连接列表,请参见links数据结构说明。 fromTo-unMapping String 表/文件迁移不支持哪些数据源迁移到哪些数据源。 batchFromTo-mapping String 整库迁移支持哪些数据源迁移到哪些数据源。 表4
集群对象,请参见cluster参数说明。 auto_remind 否 Boolean 选择是否开启消息通知。开启后,支持配置20个手机号码或邮箱,作业(目前仅支持表/文件迁移的作业)失败时、EIP异常时会发送短信或邮件通知用。 phone_num 否 String 接收消息通知的手机号码。 email 否 String