检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定义分区。 其中时间分区需要用户指定一个源端表名，选择一个时间转换格式。 比如时间分区用户指定一个源端表名src_col_1，选择一个时间转换格式，日(yyyyMMdd)、月(yyyyMM)、年(yyyy)，自动建表时会在Hudi表默认创建一个cdc_partition_key的
实例状态检查异常 检查集群是否在及是否正常运行。 连通性检查异常 若CDM集群和数据源在同一个VPC下，请确保数据源安全组入方向添加CDM集群内网IP，CDM集群安全组出方向添加数据源IP。 若CDM集群和数据源不在同一个VPC，则需要创建对等连接，打通CDM VPC和数据源 VPC，并且数据源
Kafka到DLI实时同步中，作业运行失败，报“Array element access needs an index starting at 1 but was 0”怎么办？ 问题描述 Kafka到DLI实时同步中，作业运行失败，报“Array element access needs
据库的表迁移到文件系统的场景。 选择“是”时，如果源端数据表中的某一个字段内容包含字段分隔符或换行符，写入目的端时CDM会使用双引号（"）作为包围符将该字段内容括起来，作为一个整体存储，避免其中的字段分隔符误将一个字段分隔成两个，或者换行符误将字段换行。例如：数据库中某字段为hello
addMonths(Date date, int amount) 给date添加指定月数后，返回新Date对象，amount可以是负数。 将作业调度计划减一个月的时间，转换为月份格式。 #{DateUtil.format(DateUtil.addMonths(Job.planTime,-1),"yyyy-MM")}
Oracle到MRS Hudi参数调优 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 Hudi写入优化 Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。
您作为API提供者，需要实现一个或一组API的开放，那么您需要先后完成以下工作： 购买并管理专享版集群 如果您需要使用数据服务专享版，需要先购买专享版集群。 新建数据服务审核人 在创建API前，需要新建数据服务审核人。 创建API 创建API即生成API和注册API。其中，生成API
Data Migration 功能 该节点用于执行一个集成作业，Data Migration节点支持离线处理集成作业和实时处理集成作业。 参数 用户可参考表1和表2配置Data Migration节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含
支，执行B分支。 图4 作业运行结果 根据前一个节点的输出结果进行IF条件判断 场景说明 目标场景：通过HIVE SQL统计成绩在85分以上的人数，并将执行结果作为参数传递到下一个节点，通过与人数通过标准进行数值比较，然后决定执行哪一个IF条件分支。 场景分析：由于HIVE SQ
传统周期调度依赖，只支持同周期或者大周期依赖于小周期，不支持小周期依赖于大周期。详细说明如下： 同周期依赖，依赖时间段范围为从当前批次时间往前推一个周期。 跨周期依赖，依赖时间段范围为上一个周期时间段内。 图1 传统周期作业依赖关系全景图 自然周期调度依赖，支持同周期、跨周期（大周期依赖于小周期、小周期依赖
为什么权限同步到DLI中，会提示权限不够？ 权限同步到DLI的任务通过云服务委托（dlg_agency）完成，因此需要委托拥有IAM认证服务相关权限，具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限（二者选其一配置即可） IAM权限 系统
SDK使用前准备 下载SDK，并导入对应SDK到本地开发工具。 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK，下载SDK包到本地。 进行SDK包完整性校验。Win
修改主机信息”，按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图4 修改主机信息 查看MRS集群节点IP和域名的方式： 打开MRS页面，进入用户的MRS集群，单击“节点管理”页签，展开所有节点组，可以看到各节点IP、节点名称即是域名。 须添加所有节点IP（图中序号1）、域名信息（图中序号2），用回车分割。
Ctrl + Enter：执行所选行/选中内容 Ctrl + Alt + F：标记 Ctrl + Shift + K：查找上一个 Ctrl + K：查找下一个 Ctrl + Backspace：删除左侧单词 Ctrl + Delete：删除右侧单词 Alt + Backspace：删除至行首
费者机制。 它是一个组，所以内部可以有多个消费者，这些消费者共用一个ID，一个组内的所有消费者共同协作，完成对订阅的主题的所有分区进行消费。其中一个主题中的一个分区只能由一个消费者消费。 说明： 一个消费者组可以有多个消费者。 Group ID是一个字符串，在一个kafka集群中，它标识唯一的一个消费者组。
Client节点配置 在另一个工作空间B，新建数据开发作业job_agent。分别选择Dummy节点和Subjob节点，选中连线图标并拖动，编排图3所示的作业。 图3 job_agent作业调度配置 Dummy节点不执行任何操作，本例选择Dummy节点用于设置Dummy节点到Subjob节点之间连线的IF条件。
支持以下三种投递策略将源端的数据按规则同步到Kafka Topic的特定Partition： 全部投递到Partition 0。 按库名+表名的hash值投递到不同Partition。 按表的主键值hash值投递到不同的Partition。 源端无主键情况下，目的端默认投递到partition 0。
单击“版本对比”后，将会打开新窗口，左右两边分别展示出不同版本的脚本内容。两个版本的不同之处将会被标识出来以便用户查看，右上角有上一个不同和下一个不同两个按钮，可以直接跳到上一个或者下一个修改的地方。 图4 版本对比详情 父主题： 脚本开发
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 服务器列表 是 一个或多个通过逗号分割的服务器列表（服务器域名或IP地址:服务器端口）。 例如: 192.168.0.1:27017,192.168.0.2:27017。 KMS密钥
Redis分库的索引标识。 Redis的分库，相当于关系型数据库中的database。分库总数可以在Redis配置文件中设置，默认是16个，分库名称是一个整数（0～15），不是一个字符串。 0 认证类型 访问MRS的认证类型： SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
