检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消费者是从Topic订阅消息的一方，消费组是由一个或多个消费者组成的。Migration支持指定本次消费动作所属的Kafka消费组。 Kafka源端属性配置 支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考 Apache Kafka官方文档
特定分页数据，您可以修改如下参数设置分页，其中pageSize表示分页后的页面大小，pageNum表示页码。 图7 分页参数设置 自定义分页的脚本/MyBatis方式API是在创建API时将分页逻辑写到取数SQL中，因此不支持在调用时修改分页设置。 （可选）排序配置：默认情况下，
Manager页面。 在Manager页面的“系统设置”中，单击“密码策略配置”，修改密码策略。 “密码有效期（天）”配置为“0”，表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中，单击“用户管理”，在用户管理页面，
MAX(单分区数据量大小(G)/2G*2，再后向上取整，1) 其中，要注意的是： 需要使用的是表的总数据大小，而不是压缩以后的文件大小。 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 changelog.enabled boolean false - Hudi changelog功能
> 实例监控”。 在作业所在的“操作”列，单击“重跑”设置重跑当前作业实例；或单击作业名称左边的复选框，再选择页面上方的“重跑”按钮可以批量设置多个作业的实例重跑。 图1 设置单个作业重跑 图2 批量设置作业重跑 批量设置多个作业实例重跑时，仅需要配置重跑开始位置、使用的作业参数、是否忽略OBS监听等参数。
功能总览 功能总览 全部 数据集成 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成 数据集成提供30+同构/异构数据源之间数据集成的功能，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。
模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 选择“互斥配置”。 单击“新建”进入“互斥组设置”的界面。 设置“组名称”。 单击“添加作业”，至少选择两个作业。单击“删除”可以删除已添加的作业。 单击“确定”。 更多操作 编辑：单击“编辑”，可以对已配置的互斥组信息进行修改。
OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录，目录前面不加“/”。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同
Manager页面。 在Manager页面的“系统设置”中，单击“密码策略配置”，修改密码策略。 “密码有效期（天）”配置为“0”，表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中，单击“用户管理”，在用户管理页面，
Manager页面。 在Manager页面的“系统设置”中，单击“密码策略配置”，修改密码策略。 “密码有效期（天）”配置为“0”，表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中，单击“用户管理”，在用户管理页面，
监测文件：监测文件或目录是否存在，如不存在则此节点运行失败，否则运行成功。 如果当前作业需要根据文件或目录是否存在，从而进行不同的处理，则可以根据本节点的执行状态设置IF条件判断，具体请参考IF条件判断教程章节。 源文件或目录 是 OBS桶中需要被管理的OBS文件或所在目录。 目的目录 是 存放待移动或复制OBS文件的新目录。
Manager页面。 在Manager页面的“系统设置”中，单击“密码策略配置”，修改密码策略。 “密码有效期（天）”配置为“0”，表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中，单击“用户管理”，在用户管理页面，
作业未修复前，可以设置间隔时间发送告警通知。 说明： 最大通知次数可设置为1~50。默认为1时，最小通知间隔不显示。 最小通知间隔可设置为5~60。 运行成功：作业的状态为“成功”时，发送通知。 未完成：该功能仅支持按天调度的作业配置。如果作业执行时间超过设置的未完成时间，则发送通知。
Manager页面。 在Manager页面的“系统设置”中，单击“密码策略配置”，修改密码策略。 “密码有效期（天）”配置为“0”，表示永不过期。 “密码失效提前提醒天数”配置为“0”。 其他参数保持默认即可。 在MRS Manager页面的“系统设置”中，单击“用户管理”，在用户管理页面，
否：默认为否，不记录脏数据。 表示不允许脏数据存在。如果同步过程中产生脏数据，任务将失败退出。 是：允许脏数据，即任务产生脏数据时不影响任务执行。 允许脏数据并设置其阈值时： 若产生的脏数据在阈值范围内，同步任务将忽略脏数据（即不会写入目标端），并正常执行。 若产生的脏数据超出阈值范围，同步任务将失败退出。
DLI程序包：作业执行前，会将资源包文件上传到DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时，需要设置。可选择“已有分组”，“创建新分组”或“不分组”。 组名称 否 当“资源类型”选择了“DLI程序包”时，需要设置。 选择“已有分组”：可选择已有的分组。 选择“创建新分组”：可输入自定义的组名称。
M-dd格式的时间。 配置补数据作业的调度周期。单击界面右侧的调度配置，配置补数据作业的调度周期，该使用指导配置周期设置为天。 图3 配置调度周期 作业调度周期设置为天，每天会进行作业调度，并生成一个调度实例。您可以在“实例监控”页面中，查看补数据实例的运行状态。用户可以在该页面
单击数据库（或数据库和schema、命名空间）后的“设置”，设置采集任务扫描的数据库（或数据库和schema、命名空间）范围。当不进行设置时，默认选择该数据连接下的所有数据库（或数据库和schema、命名空间）。 单击数据表后的“设置”，设置采集任务扫描的数据表范围。当不进行设置时，默认选择数据库（或数据
在ECS上调试好的shell脚本，在DLF中shell脚本执行异常，如何处理？ 问题描述 在ECS上调试好的shell脚本，在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果： DLF脚本运行结果： 图1 脚本运行结果 解决方案
为“运行异常”或“失败”时，发送通知。 另外可以设置作业运行异常或者失败后、在作业未修复前，告警通知的“最大通知次数”和“最小通知间隔（分钟）”。 最大通知次数可设置为1~50。默认为1时，最小通知间隔不显示。 最小通知间隔可设置为5~60。 通知方式：根据实际需要选择，推荐选择“按主题”通知。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
