检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ava-5.1.48.jar，然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错，一般是由于MySQL数据库的安全设置问题，需要设置允许CDM集群的EIP访问MySQL数据库。 创建RDS连接 单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 >
SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。根据服务端Hive版本设置。 HIVE_3_X 用户名 选择KERBEROS鉴权时，需要配置MRS Manager的用户名和密码。从HDFS导出目录时，如果需要创建
> 作业开发”。 任务配置为天调度，如下图： 图1 调度周期配置为天 在节点的连线上，单击右键，选择设置条件，配置条件表达式。通过表达式来判断，是否执行后续的业务节点。 图2 设置条件表达式 表达式配置方法如下所示。 #{DateUtil.getDay(DateUtil.addDays(Job
出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 sslmode=require 说明： 启用SSL加密后sslmode值不设置可能会导致连接失败。 连接私密属性 可选参数，单击“显示高级属性”后显示。 自定义私密连接属性。 sk=09fUgD5WOF1L6f
返回作业实例开始时间大于min_plan_time的作业实例，单位为毫秒ms，默认设置为查询当天0点，最大可支持查询一个月。 max_plan_time 否 Long 返回作业实例开始时间小于max_plan_time的作业实例，单位为毫秒ms，默认设置为当前时间。 limit 否 int 分页返回结果，指定每页最大记录数。
Studio数据连接新建连接。 *数据库 呈现待扫描的数据库。单击数据库后的“设置”，设置待扫描的数据库范围。单击“清除”，可对已选择的数据库进行修改。 *数据表 对于DLI和DWS类型的敏感数据发现任务，您需要设置选择表的方式，当前支持手动筛选、通配符匹配和全部三种方式。 手动筛选：即
将读表和写表操作拆分为同一作业的不同节点，两个节点通过连线建立先后执行关系，避免同时执行冲突。 将读表和写表操作拆分为两个不同的作业，两个作业之间设置依赖关系，避免同时执行冲突。 父主题： 数据开发
SQL脚本中开发完成的DWS SQL脚本“dws_sql”。 数据连接：默认选择SQL脚本“dws_sql”中设置的数据连接，支持修改。 数据库：默认选择SQL脚本“dws_sql”中设置的数据库，支持修改。 脚本参数：通过EL表达式获取"yesterday"的值，EL表达式如下： #{Job
信息。 实时集成作业监控：启动 单击“启动”，弹出“启动配置”界面。 设置“同步模式”和“时间”。 同步模式包含增量同步和全量同步。 时间表示配置的位点时间早于日志最早时间点时，会以日志最早时间点消费。当设置为“增量同步”时才显示时间参数。 单击“确定”，启动该任务。 实时集成作业监控：停止
作业名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 无 请求示例 停止作业myJob。
TRUNCATE方式：清空DLI表分区。 INSERT_OVERWRITE方式：使用分区覆盖的方式写入数据。 INSERT_OVERWRITE 空字符串作为null 如果设置为true，空字符串将作为null。 否 自动建表模式 选择建表模式：一键建表，作业配置过程中一键建表，表生成后继续配置作业。 一键建表 分区
表前缀：开启“生成异常数据”时显示此项，表示存储异常数据的表的前缀。 表后缀：开启“生成异常数据”时显示此项，表示存储异常数据的表的后缀。 添加规则：单击“添加规则”进行设置。例如，添加名称为“字段唯一值”规则，选中该规则后单击“确定”，在“告警条件”中输入告警条件表达式，然后按照此方法添加其他规则后，单击“确定”。
数情况来设置入参。例如，在用户表中根据用户ID查询用户信息时，请求Path设置为：/getUserInfo。可按照如下不同场景来配置入参： API调用时请求参数为用户id，需要返回对应id的用户信息。 单击“添加”，参数名配置为id。 参数位置选择Query。 类型设置为Number。
连接名称。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 无 请求示例 删除一个连接。
后会产生数据服务专享版API的费用，所创建的超出试用配额API按每天每个按1元收费。 图6 设置已分配配额 已分配配额设置完成后，单击“空间信息”中的“确定”，完成配置。 相关操作 设置集群日志转储：日志转储功能开启后，集群中当前工作空间下API的所有访问日志，会转储到工作空间指定的OBS桶或者LTS日志中。
进行编辑。 单击“保存”。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试
Elasticsearch分页查询，用来设置分页size的大小。 1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id，超时或者scroll查询结束后会清除请求的srcoll_id，通过设置这个超时时间配置，来指定scroll_id超时时间。
MAX(单分区数据量大小(G)/2G*2，再后向上取整，1) 其中，要注意的是： 需要使用的是表的总数据大小，而不是压缩以后的文件大小。 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 changelog.enabled boolean false - Hudi changelog功能
MAX(单分区数据量大小(G)/2G*2，再后向上取整，1) 其中，要注意的是： 需要使用的是表的总数据大小，而不是压缩以后的文件大小。 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 changelog.enabled boolean false - Hudi changelog功能
消费者是从Topic订阅消息的一方，消费组是由一个或多个消费者组成的。Migration支持指定本次消费动作所属的Kafka消费组。 Kafka源端属性配置 支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考 Apache Kafka官方文档
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
