检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是，则表明当前是每个月的最后一天，执行后续节点。如果不是，则跳过后续的业务节点。 图3 条件表达式 如果用户的作业是每个月的最后一天执行，可以按照上面的方法进行配置。 如果用户的作业是每月7号执行，可以按照下面的方法进行配置。 判断是否为7号，表达式配置方法如下所示。 #{DateUtil
规范化的数据如何使用？ 问题描述 规范化的数据使用场景需要说明下。 解决方案 规范化的数据可以作为BI的基本信息，也可以作为上层应用的源数据，也可以接入各类数据可视化报表等。 父主题： 数据架构
检测文件敏感数据（高级特性） 通过创建文件敏感数据检测任务，可以快速识别文件中的敏感信息。 在新版本模式下仅当使用企业版时，才支持检测文件敏感数据功能，旧版本模式使用基础版及更高版本时即可支持。文件敏感数据当前在北京四、上海一内测（其他region后续会逐步放开，敬请期待！），但
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。
参考：CDM性能实测数据 背景说明 文中提供的性能指标仅用于参考，实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前，可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格，2.9.1 200版本。 性能测试中，表数据规
配置DLI源端参数 支持从DLI导出数据。 表1 DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。
参数类型 描述 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）使用Token认证时必选。
Studio是否支持修改时区？ 问题描述 DataArts Studio是否支持修改时区，如果不支持应该如何处理。 解决方案 DataArts Studio实例暂不支持修改时区。 数据开发作业调度时可通过EL表达式适配当地时间，例如： #{DateUtil.format(DateUtil.addHours(Job
String 脚本关联的连接名称。当type参数值为DLISQL、SparkSQL、HiveSQL、DWSSQL、Shell、PRESTO、ClickHouseSQL、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时，这个参数是必选的。用户可以通过查询连接列表（待下线）
参数类型 描述 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）使用Token认证时必选。
示自定义规则。 template_id Long 规则模板ID。 connection String 数据连接ID。 connection_type String 数据连接类型。 databases String 数据库名，当存在多个值时以逗号分隔。 sql String 自定义
性能调优概述 实时处理集成作业各链路如果出现时延持续增长、反压持续处于高位或同步速率过慢（查看作业监控指标速率不符合实时集成作业提供的性能规格）等情况，需要考虑以下几点： 目的端写入过慢。 源端抽取过慢。 其他问题（请联系技术支持人员协助解决）。 因为目的端写入过慢会影响至源端，
Oracle到DWS参数调优 源端优化 Oracle抽取优化。 暂无优化配置项。 目的端优化 DWS写入优化。 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景： Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
String 脚本关联的连接名称。当type参数值为DLISQL、SparkSQL、HiveSQL、DWSSQL、Shell、PRESTO、ClickHouseSQL、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时，这个参数是必选的。用户可以通过查询连接列表（待下线）
A会在最后一个B作业实例执行完成后执行。 图10 天依赖分钟 如果在配置作业依赖关系时勾选“最近”依赖的按钮，天作业只依赖所选作业最近的一个运行实例，比如A在每天22点开始调度，A依赖B最近的21:30调度的一个运行实例。 天依赖小时 规则：按自然天，天周期作业实例依赖一天内所有小时作业的实例。A
是 String IAM Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值） 使用Token认证时必选。 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 X-Project-Id 否
Oracle到MRS Hudi参数调优 源端优化 Oracle抽取优化。 暂无优化配置项。 目的端优化 Hudi写入优化。 Hudi表写入性能慢，优先审视表设计是否合理，建议使用Hudi Bucket索引的MOR表，并根据实际数据量配置Bucket桶数，以达到Migration写入性能最佳。
为运维人员预留一定的时间处理异常，用户可以为基线设置预警余量，则系统会将承诺时间-预警余量作为触发报警的预警时间，判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。 如何合理的配置基线承诺时间和预警余量 用户需要根据基线上任务历史一段时间内的
配置数据入湖检测规则（高级特性） 数据入湖检测规则可用于如下场景的实时敏感信息检测： 数据集成（离线作业）进行表数据迁移时的“敏感数据检测”，详见配置离线处理集成作业。 数据开发导入数据文件时的敏感数据自动实时检测。 数据安全敏感数据发现中的文件敏感数据实时检测，详见检测文件敏感数据（高级特性）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
