检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标签和分类 “标签”是相关性很强的关键字，帮助用户对资产进行分类和描述，以便于检索。 “分类”是指按照种类、等级或性质分别归类。分类是自上而下的，通过对事物进行分析，按照一定的标准，划分出不同的类别。
图3 条件表达式 如果用户的作业是每个月的最后一天执行，可以按照上面的方法进行配置。 如果用户的作业是每月7号执行，可以按照下面的方法进行配置。 判断是否为7号，表达式配置方法如下所示。 #{DateUtil.getDay(Job.planTime) == 7 ?
DRS任务切换到实时Migration作业配置 DRS（数据复制服务）任务迁移到Migration，完成作业切换和数据续传。 前提条件 已创建DRS实时同步任务，DRS相关操作请参见数据复制服务。 已按使用前自检概览准备好实时数据集成环境。 准备动作 Migration所需资源估算
配置Redis源端参数 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 redis键前缀 对应关系数据库的表名。 TABLENAME 值存储类型 存储类型分STRING、HASH。 STRING 高级属性 键分隔符 用来分隔关系数据库的表和列名。
字符串替换 替换字符串，需要用户配置被替换的对象，以及替换后的值。 去换行 将字段中的换行符（\n、\r、\r\n）删除。 表达式转换 使用JSP表达式语言（Expression Language）对当前字段或整行数据进行转换。JSP表达式语言可以用来创建算术和逻辑表达式。
不支持数据类型转换规避指导 操作场景 CDM在配置字段映射时提示字段的数据类型不支持，要求删除该字段。如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。
通过不同方式调用API 调用API方式简介 （推荐）通过SDK调用APP认证方式的API 通过API工具调用APP认证方式的API 通过API工具调用IAM认证方式的API 通过API工具调用无认证方式的API 通过浏览器调用无认证方式的API 父主题： 调用数据服务API
用户可以通过查询连接列表（待下线）接口获取当前系统中已经存在的连接。默认值为空。
用户可以通过查询连接列表（待下线）接口获取当前系统中已经存在的连接。默认值为空。
图11 天依赖小时 如果在配置作业依赖关系时勾选“最近”依赖的按钮，天作业只依赖所选作业最近的一个运行实例，比如A在每天17点开始调度，A依赖B最近的15:00调度的一个运行实例。 天依赖天 规则：按自然天内的实例进行依赖，不会跨天向前推找依赖实例。
解决方案 规范化的数据可以作为BI的基本信息，也可以作为上层应用的源数据，也可以接入各类数据可视化报表等。 父主题： 数据架构
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景： Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板
如果希望为运维人员预留一定的时间处理异常，用户可以为基线设置预警余量，则系统会将承诺时间-预警余量作为触发报警的预警时间，判断任务能否在预警时间前运行成功。 设置基线承诺时间和预警余量的详细信息请参见基线管理。
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
配置CDM作业定时任务 在表/文件迁移的任务中，CDM支持定时执行作业，按重复周期分为：分钟、小时、天、周、月。 CDM在配置定时作业时，不要为大量任务设定相同的定时时间，应该错峰调度，避免出现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业，此处也配置了定时任务
数据库部署在本地IDC 通过云专线连通网络 通过VPN连通网络 通过公网连通网络 父主题： 网络打通
配置条件分支算子 条件分支算子通过获取上游算子的请求参数或结果集进行条件判断，根据定义的表达式来确定下一步执行的分支。注意，多个分支满足条件时仅执行第一个满足条件的分支。 表1 条件分支算子 参数 说明 分支1 条件类型 选择条件类型。 满足当前条件时：表示传入“条件分支”的数据满足指定的表达式时
配置FTP/SFTP源端参数 表1 FTP/SFTP作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 源目录或文件 要传输的目录或单个文件路径。 FROM_DIRECTORY/ or FROM_DIRECTORY/example.csv 文件格式 传输数据时使用的格式
性能调优概述 实时处理集成作业各链路如果出现时延持续增长、反压高企或同步速率过慢（查看作业监控指标速率不符合实时集成作业提供的性能规格）等情况，需要考虑以下几点： 目的端写入过慢。 源端抽取过慢。 其他问题（请联系技术支持人员协助解决）。 因为目的端写入过慢会影响至源端，导致源端抽取速度下降
Oracle到DWS参数调优 源端优化 Oracle抽取优化 暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置，且可以通过单击高级配置的“查看编辑”按钮，添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
