检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NARY_FILE”，且源端、目的端都为对象存储时，才有该参数。 选择“是”后，迁移对象文件时会复制源文件的Content-Type属性，主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性，所以如果开启了该参数，目的端选择写入的桶时，必须选择非归档存储的桶。
CDM通过DES（数据快递服务）迁移1个月前的历史数据，迁移路径如下： CDH → DES → CDM（华为云） → OBS → CDM（华为云） → MRS DES适用场景：数据量大，用户私有云与华为云无专线打通，用户私有云网络到公网带宽有限。 优点：传输可靠性高，受专线以及网络质量影响较小。
EL表达式参考 表达式概述 基础操作符 日期和时间模式 Env内嵌对象 Job内嵌对象 StringUtil内嵌对象 DateUtil内嵌对象 JSONUtil内嵌对象 Loop内嵌对象 OBSUtil内嵌对象 常用EL表达式样例合集 EL表达式使用实例 父主题： 数据开发
的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连
节点执行失败后的操作： 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划：当前作业实例的状态为运行
Flink调试OBS桶 在进行Flink SQL作业调试时，调试OBS桶必须选择并行桶，可以在工作空间进行默认配置。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可设置“Flink调试OBS桶”配置项。 配置Flink调试OBS桶。 单击“保存”，对设置的配置项进行保存。
fromJobConfig.useQuery 否 Boolean 该参数设置为“true”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“false”时，上传到OBS的对象使用的对象名，包含query参数。 fromJobConfig.md5FileSuffix 否 String
的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
业务资产接口 表2 业务资产接口 API 说明 查询业务资产 查询业务资产，包含数据规范同步过来的业务对象和逻辑实体。 查询业务资产目录树 逐级查询业务资产目录树，包含数据规范同步过来的业务对象和逻辑实体。 指标资产接口 表3 指标资产接口 API 说明 查询指标资产目录树 查询指标资产目录树。
CSV格式 JSON类型 文件格式为JSON格式时支持此参数。 JSON文件中存储的JSON对象的类型，可以选择JSON对象或JSON数组。 JSON对象 记录节点 文件类型为JSON对象时支持此参数。 记录数据的根节点。该节点对应的数据为JSON数组，系统会以同一模式从该数组中
数据目录 数据目录组件有什么用？ 数据目录支持采集哪些对象的资产？ 什么是数据血缘关系？ 数据目录如何可视化展示数据血缘？
是否为整库迁移。 fromJobConfig.filters 否 String 创建用于匹配文档的筛选条件，CDM只迁移符合条件的数据。例如： 按表达式对象筛选：例如{'last_name': 'Smith'}，表示查找所有“last_name”属性值为“Smith”的文档。 按参数选项筛选：例如{
开启路由后，支持指定某一列的值作为路由写入Elasticsearch。 说明： 开启路由前建议先建好目的端索引，可提高查询效率。 否 路由字段 “开启路由”参数选择为“是”时配置，用于配置目的端路由字段。目的端索引存在但是获取不到字段信息时，支持手动填写字段。路由字段允许为空，为空时写入Elas
查询服务目录 创建服务目录 批量删除目录 移动当前目录至新目录 批量移动API至新目录 通过路径获取ID 通过ID获取路径 通过目录ID获取路径对象 查询服务目录API列表 父主题： 数据服务API
配置DLI目的端参数 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli
配置Redis目的端参数 表1 Redis作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 redis键前缀 对应关系数据库的表名。 TABLENAME 值存储类型 存储类型分STRING、hash、list、set和zset。 STRING 写入前将相同的键删除
getParam("test")} String getPlanTime(String pattern) 获取指定pattern的计划时间字符串，pattern为日期、时间模式，请参考日期和时间模式。 获取作业调度计划时间，具体到毫秒： #{Job.getPlanTime("yyyy-MM-dd HH:mm:ss:SSS")}
配置MRS Kafka目的端参数 表1 Kafka作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 Topic 输入Topic数据库名称。 default 数据格式 写入目的端时使用的数据格式。 CSV：将列按照字段分隔符拼接。 JSON: 将所有列按照指定字段名称拼接为JSON字符串。
目的端为HDFS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
