检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据血缘方案简介 什么是数据血缘 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中
型设计，智能化的帮助用户生成数据处理代码，数据处理全流程质量监控，异常事件实时通知。 丰富的数据开发类型 支持多人在线协作开发，脚本开发可支持SQL、Shell在线编辑、实时查询；作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点，提供丰富的调度配置策略与海量的作业调度能力。
使用Agent Agent功能待下线，无需配置。 - local_infile字符集 mysql通过local_infile导入数据时，可配置编码格式。 utf8 驱动版本 适配mysql的驱动。 - Agent Agent功能待下线，无需配置。 - 单次请求行数 指定每次请求获取的行数。 1000
本章节主要为您介绍数据库部署在其他云场景下，通过公网打通网络的方案。 图1 网络示意图 约束限制 资源组不具有公网网段，只能通过公网NAT转换成固定的弹性公网IP访问公网，且该IP不能与数据源公网IP重复。 前提条件 已购买资源组，详情请参见购买数据集成资源组。 准备工作 查询打
本章节主要为您介绍数据库部署在本地IDC场景下，通过公网打通网络的方案。 图1 网络示意图 约束限制 资源组不具有公网网段，只能通过公网NAT转换成固定的弹性公网IP访问公网，且该IP不能与数据源公网IP重复。 前提条件 已购买资源组，详情请参见购买数据集成资源组。 准备工作 查询打
托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 作业运行中禁止修改密码或者更换用户。
及换行符以外的字符。 *属性名称（ENG） 表中的属性字段的英文名称。只能包含英文字母、数字和下划线，且以英文字母开头。 属性编码 表中的属性字段的编码，系统自动生成。 属性别名 用户在配置中心打开了“属性别名”时显示此项，属性别名。 顺序 属性字段在表中的顺序，从1开始。可以不
local_infile字符集 否 “使用本地API”为是时，呈现此参数。MySQL通过local_infile导入数据时，可配置编码格式。默认utf8。 单次请求行数 否 可选参数，指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。默认1000。
期格式。需要通过CDM配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”，目前表达式转换支持字符串和日期类型的函数，语法
迁移。 事务模式迁移 支持当迁移作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时，数据集成支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD
将Date类型时间转换为long类型时间戳。 将作业调度计划时间转换为时间戳。 #{DateUtil.getTime(Job.planTime)} Date parseDate(String str, String pattern) 字符串按pattern转换为Date类型，pa
将json字符串转换为对象。 假设变量a为JSON字符串，将json字符串转换为对象，EL表达式如下： #{JSONUtil.parse(a)} String toString(Object jsonObject) 将对象转换为json字符串。 假设变量b为对象，将对象转换为json字符串，EL表达式如下：
消息体的类型（格式），有Body体的情况下必选，没有Body体无需填写。如果请求消息体中含有中文字符，则需要通过charset=utf8指定中文字符集，例如取值为：application/json;charset=utf8。 表3 请求Body参数 参数 是否必选 参数类型 描述 log_dump 否 Boolean
REST API SDK参考 本章节介绍了如何在API Explorer通过DataArts Studio API在线生成SDK代码，以及如何获取DataArts Studio服务的REST API SDK包和参考文档。 当前DataArts Studio服务的API Explorer接口和REST
时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
消息体的类型（格式），有Body体的情况下必选，没有Body体无需填写。如果请求消息体中含有中文字符，则需要通过charset=utf8指定中文字符集，例如取值为：application/json;charset=utf8。 表3 请求Body参数 参数 是否必选 参数类型 描述 log_dump 否 Boolean
增量迁移原理介绍 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题： 数据集成（CDM作业）
消息体的类型（格式），有Body体的情况下必选，没有Body体无需填写。如果请求消息体中含有中文字符，则需要通过charset=utf8指定中文字符集，例如取值为：application/json;charset=utf8。 响应参数 状态码： 200 表4 响应Body参数 参数 参数类型 描述 apply_num
*指标名称 业务指标的名称。只允许除\、<、>、%、"、'、;及换行符以外的字符。 指标编码 指标编码是自动生成的，生成规则可以在DataArts Studio数据架构的“配置中心”页面进行配置，详情请参见编码规则。 指标别名 可选参数。 *所属流程 选择指标所属的业务流程。如果您还未创建业务流程，请参见流程设计进行创建。
Content-Type消息体的类型（格式），默认取值为“application/json”。 如果请求消息体中含有中文字符，则还需要通过charset=utf8指定中文字符集。 解决方案 修改参数 Content-Type的参数类型 修改参数Content-Type的参数类型后可以执行成功。 父主题：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
