检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
注意此方法只能直接获取当前作业里配置的参数值，并不能获取到父作业传递过来的参数值，也不能获取到工作空间里面配置的全局变量，作用域仅为本作业。 这种情况下建议使用表达式${job_param_name}，既可以获取到父作业传递过来的参数值，也可以获取到全局配置的变量。 获取参数test的值： #{Job
位数不变，将数值全部替换为1 值变为NULL 不支持 不支持 不支持 BOOLEAN 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 FLOAT 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL
可选参数，用于多列合并作为rowkey，默认为空格。 , Rowkey冗余 可选参数，是否将选做Rowkey的数据同时写入HBase的列，默认值“否”。 否 压缩算法 可选参数，创建新HBase表时采用的压缩算法，默认为值“NONE”。 NONE：不压缩。 SNAPPY：压缩为Snappy格式。 GZ：压缩为GZ格式。
注意此方法只能直接获取当前作业里配置的参数值，并不能获取到父作业传递过来的参数值，也不能获取到工作空间里面配置的全局变量，作用域仅为本作业。 这种情况下建议使用表达式${job_param_name}，既可以获取到父作业传递过来的参数值，也可以获取到全局配置的变量。 获取参数test的值： #{Job
移。 当选择文件迁移时，需保证源端和目的端的表格式和属性需一致才能迁移成功。 记录迁移 文件迁移 分区过滤条件 “读取方式”选择“HDFS”时显示此参数。 该参数表示抽取指定值的partition，属性名称为分区名称，属性值可以配置多个值（空格分隔），也可以配置为字段取值范围，接
删除通用配置 （指已发布状态的逻辑实体或表，对其在编辑并保存后产生的草稿的删除操作） Y Y N N 操作通用配置 （指逻辑实体或表的导入、导出、发布、下线、同步、逆向等操作） Y Y Y N 查询通用配置 （指已发布状态的逻辑实体或表，对其在编辑并保存后产生的草稿的查询操作） Y Y Y
多类场景下的数据同步 支持单表、整库及分库分表实时增量数据同步。 单表同步：支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库同步：支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表，一个任务中最多支持200张目标表。 分库分表同步：
X-Auth-Token 是 String IAM Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）使用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 规则名称 rule_ids
user; 高级属性 分区过滤条件 读取方式为HDFS时，单击“显示高级属性”后显示此参数。 该参数表示抽取指定值的partition，属性名称为分区名称，属性值可以配置多个值（空格分隔），也可以配置为字段取值范围，接受时间宏函数。详细说明请参见使用时间宏变量完成增量同步。 说明：
md5在同一目录下。若配置了“MD5文件名后缀”，则只迁移有MD5值的文件至目的端，没有MD5值或者MD5不匹配的数据文件将迁移失败，MD5文件自身不被迁移。 若未配置“MD5文件名后缀”，则迁移所有文件。 写入时 该功能目前只支持目的端为OBS。可校验写入OBS的文件，是否与CDM抽取的文件一致。 该功能由目的
选来查询对应的操作事件。 其中，DataArts Studio的相关事件在“事件来源”中包含如下分类： CDM：数据集成组件的事件。 DLF：数据开发组件的事件。 DLG：管理中心、数据架构、数据质量、数据目录和数据服务组件的事件。 图1 CDM操作事件 在需要查看的事件左侧，单
List<String> 依赖的作业名称列表，必须依赖已存在的作业。 dependPeriod 否 String 依赖周期: SAME_PERIOD :依赖被依赖作业的同周期任务的执行结果。 PRE_PERIOD :依赖被依赖作业的前一周期任务的执行结果。 默认值 : SAME_PERIOD
md5在同一目录下。若配置了“MD5文件名后缀”，则只迁移有MD5值的文件至目的端，没有MD5值或者MD5不匹配的数据文件将迁移失败，MD5文件自身不被迁移。 若未配置“MD5文件名后缀”，则迁移所有文件。 写入时 该功能目前只支持目的端为OBS。可校验写入OBS的文件，是否与CDM抽取的文件一致。 该功能由目的
和跨表的分析。DQC支持数据的标准化，能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。 数据质量监控 查看质量评分 质量评分为5分制，是以表关联的规则为基础进行评分的。而表、业务对象、主题域等不同维度的评分，本质上是基于规则评分在不同维度下的加权平均值进行计算的。 您
符以外的字符。 维度属性的字段会自动显示所添加的维度表及维度表的属性值字段，一般不需要修改。 英文名称 只能以英文字母开头，支持英文字母、数字、下划线。 数据类型 显示该字段名称的数据类型。 配置类型 表示该字段名称对应的配置类型。比如衍生指标。 关联对象 表示该字段名称的配置类型对应的关联对象。比如衍生指标的名称。
技术资产数量：该规格指的是数据目录中表和OBS文件的数量。 [4] 数据模型数量：该规格指的是数据架构中逻辑模型、物理模型、维度表、事实表和汇总表的数量。 版本模式说明 为了实现灵活的资源配置并提供轻量化的数据治理能力，DataArts Studio对的版本模式进行了切换。 对于后续新购买的DataArts S
概览 本章节汇总了基于Migration实时数据集成服务常见应用场景的操作指导，每个实践我们提供了详细的方案描述和操作指导，用于指导您快速实现数据库迁移和同步。 表1 Migration基础实践一览表 数据源分类 源端数据源 对应目的端数据源 相关文档 关系型数据 MySQL Hadoop：MRS
DWS数据库为oracle兼容模式时，会将空字符串视为NULL做处理，因此在有数据的场景下，不能添加默认值为空串的非空列。 解决方案 1. 修改源端DDL语句，新增列的默认值设置为非空字符串。 2. 如果无法修改DDL，则需要将DWS的数据库更换为mysql兼容模式，建库语句如：create
REJECT: 已驳回 logic_tb_id String 逻辑实体的ID，ID字符串。 biz_catalog_id String 归属的业务分类的id，ID字符串。 catalog_path String 归属的业务分类的路径 {"l1Id":"","l2Id":"","l3Id":""}。
Studio实例的数据架构中已创建的表导出到Excel文件中。导出后的文件可用于导入到关系模型中。导出模型的操作请参见导出表或DDL。 打开下载的模板，请根据业务需求填写好模板中的相关参数并保存，模板中的“填写说明”Sheet页供参考。 模板中的参数，其中名称前带“*”的参数为必填参数，名称前未带“*”的参数为可选参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
