检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 事实表ID，ID字符串。 tb_name String 事实表名称。 dw_type String 数据连接类型，对应表所在的数仓类型，取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。
两张数据表，并配置告警规则，如图9所示。 图9 配置对账规则 源端和目的端的信息需要分别配置。 配置告警条件，其中单击左侧的表行数（${1_1}）表示左侧源端选中表的行数，单击右侧表行数（${2_1}）表示目的端表行数。此处配置告警条件为${1_1}!=${2_1}，表示当左侧表
作业实例ID，获取方法请参见查询作业实例列表的响应参数。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 表3 参数说明
维度，Completeness表示完整性，Uniqueness表示唯一性，Timeliness表示及时性，Validity表示有效性，Accuracy表示准确性，Consistency表示一致性。 type String 规则类型，Field表示字段级规则，Table表示表级规则，Database表示库
脚本开发”。 创建一个SQL脚本。本案例以MRS SPARK SQL为例。 选择已创建好的数据连接和数据库。 编写SQL脚本，从源表table1这张数据表里面获取最大时间值数据。 select max(time) from table1 保存并提交版本。脚本maxtime创建完成。
CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。如自动创表场景下，需提
CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。如自动创表场景下，需提
统计分析。 图1 场景方案 DLI创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE, AVRO, ORC,
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
Rest Client数据连接参数说明 表1 Rest Client连接 参数 是否必选 说明 数据连接类型 是 Rest Client连接固定选择为Rest Client。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否
完成之后，就可以到CDM控制台，通过Internet迁移公网的数据上云了。例如：迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题： 数据集成（CDM作业）
hbaseType 是 枚举 HBase类型： CloudTable：表示连接CloudTable服务。 MRS：表示连接MRS。 FusionInsight HD：表示连接FusionInsight HD。 Apache Hadoop：表示连接开源Apache Hadoop。 linkConfig
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
识某个表是SDI贴源数据层、DWI数据整合层等。 标签和分类 “标签”是相关性很强的关键字，帮助用户对资产进行分类和描述，以便于检索。 “分类”是指按照种类、等级或性质分别归类。分类是自上而下的，通过对事物进行分析，按照一定的标准，划分出不同的类别。 二者主要区别如下： 表1 标签和分类区别
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
Kafka官方文档中的配置说明。 刷新源表和目标表映射，检查源端Topic和目的端Topic映射关系是否正确，支持用户根据实际需求修改映射后的目的端Topic名称，可以配置为一对一、多对一的映射关系。 图6 源表与目标表映射 配置任务属性。 表5 任务配置参数说明 参数 说明 默认值
在左侧导航栏选择服务共享版，进入总览页。 进入“开发API > API管理”页面，单击“注册现有API”，填写API基本信息。 表1 API基本信息 配置 说明 API名称 支持中文、英文、数字、下划线，且只能以英文或中文开头，3-64个字符。 API目录 一个特定功能或场景的API集合，是数据服务中API的
单击页面上方“规则分组”页签，进入分组列表页面。 图1 新建数据识别规则组 单击“新建”，输入新建分组名称和描述，参数设置参考表1，并勾选左侧列表中的识别规则。配置完成后单击“确定”即可。 图2 新建分组参数配置 您所勾选的规则将显示在右侧列表中，右侧已选列表中，已选规则可以通过单击操作来取消勾选。 表1 参数配置表
选择“重命名”。 图2 重命名作业 在弹出的“重命名作业名称”页面，配置新作业名。 图3 重命名作业名称 表1 重命名作业参数 参数 说明 作业名称 自定义作业的名称，只能包含英文字母、数字、中文、“-”、“_”、“.”，且长度为1～128个字符。 单击“确定”，重命名作业。 父主题：
数据集成资源组增量包对应数据集成实时作业所需的资源组。数据集成资源组提供数据上云和数据入湖出湖的集成能力，全向导式配置和管理，支持单表、整库、分库分表、全量+增量及增量同步等不同场景的数据迁移。 通过购买一个按需计费方式的数据集成资源组增量包，系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
