检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。 当作业源端为OBS、迁移CSV文件
息又形成了新的数据,不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示,为数据表对象,为作业节点对象,通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到,wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的,w
连接Oracle数据库时,具体参数请参见Oracle数据库连接参数说明。 分库 连接达梦数据库时,具体参数请参见分库连接参数说明。 对象存储服务(OBS) 连接OBS时,具体参数请参见OBS连接参数说明。 MRS HDFS FusionInsight HDFS Apache HDFS 连接MRS、Apache
指标含义 取值范围 测量对象 监控周期(原始指标) bytes_in 网络流入速率 该指标用于统计每秒流入测量对象的网络流量。 单位:字节/秒。 ≥ 0 bytes/s CDM集群实例 1分钟 bytes_out 网络流出速率 该指标用于统计每秒流出测量对象的网络流量。 单位:字节/秒。
通过总览,可以查看资产总览及资产报告。 资产总览可展示业务资产、技术资产和指标资产的情况。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表,资产总览展示业务对象、逻辑实体、业务属性的数量及其详情。 技术资产来自于数据连接和元数据采集任务,资产总览展示数据库、数据表、数据量的数量及其详情。 指标资产
管理样本库 数据安全支持将您提供的OBS或HDFS样本文件生成样本库。当新建随机脱敏或字符替换类型的脱敏算法时,可以选择将敏感数据脱敏为样本库文件中的值,详见新建脱敏算法。 本章主要介绍如何创建样本。 前提条件 已在OBS或HDFS中上传样本文件。样本文件只支持txt格式,大小建
的字段偶尔显示不全,无法与目的端字段一一匹配,造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无Schema,每条数据的列数不固定,在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列,此时作业执行完后会造成目的端的数据不全。 这个问题,可以通过以下方法解决:
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型,并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务(Data Warehouse Service,简称DWS)中自动建表时,DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
单击左侧导航树中的“表权限视图”,进入表权限视图页面。 图1 表权限视图 在表权限视图页面,您可以通过切换页签,查看表权限的不同拥有对象: “表-用户”页签:默认展示当前实例下,通过授权对象为用户的权限申请和审批流程所获取的表权限。支持筛选不同的数据源类型,并通过用户名、集群名称、数据库或表名检索。
查看操作历史记录相关数据。 可以通过时间筛选,查看指定操作时间段内的历史操作数据。 可以对“涉及对象”进行过滤,查看作业名称或节点名称相关的历史操作数据。 可以通过模糊查询,查看相关的历史操作数据。 可以对“操作对象”、“操作类型”、“操作人”和“状态”进行过滤,查看相关的历史操作数据。 父主题:
数据源和资源组网络不通如何排查? 问题描述 配置Migration实时集成作业时,检测源端、目的端数据源与资源组的连通性报异常。 图1 连通性检测异常 解决方案 请根据异常项参考下表进行排查。 表1 网络不通排查方法 类型 异常项 方法 数据源 - CDM异常 实例状态检查异常 检查集群是否在及是否正常运行。
审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。
D。 请求参数 参数说明: 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景:连接定义文件在OBS上的路径,连接定义文件的格式参考导出连接的响应消息。 无OBS场景:连接定义文件在本地的路径。 params 否 List<Params> 连接参数,默认值为空。
Driver。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 “驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动:获取地址https://downloads.mysql.com/archives/c-j/,建议5
移有MD5值的文件至目的端,没有MD5值或者MD5不匹配的数据文件将迁移失败,MD5文件自身不被迁移。 若未配置“MD5文件名后缀”,则迁移所有文件。 写入时 该功能目前只支持目的端为OBS。可校验写入OBS的文件,是否与CDM抽取的文件一致。 该功能由目的端作业参数“校验MD5
“datatest”的数据库,其中表名包含“table_name”的数据表。 OBS支持 否 适用组件勾选数据集成后,呈现此参数。 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 使用委托 否 适用组件勾选数据集成后,呈现此参数。 开启委托功能,即可以
移有MD5值的文件至目的端,没有MD5值或者MD5不匹配的数据文件将迁移失败,MD5文件自身不被迁移。 若未配置“MD5文件名后缀”,则迁移所有文件。 写入时 该功能目前只支持目的端为OBS。可校验写入OBS的文件,是否与CDM抽取的文件一致。 该功能由目的端作业参数“校验MD5
图8 发布主题域 新建业务对象。 在主题域“行程记录”下,新建4个业务对象:原始记录、标准记录、行程事实、记录统计。 在主题域“集团”下,新建1个业务对象:供应商。 在主题域“时空”下,新建1个业务对象:时间。 在主题域“公共维度”下,新建1个业务对象:公共维度。 以在主题域“行
息又形成了新的数据,不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示,为数据表对象,为作业节点对象,通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到,wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的,w
审批信息,只读参数。业务对象最近一次的审批信息,包括审批的业务详情、审核人信息、审核时间等。 l1 否 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 否 String 主题域中文名,只读,创建和更新时无需填写。 l3 否 String 业务对象中文名,只读,创建和更新时无需填写。