检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 自动创表场景下,需在目的端表中提前手动新增字段,再在字段映射里新增字段。 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。
待质量作业运行成功后,单击左侧导航菜单的“质量报告” 默认展示技术报告,如下图所示。 图1 技术报告 单击“业务报告”页签,查看业务报告,如下图所示。 图2 业务报告 父主题: 使用教程
检查集群版本与权限 统一权限治理对数据连接Agent、数据源版本和用户权限等均有相应的要求。在使用前,您应先检查并准备相关配置。 同步IAM用户到数据源 将IAM上的用户信息同步到数据源,以实现不同用户访问数据源时,能够根据其自身用户信息管控用户访问数据的权限。
请检查OBS文件。 400 DLF.1006 The job node is empty. 作业的节点为空。 请检查节点。 400 DLF.1242 The OBS bucket does not exist. OBS桶不存在。 请检查OBS桶。
连通性检查异常 请检查“管理中心 > 数据连接”,数据连接是否配置正确,“IP或域名”是否填写的内网IP,绑定Agent是否状态正常。
obs_service_type 否 String 业务类型,technology表示技术报告,business表示业务报告,仅限于导出质量报告使用。
obs_type 否 String 导出类型,技术报告:technology,业务报告:business,当导出质量报告时,该字段是必填项。
如果作业出现大批量的失败: 先检查DES盒子是否被写满。如果写满,需要清除最近写入的目录,保证后面写入的数据都是完整的。 再检查网络是否连通。 检查客户的HDFS集群。检查是否有指标异常的现象,如果有,则需要暂停迁移任务。 父主题: 车联网大数据零丢失搬迁入湖
数据质量监控 数据质量监控简介 新建数据质量规则 新建数据质量作业 新建数据对账作业 查看作业实例 查看数据质量报告 父主题: 数据质量
Ranger权限访问控制 配置资源权限 查看权限报告 父主题: 统一权限治理
如果该作业在基线任务链路上,暂停调度/停止调度时,系统会自动给出基线关联的弹窗提示。 如果该作业在基线任务链路上或者被其他作业依赖, 暂停调度/停止调度时,系统会自动给出弹窗提示。
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 任务实例接口 质量报告接口 导入导出接口
解决方案 建议您通过以下措施解决此问题: 检查CDM集群是否被关机。 是,将CDM集群开机后,确认管理中心的数据连接恢复正常。 否,跳转至步骤2。 检查该CDM集群是否同时被用于数据迁移作业和管理中心连接代理。
质量报告 系统根据作业的结果,会自动生成质量报告。 父主题: 数据质量监控
指标应用场景 描述该指标重要的应用场景,包括在线报表、例行报告、汇报材料等。 备注 在指标描述之外还需要补充的信息,有助于正确理解和使用该指标。 度量对象 衡量该指标的度量字段,如果不涉及可以不填写。
统一权限治理 权限治理使用流程 授权dlg_agency委托 检查集群版本与权限 同步IAM用户到数据源 数据权限访问控制 服务资源访问控制 Ranger权限访问控制 父主题: 数据安全
注意复制后检查数据的行数及数据分行的正确性(注意,如果是从PDF文档中复制样例数据,单行的数据过长时会产生换行,需手动重新调整为单行)。
数据资产报告 数据资产总览与统计信息展示。 数据服务 数据服务是基于数据分发、发布的框架,将数据作为一种服务产品提供,满足客户的实时数据需求,能复用并符合企业和工业标准,兼顾数据共享和安全。
DWR:Data Warehouse Report,又称数据报告层。DWR基于多维模型,和DWI层数据粒度保持一致。 维度:维度是用于观察和分析业务数据的视角,支撑对数据进行汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。
基于ISO8000标准,华为建立了数据质量管理框架和运作机制,每年例行开展两次公司级数据质量度量,从“设计“与”执行”两个方面度量数据质量,由公司数据Owner定期发布公司数据质量报告,牵引各业务领域持续改进数据质量。