检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据质量 数据质量监控 数据质量管理围绕着数据从产生要销毁的全生命周期,共分为事前防范、事中监控与事后治理三个阶段。事前防范即依照数据标准对业务源端数据产生的过程进行约束,规避问题数据的产生,同时对已发现的存量数据问题进行修正,从而规避由于数据质量问题导致的后续数据使用异常。在数
管理筛选条件 筛选条件用于筛选符合场景中过滤条件的结果,呈现匹配的结果列表。例如筛选条件添加产品名称和资源类型两个条件,属性分别为“企业主机安全”和“云服务器”,则匹配的结果必须同时符合这两个条件属性。 目前可添加的条件及属性如下: 标题:检测结果的标题内容,可输入关键字。默认按标题搜索。
MapReduce服务 MRS:提供Hudi、Doris、Spark、HBase、Flink、Clickhouse、Hadoop等开源大数据组件,支持湖仓一体、灵活的弹性控制能力。
大数据上云与实施服务 产品介绍 常见问题 计费说明 父主题: 上云与实施
登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域,单击“任务管理”,进入任务管理页面。 单击页面右上角的“新增任务”,右侧弹出新增任务窗口。 根据实际需求,选择大数据组件类型和统计方式,单击“下一步”,进入详细配置页面。
实施步骤 云服务资源准备 应用部署
修订记录 表1 修订记录 发布日期 修订记录 2023-11-02 第一次正式发布。
修订记录 发布日期 修订记录 2023-03-30 第一次正式发布。
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 血缘模板 需要下载血缘模板,并填写相应数据。 父主题: 血缘采集
资产地图 数据资产地图可以通过可视化的手段,从资产概况、分类分级、权限配置、数据存储、敏感数据以及数据出口分析等多种维度查看资产的安全状况。可协助您快速发现风险资产并进行快速风险处理操作。 约束限制 支持显示1000个资产实例。 前提条件 已完成云资产委托授权,参考云资产委托授权/停止授权进行操作。
型能表示的有效位数而无法被感知到,从而使得差异率计算结果为0。 查看校验结果 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域,单击“校验结果”,进入校验结果页面。 通过执行日期,筛选出要查看的执行批次。
规范设计 配置中心 流程设计 主题设计 码表管理 数据标准 关系建模 业务指标 技术指标 维度建模 父主题: 实施步骤
数据服务 创建专享版集群 设置 API 分配配额 新建审核人 开发 API 调用API 父主题: 实施步骤
数据集成 数据集成概述、工具介绍及入湖范围 数据集成前探查 全量数据同步 增量数据同步 父主题: 实施步骤
开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“创建迁移任务”按钮,右侧弹出创建迁移任务窗口。
编辑安全报告 本小节主要介绍创建报告后,如何修改报告基本信息和报告内容。 约束限制 目前分析报告功能处于公测(beta)阶段,如有问题,请联系华为云技术支持进行处理。 报告类型不支持修改。 周期报告可修改报告名称、发送方式、发送时间、接收人、汇报组织、组织图标等信息。 单次报告可
数据资产 概述 数据统一资产视图包括技术资产,业务资产和指标资产。通过元数据采集,将各种数据源元数据信息采集到数据资产模块,作为技术资产呈现。同时支持采集规范设计创建的数据模型,作为业务资产呈现,并与技术资产自动关联。规范设计中创建的指标也会采集并作为指标资产呈现。 图1 数据地图
数据分类、属性L5梳理和数据标准设计、数据分级设计、数据指标设计九大步骤,通过以上步骤完成数据架构规划设计。 数据架构规划设计是一体化政务大数据建设过程非常重要环节,有利于数据资源的梳理以及后续数据资源的管理。 数据调研 业务域L1和主题域L2定义 梳理业务流程 业务流程活动 业务对象L3梳理和数据owner确定
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进
告。投标人职责范围外的工作完成情况不应影响里程碑的完成和验收。 华为方提供服务交付件,客户签名盖章《大数据优化与提升验收报告》或在华为云官网确认验收,服务工作结束。 父主题: 大数据优化与提升服务