检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据治理中心（DataArts Studio） DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据湖底座，例如MRS Hive、数据仓库服务DWS等，也支持对接企业传统数据仓库，例如Oracle、MySQL等。详细信息请参考官网文档。
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平台上没有对应的大数据任务调度组件
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
大数据 大数据是指规模庞大且复杂的数据集合，对于企业来说，如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面： 数据驱动决策：大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力，为决策提供支持。通过对历史数据和实时数据的分析
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是传感器
选择合适的数据存储方案，例如关系型数据库、NoSQL数据库、数据仓库等。 确保数据的质量、安全性和合规性。 与应用架构师和云架构师紧密合作，确保数据架构与整体架构的兼容性。 深入理解数据建模、数据仓库、数据湖、数据治理等概念和技术。
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件
精细化成本运营 精细化成本运营基于FinOps 理念，将财务管理与云资源运营相结合，旨在帮助企业优化云资源的使用和成本管理。 通过基于FinOps 的成本全生命管理体系，企业可以在云环境中实现精细化的成本控制和资源分配。这种管理体系允许企业按照不同的粒度进行成本分析和管理，包括子公司
数据边界 华为云提供了全方位数据边界保护您的敏感数据，全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份，在符合安全标准的可信网络环境中，方能获得对特定资源的访问权限，从而保障数据安全。如下图所示，可信身份从互联网
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要为业务提供即时数据支撑
数据层迁移实施 对象存储迁移 对象存储适用于存储非结构化的数据，我们日常生活中见到的文档、文本、图片、XML、HTML、各类报表、音视频信息等等都是非结构化数据。不同的量级对应了不同的迁移方式，如下图所示： 图1 对象存储迁移方案 表1 三种对象存储迁移方式说明 对象存储 迁移方式
数据验证 数据验证标准 迁移完成后，需要对源端和目的端数据做一致性比对，对于数据一致性比对的精度，不同的场景有不同的要求。一般来说，核心业务的数据库表要求源端和目的端100%一致；对于大数据类业务中的部分场景，例如用户画像计算等，可以约定原始数据90%一致。如下是一个参考标准，可根据实际情况调整
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
优化建议：建立全面的评估指标体系，综合考虑成本、性能、安全性、可扩展性、可运维性等多个方面。 低估迁移复杂性 认为上云只是一个简单的技术迁移，而忽视了应用程序架构、数据依赖关系及其对业务流程的影响，导致迁移后出现各种问题。
安全参考框架 基于上述安全设计原则，华为云推荐采用“一个中心 + 七层防线”的安全参考框架和华为云提供的云原生安全服务来构筑企业的云上安全防护体系，如下图所示。该安全框架完全遵守了纵深防御原则，将各种安全防护措施有机组合起来，针对保护对象（企业的关键业务系统和核心数据），因地制宜的部署合适的安全措施
概述 安全防护三分在于技术，七分在于运营。安全运营是指在云计算环境中，通过持续监控、检测、响应和改进，确保云资源、数据和应用的安全性。这种方法强调安全防护是一个持续的过程，而不是一次性的任务。只有通过持续的、有效的安全运营才能将多道安全防线有效协同起来，共同保障业务系统的安全稳定运行
概述 当企业上云规模逐渐变大，在云上有数十上百个应用系统和海量云资源，包括企业自有员工、外包员工及合作伙伴的员工在内的大量用户需要访问和操作这些云资源，量变导致质变，资源闲置、误操作、恶意操作、数据泄露和权限错配等风险将随着用云规模呈现指数级增长。 您需要开始着手构建精益化、集中化和结构化的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
