检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
安全组和ACL在VPC内进一步实施网络微分段隔离。 应用防线 面向互联网发布的应用应该默认部署WAF防护。应用的安全是设计出来的，要重视在软件安全工程上的投入，提高应用的内生安全能力。从安全风险的角度，应优先关注面向外部网络暴露的应用，同时要识别内部核心关键应用，对这些应用优先实施针对性的安全加固。
自上而下，从最高层面强调和践行质量的重要性，并将其纳入核心价值观。 构筑开发与运维团队共同的质量目标和方法。 在运维团队开展组织变革，不断提升组织能力，牵引用软件工程的方法解决问题，从“消防员”向“建构师”转型。 高可用架构是前提 高可用架构是确定性的前提，通过设计合理的架构，可以降低系统故障的风险
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
容器：容器虚拟化技术已经成为广泛认可的容器技术服务器资源共享方式，容器技术可以在按需构建容器技术操作系统实例的过程当中为系统管理员提供极大的灵活性。 中间件层：负责应用软件在不同的技术之间共享资源，管理计算资源和网络通信，主要解决分布式环境下的数据传输，数据访问，应用调度，流程管理等。在云上，常用的业务中间件有：
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
安全运营账号需要到公网获取系统补丁包； 数据平台需要获取第三方云和本地DC的数据； DevOps账号需要从Github下载代码，需要将软件制品部署到各个业务账号； 公共服务账号需要与本地IDC互联； 生产、开发、测试环境要求网络隔离。 图2 各账号VPC网络的连通性矩阵 日志
细功能和详细使用方法，请参考官网帮助文档。 漏洞管理服务 漏洞管理服务（CodeArts Inspector）是针对网站、主机、移动应用、软件包/固件进行漏洞扫描的一种安全检测服务，目前提供通用漏洞检测、漏洞生命周期管理、自定义扫描多项服务。扫描成功后，提供扫描报告详情，用于查看
大数据参考架构 下图是典型的大数据架构，从数据集成、存储、计算、调度、查询和应用，构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程，企业可以根据实际需要选择云服务或自建大数据组件： 业务数据源： 业务数据源是大数据平台的数据输入来源，可以是
数据层迁移实施 对象存储迁移 对象存储适用于存储非结构化的数据，我们日常生活中见到的文档、文本、图片、XML、HTML、各类报表、音视频信息等等都是非结构化数据。不同的量级对应了不同的迁移方式，如下图所示： 图1 对象存储迁移方案 表1 三种对象存储迁移方式说明 对象存储 迁移方式
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要
数据边界 华为云提供了全方位数据边界保护您的敏感数据，全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份，在符合安全标准的可信网络环境中，方能获得对特定资源的访问权限，从而保障数据安全。如下图所示，可信身份从互联
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
全方位数据边界 全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份，在符合安全标准的可信网络环境中，方能获得对特定资源的访问权限，从而保障数据安全。如下图所示，可信身份从互联网（不可信网络）访问云资源的请求会被拒
造成高度可伸缩、弹性和可靠的微服务架构，并将其迁移到云环境中。 微服务架构优化 我们经常看到一些互联网企业的业务发展非常快，不同业务单元的软件工程师不断增加新的微服务或重复开发实现同样业务功能的微服务，导致微服务架构非常混乱，像毛线团一样，严重影响了TTM，也导致问题定位非常耗时
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息： 大数据平台调研，包括大数据集群、任务调度平台、数据流向。 数据调研，包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
设计 大数据在云上的部署架构设计请参考大数据架构设计，本节不再赘述。这里重点介绍数据迁移方案和任务迁移方案的设计。 设计数据迁移方案 大数据的数据迁移涉及到3类数据，如下表： 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据，短期内不会变化
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
