检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全，定期进行备份和恢复演练。 优化数据库性能，解决查询慢、锁等待等问题。 管理数据库的权限和访问控制，确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库（如MySQL、PostgreSQL等）的管理。
简称DIS） 处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。详细信息请参考官网文档。 云数据迁移（Cloud
当前企业业务中使用比较多的中间件类型为缓存中间件和消息中间件。中间件作为数据存储的临时场所，数据一般不用迁移，但在切换时，为了确保源端和目的端数据的一致性，需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的，即作为数据库使用，此场景需要进行数据的迁移。所以中间件的迁移方案需结合业务使用
全方位数据边界 全方位数据边界基于身份控制策略、网络控制策略和资源控制策略构筑起一道坚固的数据安全屏障。确保只有经过严格验证的可信身份，在符合安全标准的可信网络环境中，方能获得对特定资源的访问权限，从而保障数据安全。如下图所示，可信身份从互联网（不可信网络）访问云资源的请求会被拒
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。一般从如下三方面验证： 验证作业执行的成功率
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平
数据层迁移方案 数据层主要负责业务数据的持久化，为上层业务逻辑的实现提供数据支持，数据层包括两类数据，结构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要
大数据调研 平台调研 数据调研 任务调研 父主题： 调研评估
运营账号的DSC服务可以对所有成员账号进行统一的数据安全防护，包括针对所有成员账号的统一数据安全风险识别和统一数据保护（数据水印、数据脱敏）。安全运营账号的DBSS服务可以基于Agent采集模式，在网络可达的前提下，实现跨账号的数据库审计和统一信息展现。安全运营账号的CCM服务可
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题： 采用实施
和性能。 未考虑合规性和法律要求 在设计云上部署架构时，未考虑数据存储和访问的合规性要求，可能导致法律风险和数据泄露问题。 优化建议：在设计上云方案时，确保了解相关的法律法规和合规要求，建立数据治理和安全策略，确保数据的存储、访问和处理符合当地法规。 通过识别和避免这些反模式，并
部署 大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hado
容器编排与管理：如果需要管理多个容器实例、自动扩展和负载均衡等功能，可以使用容器编排工具，如Kubernetes。通过编写配置文件或使用命令行工具，定义容器的部署和运行方式。 网络和存储配置：配置容器之间的网络通信和访问外部资源的方式。确保容器可以与其他容器、数据库、消息队列等进行交互，并确保数据持久性和可靠性。
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储
Ingress网关高可用：ELB实例开启多可用区，ELB Ingress即支持跨可用区高可用。 应用高可用：K8S本身就支持应用高可用，可通过配置TopologyKey实现pod跨AZ分布。 图2 应用层高可用设计示例 中间件层-Redis高可用 主备实例配置了数据持久化，数据不仅会持久化到
切换类型 方案说明 数据一致性风险 业务改造投入 停服时长（小时） 读 写 停服切换 最常用的切换方式，停止服务切换能重复保证数据一致性 低 低 0.5~3.5 停写不停读切换 较少用的切换方式，需要业务整改来实现停写不挺读，停止写服务切换能充分保证数据一致性 低 中 不停 0.5~3
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题： 方案设计
应用代码进行读写分离改造，改造后再按照8.4.3.3写服务关停方案实施，实现只读不写的效果。 图3 应用改造方案 中间件层/数据层配置只读 中间件层和数据层收回业务账号写权限，不允许服务写中间件层/数据层的操作。 图4 中间件和数据只读方案 父主题： 设计切换方案
请勿在标签中存储用户身份信息或其他敏感信息。 对标签区分大小写格式，并跨所有资源类型一致地应用该格式。 虽然标签有长度规格上限，但尽量不要每个标签都达到标签规格上限，标签长度能标明含义即可。 提前识别标签的应用场景，比如成本管理、运维和自动化、细粒度权限控制、数据分类、安全运营等，并据此制定标签键值规范，下面会介绍。
调研数据流： 调研大数据平台及业务的架构图及数据流图，如下图： 大数据平台及业务的架构图和数据流图。 平台数据接入源。 数据流入方式（如：实时数据上报、批量数据抽取）。 分析大数据平台数据流向，数据在平台内各个组件间的流向，例如：数据采集组件类型、采集组件下一层、存储数据组件，数据处理过程中的工作流等。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
