检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云大数据组件 常用的华为云大数据服务组件如下，设计大数据部署架构时可参考： MapReduce服务（MapReduce Service，简称MRS） MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群，完全兼容开源接口，轻松运行Hadoop、S
细粒度操作：将云资源的读、写、列表等操作进一步细化，对其细化操作进行鉴权，并将这些细化操作变成可供用户配置的权限操作。以云主机为例，将其读操作细化为读取规格、读取标签、读取服务器详情、读取挂载的磁盘、读取网卡等细粒度操作，这些细粒度操作在用户配置权限的时候是可以自由选择的，这样就可以将权限控制到用户所需的最小操作集合。
如，使用持续集成和持续交付（CI/CD）工具来自动构建、测试和部署应用程序。 基础设施即代码（IaC）：采用基础设施即代码的方法可以将基础设施配置和管理纳入代码库中。这样可以确保基础设施的可重复性、版本控制和自动化部署，从而提高整个环境的稳定性和可靠性。 集中日志和监控：通过集中
降低成本。 自动化伸缩：通过自动化的监控和调度机制，云平台能够根据预设的策略和实时的负载情况，自动进行资源的伸缩。 快速部署和回收：相较于传统的硬件采购和部署周期，云上资源的创建和销毁可以在几秒或几分钟内完成，大幅提高了资源的弹性速度。 提升系统韧性 系统韧性是指系统在面对各种外
东西向网络防护：应该对不同的业务按密级实施分层分级管理，如将不同密级的业务部署在不同的VPC中，通过VPC实施大的网络安全域隔离，通过CFW实施东西向VPC网络之间访问控制，并通过VPC的安全组和ACL在VPC内进一步实施网络微分段隔离。 应用防线 面向互联网发布的应用应该默认部署WAF防护。应用的安全是设计出来的，
数据层或应用整体切换不停服方案 准备工作： 华为云应用层和数据层已完成迁移； 华为云应用层和数据层已完成业务验证，可正常使用。 业务切换： 修改两边的配置，使源端应用层指向源端和目标端的中间件层/数据层，目标端的应用层指向源端和目标端的中间件层/数据层，实现双写。注意：双写的数据一致性由应用逻辑保障；
三AZ高可用设计 设计要点： 生产数据中心和容灾中心分别部署在华为云 2 个不同 Region。 生产中心采用双AZ部署（双活、热备），容灾中心单AZ。 在生产和容灾中心分别部署RDS数据库实例，数据库 1:1:1 主备复制。 生产和容灾中心产生的配置、日志、快照和备份等，通过 OBS 实现跨区复制。
设计 大数据在云上的部署架构设计请参考大数据架构设计，本节不再赘述。这里重点介绍数据迁移方案和任务迁移方案的设计。 设计数据迁移方案 大数据的数据迁移涉及到3类数据，如下表： 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据，短期内不会变化
您需要按照法律法规和行业标准，识别资产中的安全风险，在安全云脑中，您可以按照10多个安全合规遵从包（如：等保、PCI-DSS、ISO27001等）以及最佳安全配置实践对各类云资产的安全配置进行自动检查，生成风险项、加固建议、遵从报告，基于安全云脑提供详细加固指导进行风险闭环管理。您可以进一步使用安全云脑全面清点各
灵活开通导致精细化管控难：云的灵活扩展和支出限制少，有利于业务发展和创 新，但也容易产生资源浪费。如为了追求性能和质量，业务团队配置的资源大 于运行工作负载实际需要，产生过度配置；部分项目新建环境或者扩容实例 后，最后忘记关闭形成闲置等； 企业面对这些问题时，发现难以精细化管理云成本，也难以选
设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件，部署架构设计时，
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
华为云上的应用层和数据层内部域名等配置修改，重启华为云上的应用服务； 外部DNS域名解析，将解析地址从源端接入层切换到华为云接入层，使外部流量进入华为云； 图2 一把切方案 应用层灰度切流，数据层整体切换 应用层灰度切流前做好如下准备工作： 源端应用层已迁移或部署到华为云； 华为云应用层跨
用例来验证系统是否可用。在目标端部署完成后，可以首先执行冒烟测试来确认系统的基本功能是否正常。 全业务功能测试：全面的业务功能测试可以验证系统的所有功能是否正常，通过执行针对各种业务流程的测试用例，确保所有功能模块正常。 日志分析：在目的端业务部署完成后，需要对系统的日志进行分析
境进行集中化的IT治理。CCoE团队赋能应用团队全权负责业务系统所需云资源的部署和运维，这样既可以减轻CCoE团队的负担，又可以提升应用团队的自主性，进一步提升应用系统的敏捷性。为避免各业务单元独立部署和运维云资源带来的标准不统一问题，CCoE团队需要制定相应的IT治理策略强制各
合规性和安全性：安全运营人员可以根据应用数据的敏感度对资源配置标签，确保应用和数据遵循相应的安全和隐私法规，或内部/外部的审计需求。 协助故障排除：运维人员可以利用标签快速定位受影响的资源，加速问题的诊断和解决过程。 协助自动化运维：运维人员可以根据标准化的标签来编写脚本或配置规则，实现自动化任务。比如，自
确保网络安全和性能，满足数据传输要求。 实现网络的弹性和可扩展性，适应业务变化。 规划云网络架构，配置虚拟网络、子网、安全组等。 与安全团队合作，实施网络安全策略。 监控网络性能，优化网络配置。 合规审计专家 确保云化转型符合相关法律法规和行业标准。 降低合规风险，避免法律纠纷和罚款。
业务变化。如在进行一些促销活动时，对资源的需求往往比正常要高出多倍，这时企业在云上就可以通过可视化界面或者 OpenAPI 快速升级资源的配置，将资源调整到更高规格的实例上（如更多的 CPU、内存、带宽、磁盘空间等），以应对活动的流量冲击；而在活动过后，又可以将规格收缩回原来的规格，达到降低成本的目的。
根据不同场景选择不同的解决方法，并且结合多种方法，这样可以更容易地找到一种与需求符合的方法； 不断迭代的方法，使用数据驱动来优化资源类型和配置选项的选择； 性能度量 设置性能度量和监控指标，以捕获关键的性能指标； 使用可视化技术呈现性指标和性能问题（如：异常状态、低利用率等）； 性能监测
间、资源利用率、并发性等。通过监测作业的执行指标和性能指标，可以评估迁移后的作业性能是否符合预期。如果作业的性能有问题，可能需要调整作业的配置参数、优化作业代码或考虑资源调配的问题。 在作业验证过程中，可以使用监控工具、日志分析和数据校验等手段，确保迁移后的大数据任务的可靠性和稳定性。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
