检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据架构设计：大数据的部署架构设计包括大数据集群部署架构设计、大数据任务调度平台部署架构设计和大数据应用部署架构设计，其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。 在做云上架构设计时，企业可以参考TOGAF的架构设计方法论，可以关注其
企业中使用华为云的用户，一次性配置企业的身份管理系统与华为云的单点登录，以及所有用户对组织下账号的访问权限。管理员集中创建用户，分配登录密码，并对其进行分组管理。集中权限管理加强了对用户权限的控制，防止未经授权的访问，保障系统的安全性。 公共资源管理：企业内部的公共IT资源，如D
数据安全和权限管理：审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据，并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度：确保大数据任务调度平台的运行和调度正常。优化调度策略，确保任务按时准确完成，并处理可能的故障或异常情况。 异常处理和故障恢复
到其他账号。 华为云账号也是安全管理边界，每个账号都有独立的身份和权限管理系统，一个账号内的用户只能访问和管理本账号的资源，未经显式的授权，一个账号内的用户不能访问其他账号的资源、数据和应用。 华为云账号还可以作为独立的账单实体，每个账号可以单独在华为云上充值、消费云资源、结算和开票。
按照生产、开发和测试等运行环境划分不同的VPC。 按照应用架构分层划分Web、应用、数据等子网。 上述网络架构的核心是网络运营账号，作为连接其他账号的网络枢纽，其他账号之间的通信必须通过该账号的ER进行。ER可以通过设置路由规则决定哪些VPC之间的网络可以连通，华为云基于以下假设并根据各个账号的职责梳理各个
f/rdb）上传至DCS所在的Region的OBS。 S3：创建OMS任务，将S3中的rdb备份文件迁移传输到DCS所在的Region的OBS。 创建DCS迁移任务： 在DCS服务中的数据迁移模块创建迁移任务，选择备份文件导入方式，并选择OBS中源端的aof/rdb备份文件，填写其余选项，启动迁移任务。
在首次数据加载时，能极大的提高写入效率，并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现，每一个子目录包含了分区对应的列名和每一列的值。当分区很多时，会有很多
等，作为非核心业务的数据，如果有微量损失，并不会影响客户的业务使用和体验。建议若切换时间有限，可以只进行数据的行数对比。 边缘业务 90% 电商系统的首页推荐数据、用户浏览数据、用户画像数据等，如果有一部分损失，并不会影响客户的业务使用可体验。建议进行表级的的行数对比，抽样内容对比。
应用部署架构的调研是在试点迁移或大规模迁移阶段进行的，应用部署架构是基于单个应用进行调研的，主要调研应用的四层部署架构，即接入层、应用层、中间件层和数据层，同时还要调研每一层技术组件的详细信息，比如规格、版本、容量等。具体的调研内容如下： 调研应用的四层部署架构 收集接入层、应用层
目的端的转发路径，并持续观测一段时间后，再切断此转发路径。 设计回退操作步骤 在切换过程中，出现严重问题无法短时间解决的必须进行回退，以恢复到切换之前的状态，避免对业务造成不可逆的影响。以下是设计业务回退步骤的关键点： 正向操作的每个步骤操作失败都可能导致回退，所以回退的可能场景会比较多，每个可能的回退场景均需考虑。
系统组件进行适当的访问控制和加密，以防止未经授权的访问和数据泄露。 性能优化：在云上部署任务调度平台时，需要考虑性能优化。优化资源配置、任务调度算法和数据分发策略，以提高任务执行的效率和速度。还可以利用云平台提供的服务和功能，如缓存、预取数据等，来优化任务执行的性能。 父主题： 大数据架构设计
保障：业务切换后进行一段时间的实时监控和特别运维保障。 调研 应用迁移小循环需要调研的信息主要集中在单个应用级别，前面阶段获取的调研信息可以复用。 本阶段主要是“由粗到细”打开到能够指导迁移实施的详细程度。 调研方法请参考应用系统调研的内容，需要调研的内容包括应用的技术架构、详细的组件信息。 图3
迁移中心（MgC）：是一站式迁移平台，集成了华为云的各个迁移工具，内置了由最佳实践总结而来的迁移工作流模板，您可以根据不同迁移场景，选择合适的迁移模板构建迁移工作流。具体功能及使用方法请查看MgC帮助文档。 资源发现与评估工具（RDA）：是一个部署在Windows主机上的工具，用于评估上云驱动力和准备度，
资源的权限，该共享方式更加安全。目前支持通过RAM进行跨账号共享的资源清单请参考官网文档。 基于资源策略的共享：通过资源策略授予其他账号访问资源的权限，如OBS服务的桶策略、IMS服务的共享镜像和CBR的共享备份等。 父主题： Landing Zone参考架构
调研数据格式类型和压缩算法： 调研平台对数据的安全性和权限控制机制，例如数据加密、用户访问权限管理等。 了解大数据集群的高可用性和容错机制，包括故障恢复、备份策略、容灾方案等。 调研大数据任务调度平台 需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术，调度任务类型，可视化
和安全事件的发生。 通过云化转型提升IT部门的价值。 辅助CIO制定云化转型战略和具体的云化目标。 选择适合组织的云服务模式，评估不同云服务商的方案，制定技术规范。 建立专门的云化转型团队，培养和引进云计算人才。 担任云化项目的总负责人，推进云基础设施的建设和业务系统的云化。 人力资源主管
熟悉主流云平台的计费模式和成本管理工具。 熟悉常用的云成本优化方法。 具备项目管理能力，能够推动跨部门的协作和变革。 IT部门内部培养或者外聘 云成本运营工程师 监控和分析云资源的使用情况，识别成本节约机会。 生成详细的成本分析报告，为决策提供数据支持。 与云运维团队和应用团队合作，优化应用系统的成本效益。 实施成
情况下的数据和任务的持久性。 数据安全和合规性：在云上部署的大数据集群需要有严格的数据安全和合规性保障。采用适当的数据加密、身份验证、访问控制和数据隔离措施，以保护敏感数据免受潜在的安全威胁。 成本效益：在云上部署大数据集群时，需要考虑成本效益。云服务提供商可以提供弹性的计算和存
这一阶段至关重要，因为它直接影响着云上IT基础设施和业务系统的性能、可靠性、安全性和成本效益。通过持续和有效的运维治理，企业能够确保云资源的高效利用，保障业务的连续性和稳定性，实现对云环境的全面掌控，最大化云化转型的收益。 运维治理阶段需要针对云上IT基础设施、应用系统和大数据
IT资源的用户映射到华为云上。 例如HR部门不管理、不查看、不操作任何云上IT资源，就不需要在华为云上创建一个对应HR部门的组织单元；财务小张不负责IT系统的成本核算、分析和预算管理，就无需为小张在华为云上创建一个拥有财务管理权限的用户。 华为云提供以下组织单元和账号的参考架构，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
