检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
区块链是一种去中心化、分布式的账本技术,可以确保数据的安全性和可信度。以下是区块链如何使能业务创新、与业务结合并推动业务现代化的几个方面: 透明度和可信度:区块链技术通过去中心化的特点,确保所有交易和数据记录被公开透明地存储,并且无法篡改。这为企业创造了更高的数据可信度和透明度,消除了传统中介机构的需求,降低了操作风险。
业务账号设计原则:针对业务部门,建议按照企业当前所定义的业务单元(如子公司、事业部、产品线、部门或项目组等)创建对应的子账号。 IT管理账号设计原则:针对IT部门,可以按照企业当前的IT职责划分不同的IT管理类子账号,如安全运营、运维监控、网络运营、数据平台等子账号。 父主题: Landing Zone设计
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
推数场景:适用于数据源主动向应用推数的场景,切换点在数据源,需要停止旧数据源推数,配置并启动新数据源向应用推数,将应用的数据源从旧数据源切换到新数据源。 图2 推数场景 抽数场景:适用于应用向数据源抽数的场景,切换点在应用,需要先停止应用向旧数据源抽数,然后配置并启动应用从新数据源抽数,
调研:对应用的技术架构进行详细的调研,详细到具体的技术组件和版本信息。 设计:深度调研结果,给出云上的技术架构和规格选型,输出详细的迁移方案和切换方案。 部署:创建云上资源,上云适配改造(如涉及),并做目标环境测试。 迁移:将源端应用和数据迁移到云上目标环境。 验证:进行数据和业务验证。
部署 大数据平台部署 大数据平台的部署可以参考如下方法: 大数据集群部署 基于架构设计的原则,云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hado
工具,将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务(CDM)可以轻松将外部数据源(关系数据库、对象存储服务、文件系统服务等)加载到Hive分区表。详细操作指导请参考官网文档。 MRS HDFS数据迁移到OBS CDM支持将MRS HDFS的数据迁移到OBS,详细操作指导请参考官网文档。
估维度和众多评估问题,您可能无法在一次评估中全部涵盖,您可以聚焦于组织当前发展阶段和业务目标最相关的方面,选择其中一部分关键维度进行评估。通过与相关业务部门、技术团队的沟通,明确当前最需要提升的领域,确保评估能够聚焦于对组织最有价值的方面。这一步骤的目标是制定一个清晰、可执行的评
响应能力。 业务运行态数据的智能运营,是指导团队开展工作持续改进的核心基础能力,需要构建一套实时的采集以及数据运营系统,以支撑业务决策。 智能运维是未来 智能运维工具能够提高运维工作的效率和质量,降低人力成本。尤其是AI 时代,通过引入自动化、智能化等技术手段,团队可以更加高效地管理和维护系统,有几个原则:
安全是一项系统工程,适用木桶原则,任何一项安全短板都会降低整体安全性,因此要避免安全短板的出现。 人和数据分离(Separation of people and data) 利用工具和管理机制减少人员直接访问和处理数据的必要性,减少处理敏感数据时出现人为错误和人为删改的风险。 DevSecOps 将安全性纳入到整
的四层部署架构,即接入层、应用层、中间件层和数据层,同时还要调研每一层技术组件的详细信息,比如规格、版本、容量等。具体的调研内容如下: 调研应用的四层部署架构 收集接入层、应用层、中间件层和数据层的详细信息,收集三种关联关系(共享数据、共享服务器、应用间通信依赖),可以参考下表收集应用的详细部署架构:
运维监控账号的Tenant Administrator权限 所有其他账号下的运维服务COC的管理权限 数据管理组 集中部署和管理企业数据平台,将其他成员账号的业务数据统一采集到数据平台进行存储、处理和分析 数据平台账号的Tenant Administrator权限 公共服务管理组 集中部署和管理
27001等。 具备数据分析和报告撰写能力。 拥有良好的沟通和人际交往能力。 具备一定的云技术知识。 IT部门 云培训师 开发和交付云计算相关的培训课程,涵盖云基础设施、云架构设计、云运维、云安全等方面。 推广用云和管云的最佳实践,通过最佳实践减少云化风险。 扎实的云技术知识和实践经验。
如何将用户进行分组?又应该为用户组设置哪些权限? 云资源、数据和应用如何满足国家、行业和企业自身的安全合规标准? 误操作、恶意操作和权限错配在所难免,如何规避由此产生的风险? 员工密码和密钥容易丢失或泄露,如何避免由此带来的数据泄露风险? 在尽量保留原有IT治理模式的前提下,如何将其迁移到公有云上?
应用代码进行读写分离改造,改造后再按照8.4.3.3写服务关停方案实施,实现只读不写的效果。 图3 应用改造方案 中间件层/数据层配置只读 中间件层和数据层收回业务账号写权限,不允许服务写中间件层/数据层的操作。 图4 中间件和数据只读方案 父主题: 设计切换方案
迁移时,和关键人员及时沟通。 任务依赖关系 识别关键任务,识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取,并辅助一些调研访谈进行补充和确认。 父主题: 大数据调研
管理流程和规范,使得各项IT工作更加有序和透明,减少了因管理松散导致的错误和安全漏洞。其次,专业的中心IT团队具备更强的技术能力和经验,能够及时引入先进的技术和最佳实践,为企业提供高水平的IT支持。 集中化IT管理还有效降低了运营成本。通过统一的资源规划和采购规模化,企业可以获得
际情况和需求综合考虑。 表1 三种资源开通方式对比 开通方式 场景 优点 缺点 Console控制台手动开通 适用于比较少的资源发放场。 技术门槛低 资源量大的情况下,人力投入较大。 脚本调用API开通 量比较大的场景。 业务定制需求,程序运行按需调用,实现资源的自动创建与删除。