检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 大数据的数据迁移顺序 元数据迁移 首先,进行元数据的迁移。元数据是描述数据的数据,包括数据结构、数据定义、数据关系等信息。在元数据迁移阶段,需要将原始数据的元数据信息导出,并在目标系统中重新建立或导入元数据,以确保目标系统能够正确理解和解析数据。 历史数据迁移 在元数据迁移完
提供最高程度的业务连续性和数据可用性,在超大规模地域级自然灾害的时候都能保护数据和业务。 RPO 时间取决于数据库复制间隔; 由于容灾站点一直运行,RTO 依赖容灾切换时间,通常取决于 DNS 缓存刷新时间,一般为分钟级,如果采用 GSLB 自动探测切换可进一步降低故障恢复时间。 图1 三AZ高可用设计
所有账号下中间件资源的管理权限 所有其他账号下的运维监控服务(AOM,CES,APM等)的管理权限 自动化运维组 统一监控和运维各个账号下的资源 运维监控账号的Tenant Administrator权限 所有其他账号下的运维服务COC的管理权限 数据管理组 集中部署和管理企业数据平台,将其他成员账号的业
Redis服务一般分为两种大的场景:缓存和数据库存储。在缓存时,一般不用进行迁移数据,大多数场景都是重新在华为云SQL数据库中重新缓存。一般迁移数据都是针对的Redis作为数据库存储使用的场景,其中在web场景下的缓存session时,也可以不用迁移,当客户端重新登录时会在华为云DCS中再一次存储。 离线备份导入
将DevOps工具链、中间件、数据库、微服务引擎、大数据等平台资源以云服务的形式提供给用户,用户基于这些云服务可以开发、测试、部署和运维应用程序。用户不管理或控制底层云基础设施和中间件、数据库、微服务引擎等平台资源,但可以控制已部署的应用程序及其相关的数据。 SaaS SaaS 直接
、社交媒体等各种数据源。通过数据采集和提取,将原始数据收集到大数据平台进行后续处理和分析。 数据集成: 数据集成是将来自不同数据源的数据进行整合和转换的过程。这包括数据清洗、数据预处理、数据格式转换、数据合并等操作,以确保数据的一致性和准确性。 数据存储: 大数据平台需要具备高效
主机迁移是典型的Rehost迁移方式,虽然主机(服务器)上可以承载各种系统应用如Nginx代理、数据库、容器、中间件、大数据等,但由于数据库/中间件/大数据等应用是以数据为核心,对于这类数据层面的迁移我们通常会采用独立的数据迁移方式而非主机迁移,这里讲的主机迁移对应的迁移层级为应用和操作系统。主机迁移的方式主要有以下三种:
志组件、消息组件等,对这些组件进行标准化,确定接口定义、数据格式和错误处理机制,确保组件的一致性和可复用性。然后,将这些公共组件封装成独立的微服务,部署在CSE之上。通过CSE的服务注册中心,实现微服务的自动注册和发现,其他应用系统可以通过调用这些微服务来使用这些公共组件,避免重
中提到的应用灰度切流方案,切换期间不停服。 数据层或应用整体切换不停服方案 准备工作: 华为云应用层和数据层已完成迁移; 华为云应用层和数据层已完成业务验证,可正常使用。 业务切换: 修改两边的配置,使源端应用层指向源端和目标端的中间件层/数据层,目标端的应用层指向源端和目标端的中间件层/数据层,实现双写。注意:双写的数据一致性由应用逻辑保障;
强调通过设计冗余组件、故障全面检测、过载控制和故障快速恢复等技术及流程,确保应用系统能够从各种故障中迅速恢复,即使在意外事件或高负载情况下也能持续提供服务。企业需要规划和实施故障转移策略、备份和恢复机制,以及定期进行灾难恢复演练,以验证应用系统的韧性。 安全性支柱 安全性支柱致力
整集群大小和资源分配,以提高整体性能。 数据安全和权限管理:审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据,并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度:确保大数据任务调度平台的运行和调度正常。优化调度策略,确保任务按时准确完成,并处理可能的故障或异常情况。
运营账号的DSC服务可以对所有成员账号进行统一的数据安全防护,包括针对所有成员账号的统一数据安全风险识别和统一数据保护(数据水印、数据脱敏)。安全运营账号的DBSS服务可以基于Agent采集模式,在网络可达的前提下,实现跨账号的数据库审计和统一信息展现。安全运营账号的CCM服务可
Database Security Service 数据库安全服务 DC Direct Connect 云专线 DCMM Data Management Capability Maturity Assessment Model 数据管理能力成熟度评估模型 DDoS Distributed
档。 数据安全中心 数据安全中心服务(Data Security Center,DSC)是新一代的云化数据安全平台,提 供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力。DSC通过数据安全总览整合数据安全生命周期各阶段状态,对外呈现整体云上数据安全态
转移机制来实现,以确保在硬件或软件故障情况下的数据和任务的持久性。 数据安全和合规性:在云上部署的大数据集群需要有严格的数据安全和合规性保障。采用适当的数据加密、身份验证、访问控制和数据隔离措施,以保护敏感数据免受潜在的安全威胁。 成本效益:在云上部署大数据集群时,需要考虑成本效
源端和目标端的应用层和批处理任务停止服务,防止新数据写入,此时业务无法使用; 等中间件消息队列中的消息消费完成,数据层增量同步到华为云,对比源端和目标端数据层数据一致性; 修改配置,将华为云应用层指向华为云数据层,启动应用服务; 外部DNS域名解析,解析地址从源端切换到华为云,流量进入华为云。 图4 数据层整体切换 应用层灰度切流,数据层分批切换
标签最佳实践 标签设计原则 为华为云资源设计标签时,我们提供以下建议: 请勿在标签中存储用户身份信息或其他敏感信息。 对标签区分大小写格式,并跨所有资源类型一致地应用该格式。 虽然标签有长度规格上限,但尽量不要每个标签都达到标签规格上限,标签长度能标明含义即可。 提前识别标签的应
Network)用于搭建用户本地数据中心与华为云VPC之间便捷、灵活,即开即用的IPsec加密连接通道,实现灵活一体,可伸缩的混合云计算环境。 应用层:负责工作流控制,实现业务逻辑。上承接入层,处理接入层的请求,返回请求结果;下接中间件层或数据层,实现对数据的增删查改。在云上,应用承载的资源主要有:
负载或故障影响,其他AZ也能接受并处理流量。 数据冗余和备份:在不同的AZ中实施数据冗余和备份策略,确保数据的可用性和可恢复性,即使一个AZ的数据丢失或不可用,仍能从其他AZ中的冗余数据进行恢复,确保数据的可用性和完整性。 自动故障恢复:设置自动化故障转移机制,在一个AZ发生故障
已适配ARM的大部分应用场景 鲲鹏内存优化型 鲲鹏 km 与m系列相比,采用鲲鹏处理器,价格更低 数据库/内存数据库 鲲鹏超高I/O型 鲲鹏 ki 与i系列相比,采用鲲鹏处理器,价格更低 大数据/缓存数据库 鲲鹏AI推理加速型 鲲鹏 kai 与ai系列相比,采用鲲鹏处理器,价格更低 深度学习、科学计算、CAE