检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库同步:云上使用RDS数据库服务,进行跨AZ主备部署,跨AZ间数据同步。 灾难恢复切换:当AZ发生故障时,RDS 数据库等自动切换至备库,应用层自动或者通过 SDRS 的一键容灾切换功能切换至其他AZ。 容灾演练:通过应用切换或 SDRS 提供的容灾演练功能进行一键演练。
数据冗余和备份:在不同的AZ中实施数据冗余和备份策略,确保数据的可用性和可恢复性,即使一个AZ的数据丢失或不可用,仍能从其他AZ中的冗余数据进行恢复,确保数据的可用性和完整性。
Sorl数据节点:Sorl Data节点2AZ平均分布。索引分片至少设置(N/2)+1副本,在2AZ其中任意一个AZ整体宕机情况,确保集群始终有一份完整的副本确保数据高可用。
单可用区 单可用区(SFS Turbo)/单或多可用区(通用文件系统) 单可用区/多可用区 数据可靠性 9个9 10个9 单AZ:11个9;多AZ:12个9 存储计费方式 按容量计费 SFS Turbo按容量计费/SFS通用文件系统按使用量计费 按使用量计费 以下是存储服务的选型原则
大数据 大数据是指规模庞大且复杂的数据集合,对于企业来说,如何收集、存储和分析大数据具有重要意义。以下是大数据如何使能业务创新、与业务结合并推动业务现代化的几个方面: 数据驱动决策:大数据分析可以帮助企业从海量数据中提取有价值的信息和洞察力,为决策提供支持。
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
采用适当的数据加密、身份验证、访问控制和数据隔离措施,以保护敏感数据免受潜在的安全威胁。 成本效益:在云上部署大数据集群时,需要考虑成本效益。云服务提供商可以提供弹性的计算和存储资源,避免了对物理硬件的直接投资和维护成本。
数据存储: 大数据平台需要具备高效的数据存储能力,以承载海量的数据。常见的数据存储技术包括分布式文件系统(如HDFS)、列式数据库(如HBase)等。这些存储系统提供高可靠性、可扩展性和容错性,以支持大规模数据的存储和访问需求。
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。详细信息请参考官网文档。
线下DES磁盘拷贝 数据量较大,增量少的TB级数据 - OMS工具+回源迁移:对象存储迁移服务OMS作为易用、高效的线上数据迁移服务,通过调用源端对象存储的SDK,可快速传输数据并对数据进行加密存储,将数据复制到华为云OBS,可以帮助把对象存储数据从其他云服务商对象存储服务中的数据轻松
对海量数据支持更好 适用于将源端对象存储、网络文件存储,大数据存储迁移至华为云OBS对象存储、华为云SFS弹性文件存储、华为云大数据存储中的海量数据迁移。
大数据任务调度平台的组件要1:1对标设计,版本尽量不变更,有版本升级需求的需要评估适配改造工作量。 弹性和可扩展性:在云上部署大数据任务调度平台时,应考虑平台的弹性和可扩展性。云环境提供了弹性计算和存储资源,可以根据工作负载的需求自动调整容量。
华为云数据中心布局于全球,可以满足不同地域(Region)的资源需求,每个地域又分多个可用区(AZ),可用区之间的风火水电相互独立,可用区之间的故障相互隔离。
如下图所示,可信身份从互联网(不可信网络)访问云资源的请求会被拒绝,不可信身份通过本地数据中心网络(可信网络)访问云资源的请求也会被拒绝,可信身份访问其他企业的对象存储桶(不可信资源)的请求还会被拒绝,只有可信身份通过本地数据中心网络(可信网络)访问本企业的云资源的请求是允许的。
大数据调研 平台调研 数据调研 任务调研 父主题: 调研评估
数据调研 数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。
业务容器POD多副本均衡的跨AZ部署,通过华为云CCE容器引擎的调度策略实现,从而确保业务负载跨数据中心高可靠; DCS Redis跨AZ主备部署,确保跨可用区的高可靠;DMS Kafka构建跨双可用区或三可用区集群,确保消息的高可靠;CSS云搜索引擎服务可以跨AZ集群部署,单
文件类数据一致性验证的方法如下表所示: 表4 文件数据一致性对比方式 类型 对比项 工具 描述 对象存储 对象数量 OMS OMS迁移工具,通过MD5校验文件完整性和比对两边桶对象数据量是否一致。
图1 三AZ高可用设计 设计要点: 生产数据中心和容灾中心分别部署在华为云 2 个不同 Region。 生产中心采用双AZ部署(双活、热备),容灾中心单AZ。 在生产和容灾中心分别部署RDS数据库实例,数据库 1:1:1 主备复制。