检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Key-value内容对比 开源Redis-Full-Check工具 通过全量对比源端和目的端redis中的数据内容的方式来进行数据校验,其工具实现方式会多次抓取源和目的端的数据进行差异化比较,记录不一致的数据进入下轮对比。然后通过多轮比较不断收敛。最后sqlite中存在的数
企业经常面临向HBase中导入大量数据的情景,向HBase中批量加载数据的方式有很多种,最直接方式是调用HBase的API使用put方法插入数据;另外一种是用MapReduce的方式从HDFS上加载数据。但是这两种方式效率都不是很高,因为HBase频繁进行flush、compact、s
Service,简称DES) DES是面向TB到数百TB级数据上云的传输服务,目前支持Teleport和磁盘两种数据传输方式。磁盘方式适用于30TB以下的数据量迁移,Teleport方式适用于30TB~500TB的数据量迁移,500TB以上的数据量建议通过专线迁移。详细信息请参考官网文档。 父主题:
调研评估 概述 组建调研评估团队 基础设施调研 应用系统调研 大数据调研 调研方式 云服务选型 调研评估的反模式
读 写 停服切换 最常用的切换方式,停止服务切换能重复保证数据一致性 低 低 0.5~3.5 停写不停读切换 较少用的切换方式,需要业务整改来实现停写不挺读,停止写服务切换能充分保证数据一致性 低 中 不停 0.5~3.5 不停服切换 很少用的切换方式,需要业务整改来实现双写或者双
功能,可以使用容器编排工具,如Kubernetes。通过编写配置文件或使用命令行工具,定义容器的部署和运行方式。 网络和存储配置:配置容器之间的网络通信和访问外部资源的方式。确保容器可以与其他容器、数据库、消息队列等进行交互,并确保数据持久性和可靠性。 安全性和监控:确保容器化环
步工具、ETL工具或自定义脚本等方式实现数据源的连接和数据同步。离线计算任务的数据源可以使用数据同步工具CDM、ETL工具或自定义脚本实现数据接入;对于实时计算任务的数据源,可以使用Kafka MirrorMaker、Nginx流量镜像配置等方式,将实时数据上报到双跑的两个平台。
节点故障时快速恢复业务的需求,主要利用集群内节点故障自动探测和切换的方式来完成故障节点的恢复,消除业务单点,避免单点故障时业务受损。 双AZ(同城)高可用:对业务可用性要求比较高的业务,可以选择同城多机房的方式部署业务,这样可以避免单机房网络、物理设备、电力等故障时导致业务整体不
等,并根据业务需求划分它们的功能,如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围,以及它们处理的数据类型和数据流转的方式。 调研用于处理实时数据和离线数据的组件,例如实时数据可能使用Apache Kafka、Apache Flink等,离线数据可能使用Hadoop、Spark等。
调研数据分层主要用于迁移优先级和数据校验标准。 数据接入层、中间层、结果层 数据权限 根据源端数据权限控制组件的不同,选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据,用于迁移优先级和数据校验标准。 交易类是核心数据,日志类是非核心数据
单AZ:11个9;多AZ:12个9 存储计费方式 按容量计费 SFS Turbo按容量计费/SFS通用文件系统按使用量计费 按使用量计费 以下是存储服务的选型原则: 业务适用原则 首先要根据业务场景选择适用的存储类型,重点考虑如下几个方面: 可用的访问方式:EVS盘或SFS文件系统挂载到主
调研目标应用所需的网络连接和传输协议。确定上云后是否需要进行网络配置和访问控制,以确保应用程序可以与相关的外部系统正常通信。 外部关联关系主要靠如下方式去做调研,可以多种方式结合,以提高调研效率和结果完整度: 文档和现存资料 阅读现有的文档和技术资料,包括应用程序的架构图、部署说明和运维手册等。这些资
Kafka构建跨双可用区或三可用区集群,确保消息的高可靠;CSS云搜索引擎服务可以跨AZ集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MyS
支撑云实施团队提供业务系统的现状进行调研,为其提供资源现状、应用架构、部署架构、依赖关系等信息。 负责设计和管理业务系统在云上的应用架构,包括应用的架构模式、技术选型、部署方式等,确保应用的性能、可扩展性、安全性和可靠性。 与数据架构师和云架构师紧密合作,确保应用架构与数据架构和云架构的兼容性。 指导开发团队进行应用开发和部署。
策略来满足他们的需求,减少潜在的阻力。请参考章节干系人利益分析。 积极开展沟通: 制定详细的沟通计划,明确沟通的目标、内容、方式和时间表。采用多种沟通方式,例如会议、培训、邮件、内部网站等,确保所有干系人都能了解云化转型的进展和影响,以及需要干系人提供什么样的支持。 意见反馈机制:
Zone为了实现统一管控的目标,IT管理人员需要通过IAM身份中心的多账号授权方式访问和管理其他账号下的云资源。例如,IaaS管理员和PaaS管理员需要统一管理企业范围内各个账号的IaaS资源和中间件资源,这就需要采用IAM身份中心提供的多账号授权方式访问部署在其他账号下的IaaS资源和中间件资源,如下图所示。
验证作业执行结果的一致性 验证大数据任务执行结果的一致性,对比新旧大数据平台的作业输出结果数据是否一致。可以使用对比工具、数据校验脚本或手动检查的方式进行验证。如果发现数据不一致的情况,可能需要考虑迁移过程中的数据转换、数据格式或数据处理逻辑的问题,并进行相应的修复和调整。 作业执行的性能验证
应用接口性能压测 你可以使用以下两种方式针对应用接口进行性能测试,一种是采用华为云提供的云原生性能测试工具CodeArts PerfTest,另一种是使用Goreplay。两种方式的优缺点如下表所示。 表6 接口性能压测方式对比 测试工具 压测方式 优点 缺点 CodeArts PerfTest
持。这有助于加快业务流程,减少人力资源消耗,并提高决策的准确性和效果。 个性化和客户体验:AI技术可以通过个性化推荐、智能客服和虚拟助手等方式改善客户体验。通过分析用户行为和偏好,AI可以向客户提供定制化的产品推荐和服务。此外,通过自然语言处理和情感分析等技术,AI可以实现更智能、人性化的客户服务,提高客户满意度。
分。 大数据集群迁移:将大数据集群(包括存储、计算和管理组件)迁移到新的运行环境,包括集群的重新配置和数据迁移。集群迁移需要考虑数据的迁移方式、网络传输速度、兼容性和数据一致性等因素。 大数据任务调度迁移:是将现有的大数据任务调度系统、工作流和调度策略迁移到新的运行环境,包括梳理