检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持Java、Php、Python、Node.js、Docker、Tomcat技术栈。支持Apache ServiceComb Java Chassis（Java Chassis）、Spring Cloud等微服务应用。
DWS提供标准数仓、IoT数仓和实时数仓三种产品形态。详细信息请参考官网文档。
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息： 大数据平台调研，包括大数据集群、任务调度平台、数据流向。 数据调研，包括待迁移的数据类型、数据量、
数据库切换时需要考虑数据一致性问题，要想切换前后数据一致，必须源端的数据先静止，然后断开增量同步任务，数据一致性对比方案需详细规划，是做行数对比还是做内容对比，不同对比方式对比时长不同，需根据表的重要性和切换时长综合考虑来确定数据一致性对比方案。
库和表级行数对比 DRS工具 对比表的行数是否一致，只查询表的行数，对比速度较快 python脚本 批量脚本，创建N个并发任务线程，遍历所有表进行逐一COUNT，输出对比结果到xlsx文件中，相比于工具可批量执行，执行效率较高。
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比，文件的对比方法有文件数量对比，大小对比，内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后，要确保作业能够正常运行、产生准确的结果，并且满足性能要求。
Operational expenditure 运营支出 PaC Policy as Code 策略即代码 PaaS Platform as a service 平台即服务 PUE Power Usage Effectiveness 能源利用效率 QPS Query Per Second 每秒查询数
归根结底，敏捷项目管理模式也是一种逆向工作法思路，也即在项目开展过程的各个阶段，分别设定阶段交付的目标，通过在执行过程中不断审视当前进展、卡点或问题，并通过与阶段性目标对齐，寻求最快、最短的解决路径。
常用的数据库相关指标有： TPS/QPS：每秒处理事务数和每秒查询数，用于衡量数据库的吞吐量。 响应时间：包括平均响应时间、最小响应时间、最大响应时间、时间百分比等，其中时间百分比参考意义较大，如前95%的请求的最大响应时间。 并发量：同时处理的查询请求的数量。
双AZ高可用设计 公有云最常用的就是双AZ高可用方案，应用的四层架构（接入层、应用层、中间件、数据层）建议实现端到端的双AZ部署，如下图所示。 图1 双AZ高可用设计 设计要点： 业务模块：集群部署的业务，资源分别部署到 2 个AZ内，并通过 ELB 实现双AZ的负载均衡；单点业务
每个运维工程师可运维的资源数量（如VM数和存储容量）。 MTTR（平均故障修复时间）。 提升性能效率 TPS、QPS等吞吐量指标。 系统响应时间。 并发用户数。 资源利用率。 财务驱动力 按需付费 IT基础设施资本支出。
图2 推数场景 抽数场景：适用于应用向数据源抽数的场景，切换点在应用，需要先停止应用向旧数据源抽数，然后配置并启动应用从新数据源抽数，将应用的数据源从旧数据源切换到新数据源。 图3 抽数场景 父主题： 大数据迁移
否 数据库相关 检查DRS-mongodb数据迁移任务状态‘增量迁移中’，无异常报错或告警（包含回退任务） 是 否 数据库相关 检查MySQL数据库源和目的端字符集是否一致 是 是 数据库相关 数据库确认源端和目的端库用户一致 是 是 周边系统配合检查项 大数据相关 修改大数据抽数的数据库地址为
对于业务量波动较大的业务，建议通过多节点集群负荷分担+AS弹性伸缩配合，此场景不建议使用大规格实例节点，否则弹性缩容到最小节点数时会存在较多的性能浪费。 可靠性：资源选型需要考虑如何降低故障率、避免单点故障，因此建议优先选择新系列（规格中代系数字更大的），且跨双可用区均衡部署。
性能：性能设计的目的是为了确保应用在云上的部署架构能够满足用户的性能需求，包括响应时间、吞吐量、并发数等。 安全性：安全性设计的目的是确保应用程序和数据在云环境中得到充分的保护，防止恶意攻击和数据泄露等安全问题发生。
数智赋能 主要评估组织在大数据和人工智能领域的能力水平，是否能够利用云平台的数智化服务，实现数据驱动的业务创新和智能化转型，衡量组织的数据生命周期管理、数据治理能力，以及在人工智能技术（如AI开发、大模型等）方面的实践水平。
保障 在大数据迁移的保障阶段，需要执行以下任务来确保顺利过渡到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配
针对云化成熟度评估的10个维度，我们建议的评估人选如下： 表1 推荐的云化成熟度评估人选 评估维度 推荐评估人选 战略与业务 CEO或者CIO 组织与流程 CIO或者人力资源主管 云卓越架构 CIO或者企业应用架构负责人 云基础设施 CIO或者IT主管 应用现代化 应用架构师 数智赋能
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
