检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。 图1 双跑场景 推数场景:适用于数据源主动向应用推数的场景,
应用迁移方案要基于应用的四层架构来设计,分别设计每一层的迁移方案,如下图: 图2 应用迁移过程 接入层:通常是负载均衡、网关代理等组件,一般通过重新配置的方式实现迁移。 应用层:通常部署在主机或容器上,部署在主机上的应用一般通过华为云主机迁移工具SMS来迁,部署在容器上的应用,一般通过企业的CICD系统重新发布。
切换过程中不会影响数据的完整以及业务运行。 一般情况下,业务切换需要进行一定的时间,逐步切换流量,同时关闭旧的业务系统。通过这个过程,可以实现从旧系统向新系统的平稳过渡,并最终将业务成功迁移上云。在正式切换前通常会进行切换演练,然后才是正式切换。 为什么要演练 切换演练在上云迁移
的方法是使用BulkLoad方式向HBase中批量导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个
数据查询和分析: 对于大量的存储在大数据平台中的数据,需要提供灵活且高性能的查询和分析能力。这可以通过使用SQL查询引擎(如Hive)或分布式数据库(如Elasticsearch)等实现。这些工具和系统支持在海量数据集上进行查询、聚合和可视化,以提供数据洞见和决策支持。 任务调度:
ent采集模式,在网络可达的前提下,实现跨账号的数据库审计和统一信息展现。安全运营账号的CCM服务可以集中申请SSL证书,然后通过RAM服务共享给其他账号使用。安全运营账号的DEW服务可以集中创建KMS秘钥,然后通过RAM服务共享给其他账号使用。 图1 多账号的统一安全管理 网络
管理,实现分统结合的管理模式。在这种模式下,虽然业务单元在各自的云账号中独立运行,但IT部门可以通过统一的策略和工具,对全公司的云资源进行监控、监管和优化。例如,IT部门可以制定统一的安全策略,确保所有的云账号都符合公司的安全标准;可以通过自动化工具,对各个云账号的资源使用情况进
通过全方位的数据边界提供的保护措施,您可以实现如下数据保护能力: 禁止业务账号直接接入互联网。只允许通过网络运营账号的DMZ网络提供互联网服务或访问互联网。 禁止公网访问华为云管理控制台,用户只能从内网访问控制台,确保敏感数据不经过互联网。 限制用户可以使用的Region,限制数据在不同R
偏离,最终难以实现预期的业务价值。例如,企业为了上云而上云,选择了最新的云技术,却没有考虑这项技术是否能真正解决业务痛点,提升业务效率,反而增加了成本和复杂性。 针对这个反模式的优化建议如下: 将云化转型战略与业务战略紧密结合: 明确云化转型如何支持业务目标的实现,例如加速业务创
据具体需求选择,例如使用离线数据传输工具、大数据迁移工具CDM等。 数据源接入 将目标大数据集群接入与原大数据集群相同的数据源。这确保了源数据的一致性。可以使用数据同步工具、ETL工具或自定义脚本等方式实现数据源的连接和数据同步。离线计算任务的数据源可以使用数据同步工具CDM、E
对应服务的帮助文档。例如,利用API创建云服务器,请参考这个链接。 使用华为云提供的应用编排服务RFS,对资源进行编排和批量发放,具体操作方法,请参考RFS的官网文档。 上述三种资源开通方式的对比如表1。具体使用哪种方式进行资源的发放和配置,需要根据实际情况和需求综合考虑。 表1
自建ECS数据库服务器迁移到华为云弹性主机ECS上,SMS可以帮助轻松实现,但是此时会中断数据库业务,需要注意。但是当对停机时间有较高要求,您也可以使用数据库的备份恢复功能或者数据库同步复制技术进行迁移。 使用备份恢复进行迁移。备份恢复迁移数据库的备份还原方案是指的保存源系统的数
设施安全和安全运营等方面。企业应当建立强大的安全策略,包括使用身份验证和授权机制、加密数据传输和存储、实施网络安全措施,以及持续监控和审计系统活动,以及时发现和应对安全威胁。 性能效率支柱 性能效率支柱关注如何高效地使用云资源,满足系统性能需求并适应业务的变化。它强调通过性能规划
3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,3AZ分布,某AZ故障,其他AZ正常提供服务。 应用层-容器集群高可用 Master高可用:容器集群Master
此外,通过自然语言处理和情感分析等技术,AI可以实现更智能、人性化的客户服务,提高客户满意度。 智能生产和供应链管理:AI技术在生产和供应链管理方面的应用可以提高生产效率和供应链的可视化与规划。例如,利用机器学习和物联网,可以实现智能制造和预测性维护,提高生产线的运行效率和设备的
能、效率并节约成本。 容错和高可用性:云上部署的大数据集群应具备容错和高可用性,以保障系统的可靠性和稳定性。这可以通过使用多个副本、冗余节点和故障转移机制来实现,以确保在硬件或软件故障情况下的数据和任务的持久性。 数据安全和合规性:在云上部署的大数据集群需要有严格的数据安全和合规
跨AZ部署:将应用程序的不同组件部署在多个AZ中,以确保即使一个AZ不可用,其他AZ中部署的组件仍能正常运行,企业可以使用云服务提供商的工具或容器编排工具来简化多AZ部署的管理。 负载均衡:使用负载均衡将流量分发到不同AZ中的应用程序实例,可以设置合适的转发策略,避免单个AZ过载,以确保即使一个
以采用自动扩展策略,合理设置包周期和按需资源的比例,定期监控资源使用情况,持续优化调整。 设计存在单点故障 架构设计时未考虑高可用性,导致关键组件成为单点故障,一旦发生故障,整个系统将无法正常工作。 优化建议:实现冗余设计,采用负载均衡策略,确保应用的关键服务在多节点上运行,提升系统的可靠性和可用性。
单元遵守相应的IT标准,CCoE团队还可以制定统一的服务目录,应用团队只能使用经过CCoE团队授权的云服务来开发和部署业务系统。 CCoE团队和应用团队要紧密协同,共同保障业务系统在云上的安全稳定运行并实现最优的成本效益。在运维方面,CCoE团队负责云上IT基础设施(包括骨干网、
移。所以中间件的迁移方案需结合业务使用情况进行具体分析,下面将详细介绍各类中间件的迁移方案。 Redis迁移方案 确定Redis使用场景 Redis使用场景主要有2种,将Redis用作缓存或者将Redis用作数据库。不同使用场景的Redis迁移方案不同,详见下表所示。 表1 Redis迁移场景