检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线计算任务的数据源可以使用数据同步工具CDM、ETL工具或自定义脚本实现数据接入;对于实时计算任务的数据源,可以使用Kafka MirrorMaker、Nginx流量镜像配置等方式,将实时数据上报到双跑的两个平台。 双平台同时运行 目标大数据集群、任务调度平台与原大数据集群、任
具沉浸感的用户体验。 大数据分析则帮助企业深入了解用户需求,优化产品和服务,实现精准营销和精细化运营。 物联网技术将设备连接上云,实现数据实时采集和远程控制,催生了智能家居、智慧城市等创新应用。 华为云使得这些新技术唾手可得,企业随时随地都能利用这些新技术进行快速创新和快速试错,
可靠;CSS云搜索引擎服务可以跨AZ集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险;
etes的企业级容器服务,提供高可靠高性能的企业级容器应用管理服务,支持Kubernetes社区原生应用和工具,简化云上自动化容器运行环境搭建。您可以通过CCE控制台、Kubectl命令行、Kubernetes API使用华为云容器引擎所提供的Kubernetes托管服务。 这里
迁移:将源端应用和数据迁移到云上目标环境。 验证:进行数据和业务验证。 切换:进行切换演练,刷新Runbook,实施正式切换。 保障:业务切换后进行一段时间的实时监控和特别运维保障。 调研 应用迁移小循环需要调研的信息主要集中在单个应用级别,前面阶段获取的调研信息可以复用。 本阶段主要是“由粗到细”打开到能够指导迁移实施的详细程度。
云资源是用户通过云服务创建出来的IT资源实例,包括计算、存储、网络、安全、运维管理、数据库、中间件、大数据处理和AI等,用户可以组合使用云资源快速搭建上层应用系统所需的IT基础设施。 云服务商 云服务商(Cloud Service Provider,简称CSP)是指提供云服务的公司。他们
平台部署。 迁移:实施数据迁移和任务迁移。 验证:进行数据校验和任务验证。 切换:配合大数据应用进行切换。 保障:业务切换后进行一段时间的实时监控和特别运维保障。 请参考大数据调研的调研方法,调研大数据集群、大数据任务调度平台和大数据应用的现状信息。 父主题: 大数据迁移
这样可以确保基础设施的可重复性、版本控制和自动化部署,从而提高整个环境的稳定性和可靠性。 集中日志和监控:通过集中管理日志和监控数据,可以实时了解系统运行状况,并及时发现和解决问题。选择适当的日志管理和监控工具,并定义关键指标(KPIs)和警报规则,以确保系统的可用性和性能。 容
保数据持久性和可靠性。 安全性和监控:确保容器化环境的安全性,例如限制容器的权限、使用安全的镜像源、进行漏洞扫描等。同时设置监控系统,以便实时监测容器的性能和运行状态。 测试和部署:在容器化改造完成后,进行全面的测试,包括单元测试、集成测试和性能测试。确保应用程序在容器环境中正常
定运行。IT硬件的性能会逐步下降甚至损坏,技术人员需要花费大量时间管理、维护和更新IT硬件。 当云计算技术出现之后,企业基于云平台和云服务搭建IT基础设施,并逐步把大量业务系统迁移或者直接部署在公有云上,IT运营模式进入云计算时代。基于云平台的IT运营模式(简称云运营模式)将企业
集中化管理:集中化管理确保一致的安全策略、合规性和标准化流程,降低风险,相比分散管理,集中化管理还可以降低运营复杂度,提高效率。 成本优化:通过统一搭建公共资源、集中采购和资源整合,提升资源利用率,降低总体成本。 全局视图:CCoE团队集中监控和分析整个企业的云资源使用情况,可以进一步优化资源配置。
表2 Redis迁移方案 迁移方案 迁移方式 特点 适用场景 DCS迁移工具(推荐) 全量+增量迁移 源端业务停机时间短、操作简单、支持在线实时同步增量 适用于源端是自建Redis或其他云厂家Redis实例迁移至华为DCS的场景 RDB/AOF文件备份恢复 全量迁移 离线迁移,操作
资源规模,以应对流量激增;在业务低谷期,则可以释放闲置资源,降低成本。 自动化伸缩:通过自动化的监控和调度机制,云平台能够根据预设的策略和实时的负载情况,自动进行资源的伸缩。 快速部署和回收:相较于传统的硬件采购和部署周期,云上资源的创建和销毁可以在几秒或几分钟内完成,大幅提高了资源的弹性速度。
以快速恢复服务,企业可以利用容器编排工具、自动化脚本或云服务提供商提供的故障转移功能来实现自动故障恢复。 监控和警报:设置监控和报警机制,实时监测每个AZ中的应用程序和基础设施的健康状态,在发生故障时,及时触发告警,并通知有关人员进行故障排查和处理,以减少服务中断时间。 通过基于
风险操作识别等功能,保障云上数据库的安全。包括用户行为发现审计、多维度分析、实时告警、提供精细化报表、敏感数据保护、审计日志备功能。数据库安全审计提供的旁路模式数据库审计功能,可以对风险行为进行实时审计和告警。同时,通过生成满足数据安全标准的合规报告,可以对数据库的内部违规和不
发规范等。这有助于团队成员理解整体架构,并在开发过程中遵循一致的实践。文档和标准也可以帮助新加入团队的成员更快地适应和贡献。 实时监控和日志记录:引入实时监控和日志记录系统,以收集和分析微服务的运行情况和性能指标。这样可以及时发现潜在的问题或异常,并迅速进行定位和解决。同时,合适
实现自动化的持续集成和持续交付(CI/CD)流水线。 沉淀和复用企业内的公共组件和服务。 建立完善的监控和运维机制。 确保平台的安全性和合规性。 基于华为云搭建IDP 华为云提供了丰富的云服务可以帮助您快速构建企业的内部开发平台。 应用平台(AppStage)是基于平台工程理念打造的下一代应用全生
迁移任务。 DCS数据查询对比两端数据 使用redis查询命令:info keyspace 在线迁移 在线迁移不光可以迁移全量数据,还可以实时同步迁移过程中的增量数据,但是这种迁移方法,需要源端与华为云目标端之间内网互通,而且源端Redis未禁用SYNC和PSYNC命令。 图2 Redis在线迁移方案
提升业务敏捷性。 紧密协同:CCoE团队与业务单元的应用团队紧密协同工作,避免出现问题时的互相推诿,提升整体运营效率。 成本优化:通过统一搭建公共资源、集中采购和资源整合,提升资源利用率,降低总体成本。 全局视图:CCoE团队集中监控和分析整个企业的云资源使用情况,可以进一步优化资源配置。
现pod跨AZ分布。 图2 应用层高可用设计示例 中间件层-Redis高可用 主备实例配置了数据持久化,数据不仅会持久化到主节点磁盘,还会实时同步到备节点,同时备节点也会持久化一份数据。 主备实例部署在不同的可用区内,不同可用区的电力、网络相互隔离,当主节点所在的机房因为电力或者