检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、性能、安全性等问题,影响用户体验。 优化建议:业务切换前,要进行全面的测试,包括功能测试、性能测试、可用性测试、安全测试等,确保每个功能模块在云环境中能正常稳定运行。 资源未打标签 该反模式是指云资源未正确打标签,导致资源管理困难,增加了查找、监控和管理的复杂性。 优化建议:所
Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等 Python类:常用于Spark、算法场景等 其他类:如Shell、Scala等,多用于脚本调用 任务数量 调研各类任务的总数量,用于评估任务迁移周期及改造工作量。如:XX调度平台下,Jar任务XX个。
推动智能化运维技术的应用,如AIOps。 熟悉自动化工具(如Ansible、Terraform、SaltStack等)。 掌握脚本语言(如Python、Shell)和云平台API的使用。 具备DevOps理念,熟悉CI/CD流程和工具。 了解AIOps相关技术。 IT部门 父主题: 云卓越中心
您如果使用华为云的DataArts Studio作为大数据任务调度平台,可以参考官网文档进行SQL作业的开发和配置。 脚本类任务(Python、Shell等)迁移 迁移脚本类任务时,同样面临云上环境适配问题,可以参考如下步骤进行: 图6 脚本类任务迁移流程 前提:脚本类任务调试依赖的数据已
DEW)是一款综合的云上数据加密服务。它可以提供专属加密、密钥管理、凭据管理、密钥对管理等服务,安全可靠的为您解决了数据安全、密钥安全、密钥管理复杂等问题。其密钥由硬件安全模块(Hardware Security Module,HSM) 保护,并与多个华为云服务集成。用户也可以借此服务开发自己的加密应用。关于DE
park、Hive、Pig、Flink等。 调研任务调度平台支持的任务类型,包括Jar类任务、SQL类任务、脚本类任务(Python、Shell)等。 调研任务调度平台是否提供可视化和管理界面,以方便任务调度的配置、监控和管理。 了解任务调度平台的容错机制,包括任务失败后的重试机制、故障恢复策略等。
件信息。应用的调研需要找各业务域的应用架构师和应用运维管理员。 应用全景图的调研是在评估规划阶段进行的,一般按照业务域->业务系统->应用模块逐层打开,如下图: 图1 应用全景图示例 应用全景的调研方法由易到难分别是: 知识库:有些企业的知识库做的比较好,有现成的文档记录应用的全
熟练使用云平台的安全运营服务和各种安全监控工具。 掌握威胁检测技术、漏洞扫描工具和补丁管理流程。 熟悉日志分析工具和自动化脚本语言(如Python、Shell)。 了解云平台的安全配置(如安全组、防火墙规则)。 具备快速响应和处理安全事件的能力。 IT部门 父主题: 云卓越中心
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
应用架构调研 技术架构调研 方法评估 业务 全景 业务域 业务 系统 应用系统模块 应用关联关系 技术 架构 (整体) 技术架构 (按业务域打开) 技术架构 (按业务系统打开) 技术架构(按应用系统模块打开) 技术架构(技术组件详情) 效率 完整度 真实度 现网CMDB √ 需整理
for X)及治理等公共能力建立在云平台上。 图1 现代化应用发展趋势 表1 传统应用和现代化应用比较 传统应用 现代化应用 单体架构,模块间耦合度高 微服务化架构,应用间充分解耦,快速组合 应用入口多,影响用户体验 以用户为中心,一站式个性化体验 无法快速响应新业务变化 面对新业务可快速组合和按需定制
熟悉各种迁移工具和技术,例如数据迁移工具、容器化技术、自动化部署工具等。 熟悉各种操作系统和应用软件。 具备扎实的脚本编写能力(例如Shell、Python等),能够实现自动化操作。 具备良好的沟通和团队协作能力。 IT部门或者外包给云实施专业服务提供商 父主题: 云卓越中心
D表、E表、F表… … 自定义标准 … 设计任务迁移方案 大数据的任务包括三类:Jar类任务、SQL类任务、脚本类任务(Python、Shell),可以根据不同的任务类型选择合适的迁移方案。 表4 任务类型和迁移方案 任务类型 迁移方案 JAR类任务 所有Jar类任务都需要根据云
器化平台。最常见的容器化平台是Docker,但也有其他选择,如Kubernetes等。 容器化应用程序:将应用程序拆分为较小的模块或微服务,并将每个模块打包为独立的容器镜像。使用Dockerfile定义容器镜像的构建过程,包括依赖安装、配置和启动命令。 容器编排与管理:如果需要管
断,您可以采用渐进式迁移的方法。 首先,选择一个较小且相对独立的模块来进行微服务改造和云迁移。通过这个实验项目,您可以验证架构设计、技术选型和流程的可行性,并获得宝贵的经验教训。在成功迁移第一个模块后,逐步将其他模块进行类似的改造和迁移。渐进式迁移还可以帮助您逐步培养团队的能力和
Governance, Risk & Compliance 治理、风险和合规 HSM Hardware Security Module 硬件安全模块 HSS Host Security Service 主机安全服务 IaaS Infrastructure as a service 基础设施即服务
公有云最常用的就是双AZ高可用方案,应用的四层架构(接入层、应用层、中间件、数据层)建议实现端到端的双AZ部署,如下图所示。 图1 双AZ高可用设计 设计要点: 业务模块:集群部署的业务,资源分别部署到 2 个AZ内,并通过 ELB 实现双AZ的负载均衡;单点业务ECS可通过 SDRS 作AZ级容灾。 云服务高可用:主备节点分别双AZ部署。
S3:创建OMS任务,将S3中的rdb备份文件迁移传输到DCS所在的Region的OBS。 创建DCS迁移任务: 在DCS服务中的数据迁移模块创建迁移任务,选择备份文件导入方式,并选择OBS中源端的aof/rdb备份文件,填写其余选项,启动迁移任务。 DCS数据查询对比两端数据 使用redis查询命令:info
统的基本功能是否正常。 全业务功能测试:全面的业务功能测试可以验证系统的所有功能是否正常,通过执行针对各种业务流程的测试用例,确保所有功能模块正常。 日志分析:在目的端业务部署完成后,需要对系统的日志进行分析,检查是否存在异常情况的错误信息。通过日志分析可以发现一些潜在的问题和隐患,及时进行修复和优化。
T支撑和管理系统,如安全运营中心、IAM和监控运维系统等。 子系统:大型业务系统或IT管理系统通常包含多个相互解耦且相互关联的子系统、功能模块或微服务,这些子系统相互协作,共同实现整体系统的功能。 功能小组:参与业务系统或IT管理系统建设和运维的成员按照职责划分为不同的功能小组,