检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据应用的部署有2种方法,可以基于华为云ECS重新部署大数据应用,或者是使用华为云SMS工具将大数据应用迁移到华为云ECS。 平台权限配置 平台权限配置 在部署好目标大数据平台后,为了确保正确的权限设置,可以参考源端平台的权限设置,并按照以下步骤进行设置: 审查源端权限设置 仔细审查源端平台的权限设置,
导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
Hadoop数据迁移到华为云MRS服务 如图所示,将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务
CIO、HR专家 业务 流程视角 基于云平台和云服务的特点优化IT服务流程和运维流程,支撑上层应用系统的快速迭代和安全稳定运行。 CIO、IT主管 技术 平台视角 基于云平台和云服务构建企业级、高安全、高可靠、高性能和易扩展的IT基础设施或技术平台,对上层应用系统提供计算、存储、网络、安全、数据
评估和规划:首先,评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化,并制定一个改造计划。 容器化平台选择:选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker,但也有其他选择,如Kubernetes等。 容器化应用程序:将应用程序拆分为较小的模块或微服务
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
Cloud Maturity Model 云化成熟度模型 CNCF Cloud Native Computing Foundation 云原生计算基金会 COC Cloud Operation Center 云运维中心 CSMS Cloud Secret Management Service
Zone设计、平台工程设计、云运营模式设计等。 建立云治理框架:负责制定云平台的治理框架、治理策略、安全标准、合规性要求等,确保云基础设施和应用系统的安全、稳定和合规。 提供云技术支持: 为企业内部提供云技术方面的培训、咨询和支持,帮助各部门更好地理解和应用云技术。 管理云平台和资源:
任务数量 调研各类任务的总数量,用于评估任务迁移周期及改造工作量。如:XX调度平台下,Jar任务XX个。 任务更新周期 识别出不同调度平台,不同任务类型的任务更新周期。如:XX调度平台XX类任务月度更新;XX平台XX类型任务每日XX点更新。 任务详细信息 识别出所有任务的详细信息,包括
大数据调研 平台调研 数据调研 任务调研 父主题: 调研评估
降甚至损坏,技术人员需要花费大量时间管理、维护和更新IT硬件。 当云计算技术出现之后,企业基于云平台和云服务搭建IT基础设施,并逐步把大量业务系统迁移或者直接部署在公有云上,IT运营模式进入云计算时代。基于云平台的IT运营模式(简称云运营模式)将企业的关注点从IT基础设施上移到应
顶层规划 概述 云卓越中心 卓越架构设计 Landing Zone设计 安全架构设计 平台工程 云运营模式 应用生命周期管理 云项目管理 顶层规划的反模式
华为云上的应用层和数据层内部域名等配置修改,重启华为云上的应用服务; 外部DNS域名解析,将解析地址从源端接入层切换到华为云接入层,使外部流量进入华为云; 图2 一把切方案 应用层灰度切流,数据层整体切换 应用层灰度切流前做好如下准备工作: 源端应用层已迁移或部署到华为云; 华为云应用层跨云访问源端数据
日刷新/周刷新/月刷新/实时更新 任务执行区间 让数据迁移、数据校验和业务高峰期错开。 离线任务上班前和下班后执行 调研的方法主要是通过当前大数据平台获取,并辅助一些调研访谈进行补充和确认。 父主题: 大数据调研
为什么需要Landing Zone 为了实现业务单元的安全和故障隔离,华为云的推荐做法是将不同业务单元的应用系统分别部署在不同的账号中。华为云账号具备以下三个属性。 华为云账号是一个资源容器,用户可以在其中部署任意云资源和上层业务应用系统,不同的账号相当于不同的资源容器,账号之间
如VPC流日志和OBS访问日志等) 合规审计团队 云审计服务CTS、云日志服务LTS、、配置审计服务Config、对象存储服务OBS等 数据平台账号 集中部署企业的大数据平台,将其他账号的业务数据统一采集到数据平台进行存储、处理和分析 数据处理团队 数据湖、大数据分析平台、数据接入服务、数据治理平台
身份和权限设计 华为云基于大量成功交付的项目,总结提炼了以下用户和权限管理的最佳实践。 集中身份和权限管理 企业自己的身份管理系统能更好更及时地匹配员工的入职、转岗和离职流程,避免转岗和离职人员继续拥有访问华为云的访问权限。建议您使用企业自己的身份管理系统与华为云IAM身份中心(IAM
加速业务创新 业务创新是企业获取新增长点,保持竞争力的关键。云计算为企业提供了创新的平台、技术和工具,大幅降低了创新门槛,加速产品和服务、商业模式、业务流程和运营模式的创新。 获取先进技术:云服务商提供了AI平台、大模型、大数据平台、物联网、数字人等先进技术,企业无需自行构建,即可快速利用这些技术进行创新。
保障 在上云迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 云平台监控:确保建立有效的监控系统,跟踪云平台的性能、可用性和安全性。设置警报机制,及时发现并解决潜在的问题。 系统监控和运维:设置系统监控和告警,确保及时发现和解决潜在的问题。配置基础设施监控工具,监测服
最后将业务系统运行环境的安全数据、资产,纳管对接到统一的安全运营平台中,安全云脑可以纳管华为云和IDC的运行环境,还可以跨Region、跨账号纳管运行环境。 资产盘点,识别并清理资产风险 使用安全云脑自动盘点华为云上各类资产(主机、IP、网站、数据库等),并使用第三方生态软件将云下的资产信息,自动对接到安全云脑中。