检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。详细信息请参考官网文档。 云搜索服务(Cloud Search Service,简称CSS) 基于Elasticsearch且完全托管的在线分布式搜索服务,为用户
适用于自建SQLserver实例或云服务SQLserver实例迁移至华为云云服务SQLserver实例 备份与恢复 全量+增量备份导入 操作繁琐 适用于自建SQLserver实例或云服务SQLserver实例迁移至华为云RDS for SQL Server PostgreSQL迁移方案 表3 PostgreSQL迁移方案
云MRS服务时,推荐的方法是使用BulkLoad方式向HBase中批量导入本地数据,在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子
储和访问需求。 大数据计算: 大数据计算是对海量数据进行分布式、并行和实时处理的关键环节。主要的计算框架包括Hadoop、Spark、Flink等,它们支持分布式计算模型和任务调度。通过这些计算框架,可以进行数据处理、特征提取、机器学习、数据挖掘等复杂的计算和分析任务。 数据查询和分析:
使某AZ异常,Apisix可以将流量转发到正常应用后端。 中间件层:Kafka、Solr和ES采用3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,
目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS
编写脚本或通过自动化平台对接,调用云平台的API接口,批量发放云资源,每个云服务都有对应的API接口,可以进行资源的生命周期管理。详情请见对应服务的帮助文档。例如,利用API创建云服务器,请参考这个链接。 使用华为云提供的应用编排服务RFS,对资源进行编排和批量发放,具体操作方法,请参考RFS的官网文档。
如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等 Python类:常用于Spark、算法场景等 其他类:如Shell、Scala等,多用于脚本调用
数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y TB 数据分层
们处理的数据类型和数据流转的方式。 调研用于处理实时数据和离线数据的组件,例如实时数据可能使用Apache Kafka、Apache Flink等,离线数据可能使用Hadoop、Spark等。 调研数据格式类型和压缩算法: 调研平台对数据的安全性和权限控制机制,例如数据加密、用户访问权限管理等。
深入理解数据建模、数据仓库、数据湖、数据治理等概念和技术。 熟悉各种数据库技术,包括关系型数据库和NoSQL数据库。 熟悉大数据技术,例如Hadoop、Spark、Flink等。 具备数据分析和数据挖掘能力。 熟悉数据安全和数据隐私相关的法规和标准。 具备良好的沟通和团队协作能力。 大数据部门或外聘 父主题:
访问云资源及敏感数据。例如,企业可以将关键业务系统部署在VPC内,通过VPCEP访问华为云的RDS实例,而不必暴露在公网中,同时可以限定只有数据库管理员张三可以通过该VPCEP访问RDS实例,进一步保证了敏感数据的安全性。关于如何管理VPCEP策略,请查看这个链接。 资源控制策略
数据库检查项 数据库相关 检查华为云数据库端口是否和生产保持一致 是 否 数据库相关 检查NTP时钟设置是否一致 是 否 数据库相关 检查中间件Reids数据迁移任务状态正常,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查DRS-mysql数据迁移任务状态‘增量迁移中’,
根据DRS任务的ID,调用接口批量执行对比任务,对比结果输出到xlsx文件中。相比于工具可批量执行,执行效率较高。 库和表级对象对比 DRS工具 对数据库、索引、表、视图、存储过程和函数、表的排序规则等对象进行对比。 python脚本 根据DRS任务的ID,调用接口批量执行对比任务,对比结
细粒度操作:将云资源的读、写、列表等操作进一步细化,对其细化操作进行鉴权,并将这些细化操作变成可供用户配置的权限操作。以云主机为例,将其读操作细化为读取规格、读取标签、读取服务器详情、读取挂载的磁盘、读取网卡等细粒度操作,这些细粒度操作在用户配置权限的时候是可以自由选择的,这样就可以将权限控制到用户所需的最小操作集合。
已适配ARM的大部分应用场景 鲲鹏内存优化型 鲲鹏 km 与m系列相比,采用鲲鹏处理器,价格更低 数据库/内存数据库 鲲鹏超高I/O型 鲲鹏 ki 与i系列相比,采用鲲鹏处理器,价格更低 大数据/缓存数据库 鲲鹏AI推理加速型 鲲鹏 kai 与ai系列相比,采用鲲鹏处理器,价格更低 深度学习、科学计算、CAE
1~5 1、通过API接口调用或脚本批量操作,减少操作时间 最后一次增量同步 1~10 1、在业务低峰进行切换,减少增量数据 数据库开启写 1 1、脚本开启 应用层停服(关停应用) 1~30 1、提前关停非核心业务,减少操作量 2、统一运维批量关停,减少操作时间 3、统一日志平台,减少应用日志检查时间
息的高可靠;CSS云搜索引擎服务可以跨AZ集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备
数据分类 迁移方法 元数据 HIVE元数据 导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景)
IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图: 调研方式如下图所示: 图1 调研方式 调研技术组件的详细信息 调研单个应用的部署架构所涉及的各个技术组件(包括主机、数据库和中间件等)的详细信息,包括资源规格、版本、容量、配置等,如下表格所示。