检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IT部门 数据库管理员 负责云上数据库的部署、配置、监控和维护。 确保数据库的高可用性和数据安全,定期进行备份和恢复演练。 优化数据库性能,解决查询慢、锁等待等问题。 管理数据库的权限和访问控制,确保数据合规性。 熟悉云平台的数据库服务和数据库管理服务。 熟悉主流数据库(如MySQL、PostgreSQL等)的管理。
证方法和工具不同: 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具 查询对比数据库表的每一条数据,确保每一条的每一个字段都与源端数据库表一致。相较于行对比,内容对比较慢。 python脚本 根据DRS任务的ID
常用的数据库相关指标有: TPS/QPS:每秒处理事务数和每秒查询数,用于衡量数据库的吞吐量。 响应时间:包括平均响应时间、最小响应时间、最大响应时间、时间百分比等,其中时间百分比参考意义较大,如前95%的请求的最大响应时间。 并发量:同时处理的查询请求的数量。 成功率:指请求在一定时间内成功返回结果的比例。
、MongoDB数据库等,非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据,主要为业务提供即时数据支撑,包含数据查询、计算、分析、修改等操作。业务连续性高的业务,很依赖数据库迁移工具的实时同步能力。在做结构化数据迁移方案时,需要结合业务连续性、迁移网络、
智的决策。通过实施FinOps,企业可以提升资源使用效率,避免资源浪费,并在不影响业务性能的前提下降低成本。关于FinOps的详细实践,请查看本章后面的内容。 总之,企业通过精益化治理可以实现数据边界可守护、复杂组织可治理、人员权限可管控和资源成本可优化,有效控制大规模用云的各种风险,最大化业务收益。
性能测试和规划:基于云平台提供的性能测试工具评估应用系统当前的性能指标,再结合业务需求增长趋势提前进行容量规划。 性能优化: 挖掘现有资源的性能潜力,包括数据库查询优化、代码优化、使用缓存和CDN加速等,提升系统吞吐量和响应速度。 架构优化: 采用更有效率的架构模式。例如,使用异步处理和消息队列解耦系统组件,提高并发处理能力。
service 平台即服务 PUE Power Usage Effectiveness 能源利用效率 QPS Query Per Second 每秒查询数 ROI Return of Investment 投资回报率 RPO Recovery Point Objective 恢复点目标 RTO
户的操作。SCP可以关联到组织、OU和成员账号。当SCP关联到组织或OU时,该组织或OU下所有账号均受该策略影响。关于SCP的详细介绍,请查看这个链接。需要注意的是,SCP的影响范围比较大,在生产环境实施SCP之前,强烈建议您先在测试环境下开展充分的测试验证,避免对生产环境中云资源的使用产生不必要的影响。
调研大数据集群数量和功能划分:例如Hadoop集群、Spark集群、Hive集群等,并根据业务需求划分它们的功能,如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围,以及它们处理的数据类型和数据流转的方式。 调研用于处理实时数据和离线数据的组件,例如实时数据可能使用Apache
复杂的计算和分析任务。 数据查询和分析: 对于大量的存储在大数据平台中的数据,需要提供灵活且高性能的查询和分析能力。这可以通过使用SQL查询引擎(如Hive)或分布式数据库(如Elasticsearch)等实现。这些工具和系统支持在海量数据集上进行查询、聚合和可视化,以提供数据洞见和决策支持。
的问题。配置基础设施监控工具,监测服务器、存储、网络等关键指标,并确保日志记录和错误报警机制正常运行。 安全检查和漏洞修复:进行安全检查,查找可能存在的漏洞或弱点,并采取适当的补救措施来加强安全性。更新和修补系统和软件,确保使用的组件和版本都是最新的,并及时应用安全补丁。 备份和
在DCS服务中的数据迁移模块创建迁移任务,选择备份文件导入方式,并选择OBS中源端的aof/rdb备份文件,填写其余选项,启动迁移任务。 DCS数据查询对比两端数据 使用redis查询命令:info keyspace 在线迁移 在线迁移不光可以迁移全量数据,还可以实时同步迁移过程中的增量数据,但是这种迁移
Container Engine)服务,华为云提供了很多ECS的实例类型,如下表所示,以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息,请查看实例类型。 表1 ECS实例类型 架构 实例类型 CPU 实例系列 系列说明 适用场景 x86 通用计算增强型 Intel c 计算、存储
使用华为云CDM工具迁移所有历史数据到华为云MRS服务 使用Hbase快照方式,迁移Hbase数据到华为云MRS服务 增量数据 Hive增量数据 根据源端元数据查询每日变化数据,识别出需要迁移的数据目录,使用华为云CDM工具迁移增量数据上云 Hbase增量数据 使用华为云CDM工具迁移所有增量数据(根据时间戳)到华为云MRS服务
量迁移,将自动跳过已经迁移的对象,将剩余增量数据迁移至华为云OBS。 在对象存储迁移服务中,可以查看迁移任务、管理迁移任务,创建迁移任务组,评估桶内数据,查看审计日志等,具体内容请查看OMS帮助文档。 图2 对象存储迁移服务 线下DES磁盘拷贝: 云下数据也提供了数据快递服务(DES)来迁移数据,DES
上传Jar包,并在任务调度平台部署和配置Jar包。 执行调度任务,并根据日志检查任务执行状态和结果。 如果任务执行不符合预期,例如执行时间过长,需要查找根因并进行优化和验证。 按业务需要的时间配置调度任务。 您如果使用华为云的DataArts Studio作为大数据任务调度平台,可以参考官网文档进行Jar作业的配置。
在日志账号的CTS中统一创建组织追踪器,汇聚各个成员账号中CTS收集的审计日志,配置将组织追踪器的审计记录转储到日志账号的LTS中。 在上述LTS中可以集中查看所有成员账号的审计记录。 在LTS中还可以针对关键操作(如创建、删除资源)配置告警通知。 图2 多账号的统一操作审计 审计人员还可以基于C
迁移实施常见问题 关于迁移实施过程中的常见问题及答案,请查看如下链接。 主机迁移服务SMS的常见问题。 Redis数据迁移常见问题。 对象存储迁移服务OMS的常见问题。 数据库迁移的常见问题。 父主题: 迁移
架构模板查找 登录华为云官网,在上方导航栏选择“解决方案>通用解决方案>Haydn解决方案数字化平台”进入Haydn解决方案数字化平台首页,在页面右下角点击“解决方案加速场>架构模板”可进入架构模板页面。 支持输入架构模板名称、适用行业、适用场景等关键字对架构模板进行查找; 支持
机迁移到华为云弹性云服务器云主机上,具体使用方法请查看SMS帮助文档。 数据复制服务(DRS):用于数据库实时迁移和数据库实时同步的云服务。提供了实时迁移、备份迁移、实时同步、数据订阅和实时灾备等多种功能。具体功能及使用方法请查看DRS帮助文档。 Redis数据迁移服务:用于自建