检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调研用于处理实时数据和离线数据的组件,例如实时数据可能使用Apache Kafka、Apache Flink等,离线数据可能使用Hadoop、Spark等。 调研数据格式类型和压缩算法: 调研平台对数据的安全性和权限控制机制,例如数据加密、用户访问权限管理等。
离线任务上班前和下班后执行 调研的方法主要是通过当前大数据平台获取,并辅助一些调研访谈进行补充和确认。 父主题: 大数据调研
资源发现与评估工具(RDA)需要部署在华为云VPC内的ECS云服务器(Windows操作系统)上;对象存储迁移工具(OMS)为公共服务,不占用VPC内网IP资源,如果通过专线迁移数据,则需要部署离线OMS工具在华为云VPC内的ECS云服务器上;其它工具均会暂时占用VPC内网IP资源
Redis迁移方案 表2 Redis迁移方案 迁移方案 迁移方式 特点 适用场景 DCS迁移工具(推荐) 全量+增量迁移 源端业务停机时间短、操作简单、支持在线实时同步增量 适用于源端是自建Redis或其他云厂家Redis实例迁移至华为DCS的场景 RDB/AOF文件备份恢复 全量迁移 离线迁移
离线备份导入 备份文件导入方式当前支持迁移到Redis3.0、Redis4.0和Redis5.0;暂时不支持导入自建Redis5.0生成的rdb备份文件。
架构优化与持续运营 FinOps专业服务结合企业业务场景,可针对业务布局、资源规划、数据存储各层次进行架构优化,如在离线业务混合部署提升资源利用率、存算分离使计算和存储各自按需使用避免绑定浪费、冷热分离降低冷数据存储成本等。 父主题: FinOps
离线计算任务的数据源可以使用数据同步工具CDM、ETL工具或自定义脚本实现数据接入;对于实时计算任务的数据源,可以使用Kafka MirrorMaker、Nginx流量镜像配置等方式,将实时数据上报到双跑的两个平台。
成本控制 通过预算管理,跟踪未来资源用量和费用执行 云资源按需灵活扩展,云成本在用云过程中不再固定不变。为了避免意外账单,需要在用云过程中精细化控制,对风险事项建立监控预警机制和应对机制,一旦产生预警则及时应对,避免产生异常高成本。在发生异常时,分析根因也至关重要。如发现异常成本时