需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术,调度任务类型,可视化和管理界面,扩展性和集成性,容错和故障恢复,安全性和权限控制以及社区支持和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型,例如Azkaban等,了解它们的特点和适用场景。 调研现有
识别出所有任务的详细信息,包括任务ID、名称、责任部门、责任人、执行时间、更新周期等。用于后续任务改造和迁移时,和关键人员及时沟通。 任务依赖关系 识别关键任务,识别任务间依赖关系。 调研的方法主要是通过当前大数据平台获取,并辅助一些调研访谈进行补充和确认。 父主题: 大数据调研
性能监测和性能权衡。 方案选择 根据不同场景选择不同的解决方法,并且结合多种方法,这样可以更容易地找到一种与需求符合的方法; 不断迭代的方法,使用数据驱动来优化资源类型和配置选项的选择; 性能度量 设置性能度量和监控指标,以捕获关键的性能指标; 使用可视化技术呈现性指标和性能问题(如:异常状态、低利用率等);
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
Replatform 3 Re-architect 1 应用迁移批次规划样例 表3 批次规划样表 应用名称 上云策略 上云批次 第一批次上云 第二批次上云 第三批次上云 第四批次上云 - - - 2025.01.01~2025.03.31 2025.04.01~2025.06.30 2025
制定了标签键值规范之后,需要强制所有用户严格按照这个规范对云资源打标签,否则很容易造成资源标签的混乱,影响标签的使用效果。华为云提供的标签策略可帮助您在华为云账号中对云资源添加的标签进行规范化管理。 例如,标签策略规定为某资源添加的标签需要遵循标签策略中定义的大小写规则和标签键值规范。若标签使用的大小写、
为了实现业务单元的安全和故障隔离,华为云的推荐做法是将不同业务单元的应用系统分别部署在不同的账号中。华为云账号具备以下三个属性。 华为云账号是一个资源容器,用户可以在其中部署任意云资源和上层业务应用系统,不同的账号相当于不同的资源容器,账号之间是完全隔离的。因此在一个账号中的故障和安全风险不会影响和传播到其他账号。
网络服务选型 华为云提供的网络服务有虚拟私有云VPC、企业路由器ER、企业交换机ESW、云专线DC、虚拟专用网络VPN、全球加速GA、弹性负载均衡ELB、NAT网关、弹性公网IP等。以下是这些网络服务的选型建议: 云内同区域少量VPC互通用对等连接,跨区域VPC互通用云连接CC,云上云下互通
门统一部署和管理。集中管理可以避免资源的重复建设和闲置浪费,提高资源利用率,降低采购和维护成本。 通过以上各个方面的集中管理,企业可以显著提高IT管理的效率和一致性。首先,集中管理催生了标准化的管理流程和规范,使得各项IT工作更加有序和透明,减少了因管理松散导致的错误和安全漏洞。
、团队和运营模式。通过将这些业务单元分配到不同的云账号中,企业可以在云环境中重现其组织结构。这不仅有助于清晰地界定各个业务单元的责任和权限,还方便了资源的分配和管理。例如,某家公司可能有多个子公司,每个子公司都有自己的产品线和项目团队。通过将每个子公司的资源部署在独立的云账号中,
缘、VPC、云存储、ECS实例、操作系统、应用程序配置和代码等。 安全和成本平衡(Balance between Security and Cost) 尽管安全领域强调纵深防护,但越全面的安全防护方案的成本也更高。企业应基于业务系统的合规要求(如信息安全等级保护)和敏感数据的分类
典型使用场景 成本管理 通过为每个云资源设置标签,可以实现精细化的成本追踪和管理,有效控制云成本,提高企业财务管理的有效性和便捷性。标签也是财务部门实施精细化管理的重要工具。可以让财务人员以更好地理解、管理和优化公司的IT投资。这包括且不限于以下几个方面: 更精确的成本控制:合理
够相互支持和补救,避免攻击者突破单层防线后畅通无阻,层层阻击,为防御方检测响应赢得时间。 图1 一个中心和七层防线 物理安全防线 华为云建设和运营的数据中心都严格实施了五层安全防护,包括机房容灾、人员管理、运维审计、数据销毁和物理隔离、CCTV和门禁等防护措施,华为云的租户无需关
业务负责人进行信息对齐和确认。 CMDB:有些企业的CMDB系统有所有应用的信息,我们可以先从CMDB导出应用的信息,然后按照业务域和业务系统进行归类,并与业务负责人进行信息对齐和确认。 可观测平台:有些企业有构建应用可观测平台,比如Datadog、华为云APM等,通过可观测平台
理流程、分析模型和相关业务逻辑,以支持特定的业务需求和分析目标。大数据迁移批次规划的参考原则如下: 按主题域进行分批: 按主题域分批需要考虑2个相关性,数据相关性和任务相关性。数据相关性是指将具有相似业务逻辑、相互依赖或紧密相关的数据放在同一批次中,以确保一致性和完整性。任务相关
精细化成本运营基于FinOps 理念,将财务管理与云资源运营相结合,旨在帮助企业优化云资源的使用和成本管理。 通过基于FinOps 的成本全生命管理体系,企业可以在云环境中实现精细化的成本控制和资源分配。这种管理体系允许企业按照不同的粒度进行成本分析和管理,包括子公司、业务系统、产品线、部门
调研方式如下所示。 图2 调研方式图 首选CMDB法; 如果CMDB无法获取,次选CMP云管平台法,从现网云管平台或虚拟化管理软件获取; 如果CMDB和CMP都行不通,可以安装信息收集工具(比如华为云RDA)进行采集; 如果以上方法都不可行,则采用人工访谈的方式调研信息。 父主题: 应用系统调研
可用性设计 可用性定义 AZ故障域说明 云上高可用方案 双AZ高可用设计 两地三中心高可用设计 跨AZ高可用设计示例 父主题: 应用架构设计
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
具有一致性和原子性。 实施监控和日志记录: 对于微服务架构,实施全面的监控和日志记录是非常重要的。使用适当的监控工具和日志系统,收集和分析每个微服务的指标和日志,以及整体系统的性能和故障信息。这将帮助您快速发现和解决潜在的问题,并保证系统的可用性和稳定性。您可以利用云提供商所提供
您即将访问非华为云网站,请注意账号财产安全