检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
人工智能 人工智能是模拟人类智能的技术和方法,在各个领域都发挥着重要作用。以下是AI如何使能业务创新、与业务结合并推动业务现代化的几个方面: 自动化和智能决策:AI技术可以通过自动化和智能决策来提升业务效率和准确性。例如,利用机器学习算法,企业可以自动处理大量的数据,识别模式和趋
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平
无需管理IT基础设施:云服务商负责云数据中心、硬件、网络、虚拟化等IT基础设施的运维,企业只需要聚焦应用系统的运维。 智能监控系统:云服务商提供全栈和智能监控系统,能够实时收集、分析云资源及应用性能指标,自动识别异常,预测潜在风险,并提供告警和可视化报表,帮助运维人员快速定位故障。
调研大数据任务调度平台 需要调研大数据任务调度平台的类型、版本、支持的大数据框架和技术,调度任务类型,可视化和管理界面,扩展性和集成性,容错和故障恢复,安全性和权限控制以及社区支持和文档资料等方面的信息。用于后续大数据调度平台的选型和方案设计。 调研现有的大数据任务调度平台的类型,
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
概述 基于云平台的新技术正驱动着产品和服务创新浪潮。 人工智能与大模型结合,赋予产品更智能的交互和更精准的个性化服务,例如AI客服、智能推荐系统等。 区块链技术则增强了产品和服务的安全性和可信度,可应用于供应链管理、数字身份认证等场景,构建透明可追溯的体系。 数字人技术打造虚拟形
云上创新 概述 人工智能 大数据 区块链 元宇宙 物联网 父主题: 采用实施
使能业务创新、与业务结合并推动业务现代化的几个方面: 智能家居和智慧城市:物联网技术可以将家居设备、城市基础设施和公共服务连接起来,实现智能化管理和优化资源利用。通过物联网,人们可以通过手机或其他终端设备控制家居设备,实现智能家居的概念。同时,物联网还可以应用于智慧城市领域,优化城市交通、能源管理和公共安全等方面。
云运维团队负责云基础设施的日常管理与维护,确保云基础设施的高可用性、高安全和高性能,协同应用运维管理员保障云上业务系统的长期安全稳定运行,并不断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师,职责和技能要求如下表所示。 表1 云运维团队的角色和职责
力,数字化转型已成为企业实现业务创新和可持续发展的必由之路。 数字化转型是指组织利用数字技术(如IT基础设施、数据库、大数据、物联网、人工智能、区块链等)对其业务模式、运营流程、产品和服务进行全面的重塑和创新,以适应快速变化的市场环境和满足客户不断提升的需求。当前主流的云计算平台
数据安全和权限管理:审查和加强数据的访问控制和权限管理机制。确保只有经授权的人员可以访问敏感数据,并采取适当的加密和脱敏措施保护数据安全。 自动化任务调度:确保大数据任务调度平台的运行和调度正常。优化调度策略,确保任务按时准确完成,并处理可能的故障或异常情况。 异常处理和故障恢复:建立故障处理和恢复计划,包括对集群、
急响应能力。 业务运行态数据的智能运营,是指导团队开展工作持续改进的核心基础能力,需要构建一套实时的采集以及数据运营系统,以支撑业务决策。 智能运维是未来 智能运维工具能够提高运维工作的效率和质量,降低人力成本。尤其是AI 时代,通过引入自动化、智能化等技术手段,团队可以更加高效地管理和维护系统,有几个原则:
环境的安全防护能力,华为云为客户提供了华为云安全配置基线指南。该指南包括身份与访问管理、日志与监控、虚拟机与容器、网络、存储、数据库、企业智能等方面的安全配置,但并不是所有可能的安全配置的详尽列表。建议您将该指南作为一个起点,并根据实际需要在此基础上进行补充或裁剪。 按照华为云安
在海量数据集上进行查询、聚合和可视化,以提供数据洞见和决策支持。 任务调度: 大数据平台通常需要处理复杂的数据作业。任务调度系统(如Azkaban等)用于管理和调度各种数据处理作业,可以设置作业的依赖关系、调度频率、重试策略等,以确保作业的顺利执行和任务的准时完成。 数据应用:
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
法变动,微调SQL语句以适配云上版本语法 脚本类任务 (Python、Shell) 同调度平台:平迁脚本类任务 不同调度平台:平迁脚本类任务,根据云上调度平台,对脚本进行适配改造,以适应新的调度平台运行环境 大数据任务迁移通常按照如下顺序执行: 图2 大数据的任务迁移顺序 历史作业全量迁移
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
数据可信度和透明度,消除了传统中介机构的需求,降低了操作风险。 智能合约和自动化执行:区块链上的智能合约是一种自动化的合约机制,能够根据预先设定的条件和规则自动执行。这在供应链管理、金融服务等领域具有广泛的应用。智能合约可以提高交易的效率,减少人工干预,降低成本,并防止欺诈和纠纷。
部分的内容。 源端脚本导出:从源端调度平台拷贝调度任务的可执行脚本。 修改脚本:根据云上环境配置,修改脚本,例如数据库连接串,资源配置,输出目录等。 目标云平台导入脚本:上传脚本到云上调度平台,并配置脚本类调度任务。 脚本任务运行和测试:执行调度任务,并根据日志和执行结果检查脚本运行情况。
响; 应用接入层采用跨可用区集群部署,单可用区的故障不会影响到全局业务; 业务容器POD多副本均衡的跨AZ部署,通过华为云CCE容器引擎的调度策略实现,从而确保业务负载跨数据中心高可靠; DCS Redis跨AZ主备部署,确保跨可用区的高可靠;DMS Kafka构建跨双可用区或三