检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据参考架构 下图是典型的大数据架构,从数据集成、存储、计算、调度、查询和应用,构成了一个完整的数据流。 图1 大数据参考架构 大数据架构通常包括以下几个核心组件和流程,企业可以根据实际需要选择云服务或自建大数据组件: 业务数据源: 业务数据源是大数据平台的数据输入来源,可以是
态势感知的数据来源是什么? 态势感知基于云上威胁数据和华为云服务采集的威胁数据,通过大数据挖掘和机器学习,分析并呈现威胁态势,并提供防护建议。 一方面采集全网流量数据,以及安全防护设备日志等信息,通过大数据智能AI分析采集的信息,呈现资产的安全状况,并生成相应的威胁告警。 另一方面汇聚企业主机安全(Host
别,授权数据库资产的相关操作请参见授权数据库资产。 大数据:DSC将对已授权的大数据资产进行敏感数据识别,授权大数据源资产请参见授权大数据资产。 MRS:DSC将对已授权的MRS资产进行敏感数据识别,授权MRS资产请参见授权大数据资产。 LTS:DSC将对已授权的LTS资产进行敏
大数据场景下使用OBS实现存算分离方案概述 应用场景 随着大数据技术的飞速发展,对数据价值的认识逐渐加深,大数据已经融入到了各行各业。根据相关调查报告数据显示,超过39.6%的企业正在应用大数据并从中获益;超过89.6%的企业已经成立或计划成立相关的大数据分析部门;超过六成的企业
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 旧版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 新版
大数据集群设计 设计云上的大数据集群部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据集群,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议设计大数据集群部署架构时,优先采用大数据云服务。如果目标云平台上没有对应的大数据
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题: 旧版
大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云数据湖探索(DLI)。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
大数据迁移 调研 设计 部署 迁移 验证 切换 保障 父主题: 采用实施
添加大数据资产 如果您的资产是自建大数据类型,请参照此章节将大数据实例添加到DSC服务。 如果您的资产为DLI数据库,请参照添加DLI数据库进行添加。 前提条件 已完成数据库资产委托授权,参考云资产委托授权/停止授权进行操作。 已获取自建ES、HBase以及Hive数据源的版本、
综合态势感知 在现场讲解汇报、实时监控等场景下,为了获得更好的演示效果,通常需要将态势感知服务的分析结果展示在大型屏幕上。如果只是单纯将控制台界面放大显示,视觉效果并不是很理想。此时可以利用综合大屏,展示专为大型屏幕设计的服务界面,获得更清晰的态势信息和更好的视觉效果。 前提条件
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题: 旧版
大数据数据迁移 数据迁移失败,提示超过DLI网管流控上限 部分表迁移失败,报错:CRC Check failed 部分表迁移失败,报错:no more field nodes for for field %s and vector %s
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
开通综合大屏 综合大屏根据检测数据,资产安全数据可视化,集中呈现综合安全态势和主机全局安全。为充分呈现云上安全态势,建议您在购买态势感知资产配额后,再开通综合大屏功能。 包周期方式 登录管理控制台。 在页面左上角单击,选择“安全与合规 > 态势感知”,进入态势感知管理控制台。 单
华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、
态势大屏 在现场讲解汇报、实时监控等场景下,为了获得更好的演示效果,通常需要将数据安全中心服务的分析结果展示在大型屏幕上。如果只是单纯将控制台界面放大显示,视觉效果并不是很理想。此时可以利用态势大屏,展示专为大型屏幕设计的服务界面,获得更清晰的态势信息和更好的视觉效果。 数据安全
安全组概述 安全组 安全组是一个逻辑上的分组,为具有相同安全保护需求并相互信任的云服务器提供访问策略。安全组创建后,用户可以在安全组中定义各种访问规则,当云服务器加入该安全组后,即受到这些访问规则的保护。 您也可以根据需要创建自定义的安全组,或使用默认安全组,系统会为每个用户默认