已找到以下 10000 条记录
  • 传统大数据平台Lambda架构学习

    如批计算的结果更全面,与流计算有差异;IoT时代数据量巨大,夜间批计算时间窗可能不够;数据源一旦变化,适配工作量巨大;这种情况下,出现有一种改良的大数据平台架构Kappa,特点是流批一体处理。能够解决的问题是改进流计算来解决批量数据处理的问题,统一业务处理逻辑,如需重新计算,需重

    作者: 极客潇
    1478
    3
  • 新建数据标准 - 数据治理中心 DataArts Studio

    数据标准。 约束与限制 单工作空间允许创建的数据标准目录最多500条,个数最多20000个。 新建数据标准目录 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。 在数据架构控制台,单击左侧导航树中的“数据标准”。 首次进入数据

  • 【9月29日 14:30】特邀MRS架构师亮哥,谈谈云上大数据平台MRS,人人争当MRS体验师

    果合并。那你了解MapReduce吗?本期体验师活动联合华为云大数据计算明星产品——MapReduce服务MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,带你快速玩转

    作者: 云湖湖
    4112
    2
  • 【玩转华为云】MapReduce服务初体验

    数据是人类进入互联网时代以来面临的一个巨大问题:社会生产生活产生的数据量越来越大,数据种类越来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的

    作者: 炒香菇的书呆子
    发表时间: 2022-06-09 09:18:50
    965
    0
  • 如何从0到1搭建大数据平台

    于没有了解过大数据平台数据仓库、数据挖掘概念的同学可能还是无法顺利完成搭建,因为你去百度查的时候会发现太多的东西,和架构,你不知道如何去选择。今天给大家分享下大数据平台是怎么玩的。 架构总览 通常大数据平台架构如上,从外部采集数据数据处理,数据显现,应用等模块。

    作者: 数据社
    发表时间: 2022-09-24 19:36:27
    215
    0
  • MapReduce服务初体验【玩转华为云】

    概述 1.1、什么是MapReduce? 大数据是人类进入互联网时代以来面临的一个巨大问题:社会生产生活产生的数据量越来越大,数据种类越来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apach

    作者: nukinsan
    发表时间: 2022-04-25 15:14:35
    1231
    0
  • 干货 | 政务大数据平台搭建方案

    近年来,各政务系统为贯彻落实国家大数据战略,推进数据资源开放共享,助力城市经济从高速增长转向高质量发展,建设市级政务大数据平台,整合城市全时空、全方位、全要素的数据资源,打通数据壁垒、促进数据流通、加快数据开放、创新数据应用、提升数据价值,开始与各各数据服务平台合力搭建政务大数据平台,全面推动智慧城

    作者: 马哥说数据
    发表时间: 2021-04-25 10:01:47
    2842
    0
  • 数据全栈成长计划

    @全栈开发者系列活动 大数据全栈成长计划 核心技术赋能 构建大数据技能体系 报名活动 课程详情 3阶段技术学习 夯实基础面向全栈 一阶段:大数据 入门篇(点击进入) 数据基础入门,掌握数据库原理知 MySQL--简介 MySQL--查询、函数 MySQL--数据类型、变量 MySQL--流程控制结构

  • 分布式调度平台Airflow在华为云MRS中的实践

    ook,使其拥有很好地扩展性。 MapReduce服务提供租户完全可控的企业级大数据集群云服务,可轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。Airflow对接MapReduce服务后,可依靠Airflow平台提供的命令行界面和一个基于Web

    作者: 啊喔YeYe
    发表时间: 2022-05-19 03:08:20
    7138
    0
  • 数据平台HDP搭建【绽放吧!数据库】

    e Hadoop集群的供应、管理和监控的开源工具,Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。提供Web UI进行可视化的集群管理,简化了大数据平台的安装、使用难度。

    作者: kaliarch
    发表时间: 2021-08-01 03:04:53
    2088
    0
  • 【云驻共创】华为云大数据技术解密之MapReduce服务

    技术来解决各种各样的大数据问题,例如非关系型数据库HBase、数据仓库hive等。接下来我们来逐一介绍一下常用的大数据组件。 MRS架构包括了基础设施和大数据处理流程各个阶段的能力。 基础设施 MRS基于华为云弹性云服务器ECS构建的大数据集群,充分利用了其虚拟化层的高可靠、高安全的能力。

    作者: 一恒
    发表时间: 2021-12-18 12:51:37
    1288
    0
  • DeepData大数据平台

    客户建立起符合自身特征的数据架构数据治理体系,平台主要目的是发现并解决数据问题,通过一系列措施如:数据去重,脱敏等操作统一数据标准,规范数据,减少数据问题发生,整体提高数据的应用价值。将实现业务目标作为数据管理和服务的核心驱动力,优化数据架构,提升数据仓库/信息化管理系统建设,

  • 用户推荐平台 - 数据管理与分析

    用户推荐平台具体实现 以华为云客户数据平台基础建设本项目用户推荐平台,以本期项目数据治理为数据基础,主要基于用户域和销售域数据,使用CDP客户数据平台和UGA增长分析平台,进行用户偏好分析、用户行为洞察分析、基于成交的投放效果分析等内容,达到邀约进店率提升20%+,养客成交率提升15%+。

  • 什么是云平台_云平台介绍_云服务平台登录入口

    免费在线体验 云服务平台登录 什么是云平台? 初识华为云平台 华为云平台-联接企业现在与未来,为您提供丰富多样的云计算产品。 什么是公有云平台? 公有云是指供应商提供免费或低成本服务给最终用户,经济、安全、方便、快捷地满足用户的不同场景需求,助力各行各业。华为云平台为您提供丰富多样的云服务。

  • 数据平台,第一!

    《中国大数据平台市场研究报告:2020》 凭借华为云智能数据湖FusionInsight 在产品、技术和服务等方面的持续创新 华为云以18.1%的市场份额 稳居国内大数据平台市场份额第一 华为云智能数据湖FusionInsight为企业客户提供了完整的大数据云服务产品组合,

    作者: 华为云头条
    发表时间: 2021-08-25 13:48:06
    647
    0
  • 宜人贷PaaS数据服务平台Genie:技术架构及功能

    下:搭建产品化的数据服务平台数据仓库能量转移到更加基础更加底层的数据问题,如数据质量问题、数据使用规范、数据安全问题、模型架构设计等。业务分析师直接利用平台搭建业务数据集市,提高敏捷性和专用性。数据工程主要职责不再是运维集群,而是搭建数据服务平台和构建业务数据产品。这样做的好处

    作者: 橘座
    发表时间: 2019-09-05 22:15:14
    3768
    0
  • HDC.Cloud | 【IoT最佳实践】数据转发至大数据平台分析并呈现

    场景说明物联网解决方案中,作为数据主体的“物”可能数量会非常,产生的数据已经无法通过传统的数据处理服务进行处理。如何分析与利用这庞大的物联网设备数据对物联网企业来说又是一个新的挑战。华为云物联网平台提供规则引擎能力,支持将数据上报的数据转发至华为云其他云服务,可实现将海量数据通过数据接入服务(D

    作者: 我是卤蛋
    发表时间: 2020-02-18 10:53:28
    9133
    0
  • 《企业级大数据平台构建:架构与实现》——2企业级大数据平台技术栈介绍

    FS能提供高吞吐量的数据访问,非常适合在大规模数据集上应用。同时也是一个具备高度容错性的系统。把HDFS放在首位来介绍是因为它是如此的重要,称它为平台的基石也不为过。这是为什么呢?因为文件系统在软件系统架构中永远都是处于最为重要的基础部分。在传统的单机系统架构中,文件系统通常是由

    作者: 华章计算机
    发表时间: 2019-06-06 15:36:45
    3442
    0
  • 录入基础数据 - 应用与数据集成平台 ROMA Connect

    录入基础数据 概述 数据资产信息架构中的基础数据目录,每个命名空间存放的是基础对象,即数据资产信息架构中每个业务模型都可以依赖的公共业务模型。若模型架构某些类型和基础对象之间有构建依赖关系,则资产目录中对应类型的数据实例可以通过编辑高级属性的方式来依赖到具体的基础对象实例。 前提条件

  • 数据架构支持哪些数据建模方法? - 数据治理中心 DataArts Studio

    数据架构支持哪些数据建模方法? 问题描述 数据架构数据建模方法有哪些。 解决方案 DataArts Studio数据架构支持的建模方法有以下三种: 关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是