内容选择
全部
内容选择
内容分类
  • 学堂
  • 博客
  • 论坛
  • 开发服务
  • 开发工具
  • 直播
  • 视频
  • 用户
时间
  • 一周
  • 一个月
  • 三个月
  • 《企业级大数据平台构建:架构与实现》—— 2.4.6 单一集群架构

    许第三方应用框架便捷的和YARN进行集成。这才有了像MapReduce On YARN、Storm On YARN、Spark On YARN和Tez On YARN等众多第三方应用集成方案的出现。通过这种资源共享的单一集群架构,我们在企业内部可以实现服务器资源真正的共享使用,以

    作者: 华章计算机
    发表时间: 2019-06-06 16:15:56
    4129
    0
  • 中小企业商业大数据平台

    但即使是不做进步开发,对初创互联网产品,百度统计这类大数据服务提供的数据分析也极有价值。 大数据开放平台 除了上面提到的这几类商业大数据平台,还有一类大数据商业服务,就是大数据开放平台。 这类平台并不为用户提供典型的数据处理服务,它自身就有大量的数据。比如各类政府和公共事业机构、各类金融和商

    作者: JavaEdge
    发表时间: 2022-05-02 15:37:07
    417
    0
  • 永洪一站式大数据分析平台对接FusionInsight ClickHouse

    使用版本为0.2.4的clickhouse jdbc驱动 测试连接 查看数据 注意:如果在连接界面配置了数据库参数的话只能通过查询sql的方式来查看clickhouse数据,其他方式暂不能直接预览数据

    作者: 晋红轻
    发表时间: 2021-08-28 07:16:01
    1849
    0
  • 数据调度平台Airflow(一):什么是Airflow

    什么是Airflow Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台,与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起,2016年3月进入Apache基金会,在2019年1月成为顶级项

    作者: Lansonli
    发表时间: 2022-03-19 16:00:19
    1168
    0
  • 相关云服务

    相关云服务 DWS Data Warehouse Service 数据仓库服务 数据仓库服务 MRS

  • 华为云EI智能数据湖FusionInsight 8.0 MRS新版本:融合大数据平台

    一、FusionInsight MRS概述        FusionInsight MRS是华为FusionInsigth HD企业级大数据平台本与原华为云MRS服务的融合版本,是华为云(Huawei Cloud)、HCS(Huawei Cloud Stack)统一的企业级大数据云服务。FusionInsight

    作者: 沙漏
    发表时间: 2020-07-02 11:47:07
    12441
    0
  • 《企业级大数据平台构建:架构与实现》——2.5.6 集群模式

    好处是将各个应用之间的资源消耗进行了隔离,每个应用都运行在它们各自的JVM中。但是这也意味着不同应用之间的SparkContext无法共享数据,除非借助扩展的存储媒介。Spark对底层集群管理不可知。只要能够获取到executor进行,并且这些进程之间可以通信,它就能比较容易的运

    作者: 华章计算机
    发表时间: 2019-06-06 16:29:04
    2652
    0
  • 《企业级大数据平台构建:架构与实现》—— 1.1.3 服务孤岛

    1.1.3 服务孤岛企业内部各自为政的小集群的首要任务是支撑团队或项目组自身的业务场景来满足自身的需求,所以在实现功能的时候不会以面向服务的思维来抽象提炼服务,很可能都没有可以暴露出来供小集群外部使用的服务。退一步讲就算这些小集群有提供出来的服务,那么它们也缺乏统一的顶层设计,在

    作者: 华章计算机
    发表时间: 2019-06-06 15:20:05
    2928
    0
  • 【物联网平台】从平台获取数据

    我是用的小熊派智慧井盖案例,接入平台以后,我想要用app获取井盖的实时数据,于是想用平台提供的api来实现。可是在这个在线调试中,我使用查询设备消息这个接口, 结果调试结果是message:[]。为什么不能获取数据呢?如果这个接口是错的话,那么该调用哪个接口才是正确的呢?【截图信

    作者: 新手学物联网
    941
    5
  • 基础架构之分布式任务平台

    下运行脚本tables_xxl_job.sql 为数据结构脚本xxl-job-admin-1.9.2-SNAPSHOT.jar 为项目包 首先把数据结构导入到数据库,执行任何数据库客户端,执行数据结构脚本即可导入,记得修改application配置文件中的数据库链接信息,然后执行对应的环境脚本即

    作者: 架构师聊技术
    发表时间: 2018-12-14 18:03:24
    5339
    0
  • 步骤5:数据架构

    Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。 图1 选择数据架构 图2 选择数据架构 单击左侧导航树中的“配置中心”,进入相应

  • 浅谈数据中台

    打通数据建模对全域数据进行沉淀形成数据资产,从而提供统一的数据服务功能。 二、如何建立数据中台 建设数据中台主要就是从数据模型、数据资产、数据治理、数据服务四部分出发。 首先需要做整体规划,哪些数据需要纳入到数据中台中,根据数据接入的情况,进行技术选型,评估集群的配置,规划至少3年的计算和存储资源。

    作者: 数据社
    发表时间: 2022-09-14 11:47:44
    302
    0
  • 万字详解大数据平台异地多机房架构实践

    Router的多挂载点实现的MergeFs的基础上,实现了镜像挂载点来实现数据路由功能。为方便描述,我们约定原始数据为主数据, 传输到异地机房的数据为副本数据(也称为镜像数据,该数据只允许读取和删除),并且约定镜像挂载点中第一挂载点为主数据,之后的挂载点为副本数据(理论上可以扩展多个机房),为

    作者: 数据社
    发表时间: 2022-09-24 17:33:21
    191
    0
  • 云原生架构相关服务

    API接口,可存储任意数量和形式的非结构化数据,支持S3、HDFS等协议。 MRS MapReduce服务MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HB

  • 《企业级大数据平台构建:架构与实现》——1浅谈企业级大数据平台的重要性

    我们的企业理应做好充足向大数据领域转型的技术准备,以免在这个时代落伍。在这个转型的过程中最为重要的环节之一便是技术平台的建设。1.1 缺乏统一数据平台的问题大数据思维需要依托大数据技术的支撑才能得以实现,所以隐藏在背后的支撑平台非常重要。正所谓下层基础决定上层建筑,没有一个牢固

    作者: 华章计算机
    发表时间: 2019-06-06 15:15:26
    5990
    0
  • 《企业级大数据平台构建:架构与实现》——1.3.4 数据计算

    1.3.4 数据计算在数据接入并存储下来之后,就需要考虑如何使用这些数据了。比如对数据进行加工、转换、映射、查询,进行业务处理或者进行数据挖掘,等等。根据业务场景的不同会有不同的计算需求。1.?离线批处理大数据具有体量大和价值密度低的特性,这意味着这些数据通常并不能直接拿来使用,

    作者: 华章计算机
    发表时间: 2019-06-06 15:30:30
    5745
    0
  • 只需一步,轻松创建大数据集群

    日期等。例如:“mrs_20200616”。集群版本:默认选择最新版本即可(不同版本集群提供的组件有所不同,请根据需要选择集群版本)。组件选择:根据使用需要,选择“Hadoop分析集群”、“HBase分析集群”或“Kafka流式集群”。CPU架构:默认即可。集群节点:请根据自身需

    作者: 寒月点点
    发表时间: 2020-06-16 20:05:47
    7560
    0
  • 华为推动车载智能计算基础平台参考架构进程

    广泛共识,为车载智能计算基础平台的技术创新、标准研制、试验验证、应用实践、产业生态构建等提供参考和引导,加快推动车载智能计算基础平台的持续健康发展。 华为结合自身对汽车“新四化”的行业趋势理解与技术判断,以及在MDC智能驾驶计算平台(以下简称华为MDC平台)的研发与设计过程中的最新思考与实践,参与了此白皮书的编写。

    作者: GoFaster
    发表时间: 2020-01-15 14:54:19
    10008
    0
  • IoT平台基础版 消息推送 问题

    请问“应用定义”里修改参数点击确定后会报错,是什么原因?还有北向信息推送(http/https)信息配置在基础版不能用吗?没有找到添加url的选项,文档里也是略过,增强版里倒是有很详细的说明。

    作者: vall_lai
    4066
    1
  • 平台介绍

    平台介绍 什么是开天集成工作 为什么选择开天集成工作台 环境准备 平台功能架构 相关云服务 什么是开天集成工作 为什么选择开天集成工作台 环境准备 平台功能架构 相关云服务