- 学堂
- 博客
- 论坛
- 开发服务
- 开发工具
- 直播
- 视频
- 用户
- 一周
- 一个月
- 三个月
-
《企业级大数据平台构建：架构与实现》——2.3 HBase
ion-Servers进程负责处理。底层数据存储和集群协同管理则交由HDFS和Zookeeper进行管理，如图2-6所示。图2-6 HBase逻辑架构图HBase的所有数据最终都以HDFS文件的形式进行存储，Region Server服务通常是伴随着HDFS的Datanode进行
-
上传到物联网平台的数据如何能保存历史数据？
上传到物联网平台的数据如何能保存历史数据可以查看？
-
【云驻共创】华为大数据开发平台 DataFactory 行业应用典型案例
数据源（作为底层配置项，支持整体模型的定制） 数据仓库（完成数据应用后，需要把数据加载到数据仓库中，构建完整的数据仓库模型体系） 接下来，我们将从逻辑模型、物理模型和数据流程来讲解如何设计和开发一个数据应用。 2 数据模型与数据流设计 2.1 数据模型基本概念 数据模型分类 数据模型可以分为如下 3
-
《企业级大数据平台构建：架构与实现》——1.4 平台辅助工具
的方式；平台运维的职责是保障大数据平台的正常稳定运行，所以他们关注的是平台的各种监控指标。而数据分析的职责是基于平台数据做数据分析，所以他们关注的是如何使用机器学习相关算法，用最快的速度验证自己的想法并得出反馈。通过前面的介绍，我们可以知道大数据平台的基本能力从底层技术角度已经覆
-
AgentLite 非直连设备数据上报后，在平台无法看到历史数据
使用AgentLiteWinJava Demo 样例程序，网关绑定、登录，数据上报等都没有问题，但是在添加非直连设备并更新状态后，数据上报在回调中显示上报成功，但是平台上却看不到上报的数据，求解？以下为调试打印信息： ============= addSensor! ======
-
服务器接收云平台数据问题
请问用华为的demo发数据，收到的这些方框是什么 怎么去掉？
-
智能数据湖运营平台 9大功能 介绍
1、数据集成 支持批量数据迁移、实时数据集成和数据库实时同步，支持20+异构数据源，全向导式配置和管理，支持单表、整库、增量、周期性数据集成2、数据治理 提供智能数据规划、数据质量监控、数据标准化等功能，统一管理数据模型、数据标准，并落地数据模型和数据标准，用于改善数据质量，
-
从0到1搭建大数据平台之调度系统
目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度
-
【Linksoft】【数据接入】【无法创建数据接入任务】Ulab环境数字平台不能正常创建数据接入任务
1、问题描述Ulab环境数字平台不能正常创建数据接入任务 园区数字平台中数据联接下的数据接入，表单或编排模式都无法正常创建数据同步任务。2、问题分析进入环境验证测试 无法以源表名为spms-cloud-appointment.meet_room创建数据接入任务，根据数据源数据库的命名规范要求
-
华为云再次位居大数据管理平台领导者象限
并在市场份额和技术实力两个维度双领先。1604400899668021730.png华为云FusionInsight智能数据湖实现数据采、存、算、管、用全生命周期管理，是华为云数据使能方案的数据底座，其主要包含MRS大数据、DWS数据仓库、数据湖治理中心等云服务，助力政企客户实
-
从0到1搭建大数据平台之计算存储系统
前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，
-
Apache Hudi：新一代流式数据湖平台
时间线元数据服务 在湖存储上保存和提供表元数据是可扩展的，但与可扩展的元数据服务器的 RPC 相比，其性能可能要低得多。在大多数云仓库内部，其元数据层都建立在外部数据库之上（例如 Snowflake 使用 FoundationDB[52]）。Hudi 还提供了一个元数据服务器，称
-
永洪一站式大数据分析平台对接FusionInsight MRS hive
conf文件为对应用户的认证文件，请从MRS manager下载 hive自定义驱动包配置如下 从MRS客户端（/opt/client/Hive/Beeline/lib/jdbc）获取jar包本地上传，注意要删除该路径下的jdbc_pom.xml文件 测试连接： 查看数据：
-
智慧园区数据平台DO GaussDB 200数据库关键字合集
GaussDB 200数据库中，保留字决不能用做其他标识符。非保留字只是在特定的环境里有特殊的含义，而在其他环境里是可以用做标识符的。保留关键字和非保留关键字的约束与其他数据库一致，保留字任何地方都不能用。非保留，在特定场景下可以用。一般建议不要使用关键字做表名或者字段名。表1 GaussDB
-
《企业级大数据平台构建：架构与实现》——2.6 本章小结
FS之上的、分布式的、支持多版本的NoSQL数据库，它的出现补齐了大数据场景下快速查询数据能力的短板。它非常适用于对平台中的热数据进行存储并提供查询功能。YARN是一款能够支持多种应用类型的通用集群资源调度框架。除了MapReduce之外，Spark、Hive等一系列服务都可以作
-
永洪一站式大数据分析平台对接FusionInsight ClickHouse
使用版本为0.2.4的clickhouse jdbc驱动 测试连接 查看数据 注意：如果在连接界面配置了数据库参数的话只能通过查询sql的方式来查看clickhouse数据，其他方式暂不能直接预览数据
-
DataArts Studio数据架构——数据标准介绍
数据标准是在组织层面形成统一数据定义和规则，提升组织数据重用和数据质量的基础。数据标准一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 1 ）数据标准的范围 2 ）业务数据标准设计规范 序号 规范 1 描述业务对象的特有属性，应作为本业
-
【MapReduce服务 MRS产品】【集群功能】云硬盘是必选项吗？
【功能模块】数据转发至大数据平台分析并呈现https://support.huaweicloud.com/bestpractice-iothub/iot_bp_0002.html【操作步骤&问题现象】1、按照步骤进行购买，集群 产生费用，不可被代金券抵扣，2、云硬盘是必选资源吗？
-
制造业企业数据平台建设最佳实践分享
形成统一的数据资产，为应用提供智能数据服务；通过数据运营构建持续机制释放数据价值，实现数据驱动运营。在技术平台方面，协同合作伙伴，为大型政企客户提供混合数据管理最佳实践的数据湖技术体系架构的数据使能平台。在应用场景方面，对标业务战略、洞察业务需求，协助企业建设数据应用价值场景，使能卓越运营和有效增长。
-
《企业级大数据平台构建：架构与实现》——2.5 Spark
现海量数据的共享存储，然后使用MapReduce以批处理的方式处理这些海量数据，这一切看起来似乎十分完美。但众口难调啊，有人觉得MapReduce的编程模型太难使用了，为什么不能使用SQL来分析数据呢？我们数据库领域已经有非常成熟的数据仓库模型了，为何不实现一个大数据技术的数据仓
