检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。
在Linux中调测程序 调测OpenTSDB应用 查看OpenTSDB应用调测结果 父主题: 调测OpenTSDB应用
<id> [definition]: Purge a tree and/or the branches from storage. Provide an integer Tree ID and optionally add "true" to
Flink应用开发常用概念 DataStream 数据流,是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入,可以通过socket、Kafka和文件等形式导入,在Flink系统处理后,通过Socket、Kafka和文件等输出到外部系统,这是Flink的核心概念。 Data
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。 代码样例 如下是读文件的代码片段,详细代码请参考com.huawei
创建HDFS多线程任务 功能简介 建立多线程任务,同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2:多线程 final int THREAD_COUNT
CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个
Hive同步数据报错HoodieHiveSyncException 问题 Hive同步数据时报错: com.uber.hoodie.hive.HoodieHiveSyncException: Could not convert field Type from <type1> to
如果不存在overlap,执行3。 如果存在overlap,执行1。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > HBase > 更多 > 执行HMaster倒换”,完成HMaster主备倒换。 执行hbase hbck -j ${CLIENT_
如何删除所有HiveServer中的永久函数 问题 如果需要删除永久函数(Permanent UDF),如何在多个HiveServer之间同步删除? 回答 因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer
maximum-allocation-mb”可配置单个Container最大内存可用值。不支持实例级别的修改,需要在Yarn服务的配置中修改参数值,并重启Yarn服务。 单击“保存配置”,勾选“重新启动受影响的服务或实例”,单击“确定”。重启NodeManager角色实例。 界面提示“操作成功。”,单击“完成
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
删除CarbonData Table 操作场景 可使用DROP TABLE命令删除表。删除表后,所有metadata以及表中已加载的数据都会被删除。 操作步骤 运行如下命令删除表。 命令: DROP TABLE [IF EXISTS] [db_name.]table_name;
Impala样例程序指导 功能简介 本小节介绍了如何使用样例程序完成分析任务。本章节以使用JDBC接口提交数据分析任务为例。 样例代码 使用Impala JDBC接口提交数据分析任务,参考样例程序中的JDBCExample.java。 修改以下变量为false,标识连接集群的认证模式为普通模式。
Kudu应用开发流程 开发流程中各阶段的说明如图1和表1所示。 图1 Kudu应用程序开发流程 表1 Kudu应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Kudu的基本概念。 Kudu应用开发常用概念 准备开发和运行环境 Kudu的应用程序支
Oozie应用开发流程 本文档主要基于java API对Oozie进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 Oozie应用程序开发流程 表1 Oozie应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Oozie的基本概念,了解场景需求等。
Storm应用开发简介 简介 Storm是一个分布式的、可靠的、容错的数据流处理系统。它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务。Storm的目标是提供对大数据流的实时处理,可以可靠地处理无限的数据流。 Storm有很多适用的场景:实时分析、在线机器学
Storm应用开发流程 本文档主要基于Java API进行Storm拓扑的开发。 开发流程中各阶段的说明如图1和表1所示: 图1 拓扑开发流程 表1 Storm应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Storm的基本概念,了解场景需求,拓扑等。
调测MapReduce应用 在本地Windows环境中调测MapReduce应用 在Linux环境中调测MapReduce应用 父主题: MapReduce开发指南(普通模式)
读取HDFS指定文件内容 功能简介 获取HDFS上某个指定文件的内容。过程为: 使用FileSystem实例的open方法获取读取文件的输入流。 使用该输入流读取HDFS的指定文件的内容。 在完成后,需关闭所申请资源。 代码样例 如下是读文件的代码片段,详细代码请参考com.huawei