检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
import。 图1 reimport projects 编译运行程序。 修改代码匹配的IoTDBServer节点IP、端口、登录用户名和密码。 编译方式有以下两种。 方法一 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。
弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。 如果未安装,在配置了yum源的情况下,可执行yum install ntp -y命令自行安装。 需要允许用户使用密码方式登录Linux弹性云服务器(SSH方式)。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 集群内节点安装客户端
ALTER TABLE COMPACTION 命令功能 ALTER TABLE COMPACTION命令将合并指定数量的segment为一个segment。这将提高该表的查询性能。 命令格式 ALTER TABLE[db_name.]table_name COMPACT 'MIN
使用Spark执行Hudi样例程序(Scala) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据: def insertData(spark: SparkSession
Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。
使用Spark执行Hudi样例程序(Scala) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据: def insertData(spark: SparkSession
使用Spark执行Hudi样例程序(Scala) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据: def insertData(spark: SparkSession
验证日志是否传输成功。 进入HBase客户端目录: cd /客户端安装目录/HBase/hbase kinit flume_hbase(输入密码) 执行hbase shell进入HBase客户端。 执行语句:scan 'flume_test' ,可以看到日志按行写入HBase列族里。
验证日志是否传输成功。 进入HBase客户端目录: cd /客户端安装目录/HBase/hbase kinit flume_hbase(输入密码) 执行hbase shell进入HBase客户端。 执行语句:scan 'flume_test' ,可以看到日志按行写入HBase列族里。
配置Hive业务使用其他组件的用户权限 操作场景 Hive业务还可能需要关联使用其他组件,例如HQL语句触发MapReduce任务需要设置Yarn权限,或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的操作。
已安装客户端,具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据 以客户端安装用户登录安装了客户端的节点。 执行以下命令配置环境变量并认证用户:
使用Spark执行Hudi样例程序(Scala) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据: def insertData(spark: SparkSession
Flink性能调优建议 Hudi MOR流表开启log Index特性提升Flink流读Mor表性能 Hudi的Mor表可以通过log index提升读写性能,在Sink和Source表添加属性 'hoodie.log.index.enabled'='true'。 通过调整对应算子并行度提升性能
使用JDBC提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中,实现该功能的模块如下:
SET/RESET 命令功能 此命令用于动态Add,Update,Display或Reset CarbonData参数,而无需重新启动driver。 命令格式 Add或Update参数值: SET parameter_name=parameter_value 此命令用于添加或更新“parameter_name”的值。
Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑,而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据,然后转换为Topology内部的源数据。
Spark从HBase读取数据再写入HBase样例程序(Python) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关ap
Storm基本原理 Apache Storm是一个分布式、可靠、容错的实时流式数据处理的系统。在Storm中,先要设计一个用于实时计算的图状结构,称之为拓扑(topology)。这个拓扑将会被提交给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker
SET/RESET 命令功能 此命令用于动态Add,Update,Display或Reset CarbonData参数,而无需重新启动driver。 命令格式 Add或Update参数值: SET parameter_name=parameter_value 此命令用于添加或更新“parameter_name”的值。
使用JDBC接口提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务,该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中,实现该功能的模块如下: