检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ImportTsv工具在“客户端安装路径/HBase/hbase/conf/hbase-site.xml”文件中“hbase.fs.tmp.dir”参数所配置的HBase临时目录中创建partition文件。因此客户端(kerberos用户)应该在指定的临时目录上具有rwx的权限来执行ImportTsv操作。“hbase
创建HBase表Region 功能简介 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意:分割操作只对空Region起作用。 本例使用multiSplit进行多点分割将HBase表按照“-∞~A”“A~D”、“D~F”、
OpenTSDB应用开发简介 OpenTSDB简介 OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB使用场景有如下几个特点:
安装MRS集群客户端,登录ClickHouse客户端。 例如客户端安装目录为“/opt/client”,以客户端安装用户,登录安装客户端的节点。 cd /opt/client source bigdata_env kinit developuser 使用clickhouse cl
创建HBase表Region 功能简介 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意:分割操作只对空Region起作用。 本例使用multiSplit进行多点分割将HBase表按照“-∞~A”“A~D”、“D~F”、
创建HBase表Region 功能简介 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意:分割操作只对空Region起作用。 本例使用multiSplit进行多点分割将HBase表按照“-∞~A”、“A~D”、“D~F”
HDFS相关样例工程 样例工程位置 描述 hdfs-example-security HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件内容、读文件和删除文件/文件夹等相关接口操作示例。相关业务场景介绍请参见开发HDFS应用。 hdfs-c-example
页面,因此需要控制页面显示的Lost Executor个数。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.ui.retainedDeadExecutors Spark UI页面显示的Lost
Spark SQL样例程序(Scala) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: object
Spark SQL样例程序(Scala) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection: object
查看HiveServer日志“/var/log/Bigdata/hive/hiveserver/hive.log”,发现目录名不符合分区格式。 处理步骤 方法一:删除错误的文件或目录。 方法二:执行set hive.msck.path.validation=skip;,跳过无效的目录。 父主题: 使用Hive
MRS是否支持同时运行多个Flume任务? Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source、Channel、Sink。 这些组件可以链接以形成多个数据流。 例如在一个配置中配置两个数据流,示例如下: server
现有表名。 new_table_name 现有表名的新表名。 注意事项 并行运行的查询(需要使用表名获取路径,以读取CarbonData存储文件)可能会在此操作期间失败。 不允许二级索引表重命名。 示例 ALTER TABLE carbon RENAME TO carbondata;
页面,因此需要控制页面显示的Lost Executor个数。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.ui.retainedDeadExecutors Spark UI页面显示的Lost
本章节仅适用于MRS 3.2.0及之后版本。 命令功能 用于根据配置对Timeline上的Instant进行clean,删除老旧的历史版本文件,以减少hudi表的数据存储及读写压力。 命令格式 RUN CLEAN ON tableIdentifier; RUN CLEAN ON tablelocation;
在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”,选择“全部配置”,在NodeManager的配置文件“yarn-site.xml”中配置下面的参数来更改日志级别。 表1 参数描述 参数 描述 默认值 yarn.nodemanager.container-localizer
hostname到IP地址的映射。 修改Windows机器的“C:\Windows\System32\drivers\etc\hosts”文件,增加一行hostname到IP地址的映射,保存后重新访问正常。 例如: 10.244.224.45 10-044-224-45 父主题:
Spark Structured Streaming对接Kafka样例程序(Scala) 功能介绍 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka中。
Spark Structured Streaming对接Kafka样例程序(Scala) 功能介绍 使用Structured Streaming,从kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka中。
获取用户定义的某路径下的文件数据,作为输入流数据。 filePath是指文件的路径。 inputFormat是指文件的格式。 watchType指的是文件的处理模式“PROCESS_ONCE”或者“PROCESS_CONTINUOUSLY”。 interval指的是多长时间判断目录或文件变化进行处理。