检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
] } ] } Resource参数中“bucket”的参数值表示OBS桶名称，“object”的参数值表示OBS对象名称，可根据需要指定名称。配置为“*”表示对所有OBS桶或OBS对象适用此策略。 其他参数按照实际需求进行配置。 勾选新建的策略名称
（需要有Kafka权限用户）。 确保集群安装完成，包括HDFS、Yarn、Spark和Kafka。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息，格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper
假定用户开发一个应用程序，其中一个功能需要记录用户信息及地址，记录数据如下表： 表1 用户信息表 id name age address 1 Zhang 20 CityA 2 Li 30 CityB 3 Wang 35 CityC 数据规划 合理地设计表结构、行键、列名能充分利用HBase的优势。全局二
Execution特性前，Spark SQL根据RBO和CBO的优化结果创建执行计划，此种方法忽略了数据在运行过程中的结果集变化。比如基于某个大表创建的视图，与其他大表join时，即便视图的结果集很小，也无法将执行计划调整为BroadcastJoin。启用Adaptive Execution特性后，Spark
Execution特性前，Spark SQL根据RBO和CBO的优化结果创建执行计划，此种方法忽略了数据在运行过程中的结果集变化。比如基于某个大表创建的视图，与其他大表join时，即便视图的结果集很小，也无法将执行计划调整为BroadcastJoin。启用Adaptive Execution特性后，Spark
CarbonData表用户权限说明 下表提供了对CarbonData Table执行相应操作所需的Hive ACL特权的详细信息。 前提条件 已经设置了表5或表6中Carbon相关参数。 Hive ACL权限 表1 CarbonData表级操作所需的Hive ACL权限 场景 所需权限
CarbonData表用户权限说明 下表提供了对CarbonData Table执行相应操作所需的Hive ACL特权的详细信息。 前提条件 已经设置了表5或表6中Carbon相关参数。 Hive ACL权限 表1 CarbonData表级操作所需的Hive ACL权限 场景 所需权限
接口参见表1。 FileStatus：记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin：管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient：操作colocation文件的接口。常用接口参见表4。 系统
接口参见表1。 FileStatus：记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin：管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient：操作colocation文件的接口。常用接口参见表4。 系统
接口参见表1。 FileStatus：记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin：管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient：操作colocation文件的接口。常用接口参见表4。 系统
DataFrame是一个由多个列组成的结构化的分布式数据集合，等同于关系数据库中的一张表，或者是R/Python中的Data Frame。DataFrame是Spark SQL中的最基本的概念，可以通过多种方式创建，例如结构化的数据集、Hive表、外部数据库或者RDD。 Spark SQL的程序入口是SQ
Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：
在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。
Hive应用开发简介 Hive简介 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数据，其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。
API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层，吸收了Hive的DDL命令。为MapReduce提供读写接口，提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HC
在本地Windows环境中调测Spark应用 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。
ch.so {客户端安装目录}/JDK/jdk1.8.0_372/jre/lib/aarch64/libjsig.so" 注意：此处需要与表中spark.yarn.dist.files参数使用同一路径下的libch.so和libjsig.so，多个so间用空格隔开，前后需要加上双引号。
ClickHouse系统调优 通过FusionInsight Manager查看主机上的CPU、内存、I/O和网络资源使用情况，确认这些资源是否已被充分利用，分以下几种情况： 每个节点资源占用都比较均匀 通过观察资源在每个节点都使用比较均匀，说明系统资源使用比较正常，可以先不关注
java:68) 2023-09-21 09:08:39,752 | INFO | main | Execute query:create database if not exists testdb on cluster default_cluster | com.huawei.clickhouse
HCatalog访问Hive样例程序 功能介绍 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据，读取输入表第一列int类型数据执行count(distinct XX)操作，将结果写入输出表。 样例代码 该样例程序在“hive-examples/hcatalog-example”的“HCatalogExample
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
