检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载。 支持与MapRe
sh，提交任务。 自定义日志若指定了路径<file>/path/test.log</file>，需确保任务运行所使用的用户（flink-conf.yaml配置用户）有权限对该目录进行读写操作。 父主题： Flink应用开发常见问题
sh，提交任务。 自定义日志若指定了路径<file>/path/test.log</file>，需确保任务运行所使用的用户（flink-conf.yaml配置用户）有权限对该目录进行读写操作。 父主题： Flink应用开发常见问题
HDFS分布式并行计算框架。Hive进行数据分析时，会将用户提交的HQL语句解析成相应的MapReduce任务并提交MapReduce执行。 Hive与Tez的关系 Tez是Apache的开源项目，它是一个支持有向无环图的分布式计算框架，Hive使用Tez引擎进行数据分析时，会将用户提交的HQL语句解析成相应的Tez任务并提交Tez执行。
使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时，Hive支持开启CBO（Cost Based Optimization），系统会自动根据表的统计信息，例如数据量、文件数等，选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
进入IoTDB客户端，将1生成的Jar包导入到IoTDB客户端的lib目录下，如“/opt/client/IoTDB/iotdb/lib”。 上传准备集群认证用户信息获取到的用户认证文件“user.keytab”和“krb5.conf”到“客户端安装目录/IoTDB/iotdb/conf”目录下。 在IoT
value string) stored as RCFile; HIVE使用OBS存储。 需要在beeline里面设置指定的参数，AK/SK可登录“OBS控制台”，进入“我的凭证”页面获取。 set fs.obs.access.key=AK; set fs.obs.secret.key=SK;
heck.log Yarn resourcemanager的周期检查日志 hadoop.log Hadoop的客户端日志 env.log 实例启停前的环境信息日志。 审计日志 yarn-audit-<process_name>.log ranger-plugin-audit.log
准备连接Doris集群配置文件 准备集群认证用户信息 对于未开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Doris权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录安装了MySQL客户端的节点，使用admin用户连接Doris服务。
工。 数据入库 建议使用CDL（增量实时同步）和Loader（批量同步）工具进行数据同步，也可选择HDFS外表（CK集群只支持X86平台）用户自己写调度程序进行数据导入。 父主题： ClickHouse数据库开发
Impala使用OBS存储。 需要在集群管理页面MRS Manager里面设置指定的参数到core-site.xml，AK/SK可登录“OBS控制台”，进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs
va APIHDFS Java API接口介绍 HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口，使用C语言开发的用户可参考C接口HDFS C API接口介绍 的描述进行应用开发。 Shell 提供shell命令 HDFS Shell命令介绍 完成HDFS文件系统的基本操作。
异常。 解决这个问题的办法是使用所有schema演进版本来创建uber schema，并使用该schema作为target schema。用户可以从hive metastore中获取schema并将其与当前schema合并。 父主题： 数据写入
一个分区从热分区变成冷分区，仅仅是在元数据中进行标识，其HDFS业务侧分区路径、数据文件内容并未发生变化。 本特性仅适用于MRS 3.1.2及之后版本。 冻结分区 支持创建表的用户按照条件过滤的方式对一个或多个分区进行冻结，格式为：freeze partitions 数据库名称.表名称 where 分区过滤条件 例如：
ka上读取数据的。 Kafka服务的topic的leader异常后，如果Kafka的leader和follower的offset相差太大，用户重启Kafka服务，Kafka的follower和leader相互切换，则Kafka服务重启后，topic的offset变小。 如果Spark
ve可以将自己的HBase表中符合条件的一条或者多条数据清除。 表1 删除Hive on HBase表中的单行记录所需权限 集群认证模式 用户所需权限 安全模式 “SELECT”、“INSERT”和“DELETE” 普通模式 无 操作步骤 如果要删除某张HBase表中的某些数据，可以执行HQL语句：
NodeManager进程中），就会出现某些Task获取数据超时，从而出现该问题。 因此，当数据量达到10T级别以上的Spark任务，建议用户关闭ShuffleService功能，即在“Spark-defaults.conf”配置文件中将配置项“spark.shuffle.service
集群外节点安装客户端上传HDFS文件失败 用户问题 集群外节点安装客户端使用hdfs命令上传文件失败。 问题现象 在集群节点上安装客户端，在该客户端使用hdfs命令上传一个文件，报如下错误： 图1 上传文件报错 原因分析 从错误截图可以看到报错是no route to host，且报错信息里面有192
ELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token，为MapReduce任务配置参数。当参数为false时，用户能够再次使用同一个Token。 jobConf.setBoolean("mapreduce.job.complete.cancel.delegation
cluster/ActiveStandbyElectorLock。但是NameNode备节点通过客户端（ZKFC）与ZooKeeper建立连接时，由于网络问题、CPU使用率高、集群压力大等原因，出现了客户端（ZKFC）的session（0x144cb2b3e4b36ae4）与Zo
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
