检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HetuEngine智能物化视图能力 HetuEngine智能物化视图概述 基于智能物化视图,HetuEngine可以提供智能预计算与缓存加速能力。HetuEngine QAS角色能够自动提取历史SQL语句进行分析学习,基于收益最大化原则自动生成高价值物化视图的候选SQL。在
使用Sasl Plaintext认证 本章节适用于MRS 3.2.0及之后版本。 操作场景 在启用Kerberos认证集群环境下,Kafka当前支持Sasl Plaintext认证。 操作步骤 Kafka服务端配置Sasl Plain认证。 登录FusionInsight Manager页面。
EXPLAIN ANALYZE 语法 EXPLAIN ANALYZE [VERBOSE] statement 描述 执行一条SQL语句,并显示分布式执行计划,以及过程中每个操作的代价。 VERBOSE可选参数,带上这个参数意味着会显示更多详细信息和底层统计数据。这个统计信息不能保
配置Container日志聚合功能 配置场景 Yarn提供了Container日志聚合功能,可以将各节点Container产生的日志收集到HDFS,释放本地磁盘空间。日志收集的方式有两种: 应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。
配置Container日志聚合功能 配置场景 YARN提供了Container日志聚合功能,可以将各节点Container产生的日志收集到HDFS,释放本地磁盘空间。日志收集的方式有两种: 应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。
EXPLAIN 语法 EXPLAIN [ ( option [, ...] ) ] statement 其中选项可以是以下选项之一: FORMAT { TEXT | GRAPHVIZ | JSON } TYPE { LOGICAL | DISTRIBUTED | VALIDATE
使用Tableau访问MRS HetuEngine 应用场景 Tableau是一款商业智能工具软件,将可信的数据转化为可行的见解。借助直观的人工智能分析平台,帮助人们查看和理解数据并根据数据采取行动,让每一次决策都更加明智。 本章节以Tableau Desktop 2022.2版
Hive执行msck repair table命令时报错 现象描述 Hive执行msck repair table table_name命令报错: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive
Shell客户端连接提示“authentication failed” 问题现象 安全集群中,HiveServer服务正常的情况下,Shell客户端中执行beeline命令失败,界面提示“authentication failed”,如下: Debug is true storeKey
由于Timeout waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套,出现Timeout waiting for task异常导致Shuffle FetchFailed,Stage一直重试,任务无法正常完成。
由于Timeout waiting for task异常导致Shuffle FetchFailed 问题 使用JDBCServer模式执行100T的TPCDS测试套,出现Timeout waiting for task异常导致Shuffle FetchFailed,Stage一直重试,任务无法正常完成。
ead状态的container日志 若该application处于结束状态,则可以获取全部归档的container日志 获取指定Container日志:yarn logs -applicationId <appId> -containerId <containerId> 例如:yarn
网络连接超时导致FetchFailedException 问题 在380节点的大集群上,运行29T数据量的HiBench测试套中ScalaSort测试用例,使用以下关键配置(--executor-cores 4)出现如下异常: org.apache.spark.shuffle.FetchFailedException:
配置WebUI上查看Container日志 配置场景 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚
网络连接超时导致FetchFailedException 问题 在380节点的大集群上,运行29T数据量的HiBench测试套中ScalaSort测试用例,使用以下关键配置(--executor-cores 4)出现如下异常: org.apache.spark.shuffle.FetchFailedException:
运行Manager应用报错“authorize failed” 问题 运行应用程序时,操作失败,日志显示如图1所示。 图1 操作失败日志 回答 可能的原因为用户名、密码的配置错误。 可排查“UserInfo.properties”文件中“username”和“password”的值是否配置正确。
ad状态的container日志。 如果该application处于结束状态,则可以获取全部归档的container日志。 获取指定Container日志:yarn logs -applicationId <appId> -containerId <containerId> 例如:yarn
配置WebUI上查看Container日志 配置场景 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚
如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常 问题 如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常。 回答 建表过程中如果发生网络故障、HDFS故障或者Active HMaster故障等情况时,可能会造成部分Region上线失败而处于FAILED_OPEN状态,导致建表失败。
如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常 问题 如何处理由于Region处于FAILED_OPEN状态而造成的建表失败异常。 回答 建表过程中如果发生网络故障、HDFS故障或者Active HMaster故障等情况时,可能会造成部分Region上线失败而处于FAILED_OPEN状态,导致建表失败。