检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、投影裁剪等,这些规则是有效的,但是它对数据是不敏感的。导致的问题是数据表中数据分布发生变化时,RBO是不感知的,基于RBO生成的执行计划不能确保是最优的。而CBO的重要作用就是能够根据实际数据分布估算出SQL语句,生成一组可能被使用的执行计划中代价最小的执行计划,从而提升性能。
对于Kerberos安全认证提供HDFS用户信息。 krb5.conf Kerberos server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。 “conf”目录下的“log4j.properties”文件,客户可根据自己的需要进行配置。 代码样例 如下是代码片段,详细代码请参考com
0及之后版本为“Iotdb@123”。 修改的用户密码字符长度MRS 3.3.0之前版本至少为4位,MRS 3.3.0及之后版本至少为8位,且不能包含空格。 执行以下命令登录客户端 ./start-cli.sh -h IoTDBServer实例节点ip -p IoTDBServer RPC端口
Storm性能调优 操作场景 通过调整Storm参数设置,可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数,请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时,可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。
准备MapReduce应用运行环境 MapReduce的运行环境可以部署在Linux环境下。您可以按照如下操作完成运行环境准备。 操作步骤 确认服务端YARN组件和MapReduce组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 客户端机器的时间与H
保存配置,并重启该ResourceManager实例。 重启主ResourceManager实例,会发生ResourceManager实例主备倒换,倒换过程中,Yarn无法提交新作业,已提交的作业不受影响。Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 重启备ResourceManager实例,服务业务不受影响。
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
二级索引表使用hive注册,并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERDEPROPERTIES的最大字符数为4000个字符,无法更改。 父主题: 使用CarbonData(MRS 3.x及之后版本)
主题名 产生告警的Kafka Topic。 对系统的影响 Partition所在的磁盘分区IO过于繁忙,产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大,当前Partition的设置不合理。
分比值一致。 “最小资源”:表示租户能获得的最少资源。 “最大资源”:表示租户能获得的最多资源。 “预留资源”:表示保留给租户自身队列,且不能借用给其他租户队列的资源。 在“修改资源分配”窗口的“用户策略”页签设置用户策略。 defaultUser(built-in)表示如果一个
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql
访问Impala WebUI界面 用户可以通过Impala的WebUI,在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”
访问Impala WebUI界面 用户可以通过Impala的WebUI,在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。
保存完成后重启角色实例。 重启主ResourceManager实例,会发生ResourceManager实例主备倒换,倒换过程中,Yarn无法提交新作业,已提交的作业不受影响。Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 重启备ResourceManager实例,服务业务不受影响。
100; 操作步骤 分析业务。 从业务入手分析是否可以简化SQL,例如可以通过合并表去减少嵌套的层级和Join的次数。 如果业务需求对应的SQL无法简化,则需要配置DRIVER内存: 使用spark-submit或者spark-sql运行SQL语句,执行3。 使用spark-beeline运行SQL语句,执行4。
krb5文件。 krb5.conf Kerberos server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。 “conf”目录下的“log4j.properties”文件可根据自己的需要进行配置。 代码样例 如下是代码片段,详细代码请参考com
制表来完成同步,能保证数据的一致性)。 如果配置为false(不建议配置),表示向该分片的所有副本中写入相同的数据(副本间数据一致性不强,无法保证完全同步)。 macros标签 当前实例节点所在的分片和副本编号,可以用于区别不同的副本。 例如,上述配置对应host3节点实例,该实
100; 操作步骤 分析业务。 从业务入手分析是否可以简化SQL,例如可以通过合并表去减少嵌套的层级和Join的次数。 如果业务需求对应的SQL无法简化,则需要配置DRIVER内存: 使用spark-submit或者spark-sql运行SQL语句,执行3。 使用spark-beeline运行SQL语句,执行4。
ceManager实例。 重启主ResourceManager实例,会发生ResourceManager实例主备倒换,倒换过程中,Yarn无法提交新作业,已提交的作业不受影响。Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 重启备ResourceManager实例,服务业务不受影响。