检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
is " + PUT_URL); try (CloseableHttpClient httpClient = HttpClients.createDefault()) { HttpPost httpPost = new HttpPost(PUT_URL);//请求需要设置超时时间
class UDFState implements Serializable { private long count; // 初始化用户自定义状态 public UDFState() { count = 0L; } // 设置用户自定义状态
在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 父主题: MRS集群告警处理参考
执行SQL语句时,需要添加参数“--driver-memory”,设置内存大小,例如: /spark-sql --master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前,请使用MRS集群管理员用户修改内存大小配置。
配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下: 执行以下命令,进入到loader-tools-1.99.3目录。Loader客户端安装目录为“/opt/hadoopclient/Loader”。
以授予用户在SparkSQL中查询HBase表的权限为例,操作步骤如下: 设置“spark.yarn.security.credentials.hbase.enabled”为“true”。
执行SQL语句时,需要添加参数“--driver-memory”,设置内存大小,例如: /spark-sql --master=local[4] --driver-memory=512M -f /tpch.sql 在执行SQL语句前,请使用MRS集群管理员用户修改内存大小配置。
以授予用户在SparkSQL中查询HBase表的权限为例,操作步骤如下: 设置“spark.yarn.security.credentials.hbase.enabled”为“true”。
表3 RocksDB调优参数配置 参数名称 值 说明 state.backend.rocksdb.writebuffer.count 2 设置Active memtable和Immutable memtable数,当写入过快或者Flink线程太少,会导致写入阻塞。
Worker进程初始化时间较长,超过Storm集群设置Worker启动超时时间,导致Worker被Kill从而一直进行重分配。 定位思路 使用Storm客户端提交拓扑,检查出重复“storm.yaml”问题。 重新打包Jar包,然后再提交拓扑。
搜索“HIVE_GC_OPTS”参数并修改,把Xms调小,具体要根据业务评估,最小设置为Xmx的一半,修改完后保存配置并重启服务。 父主题: 使用Hive
数据分布 建表时,您可以通过设置合理的分区和分桶,实现数据均匀分布和查询性能提升。数据均匀分布是指数据按照一定规则划分为子集,并且均衡地分布在不同节点上。查询时能够有效裁剪数据扫描量,最大限度地利用集群的并发性能,从而提升查询性能。 父主题: 组件介绍
Zookeeper HDFS DBService Yarn Mapreduce Loader 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
级联授权生成的HDFS/OBS存储源端的权限弱于HDFS Ranger策略的权限,即如果已经对表的HDFS存储源设置了HDFS Ranger权限,则级联权限将不会生效。
org.apache.hadoop.hbase.client.Scan中新增反向扫描方法设置isReversed()和setReversed(boolean reversed)。
如果未保存配置并重启服务,那么新文件设置未生效,请及时保存配置。 修改服务配置参数后如需重启服务使配置生效,可在服务页面单击右上角“更多 > 重启服务”。 配置参数前包含图标时,表示该参数为动态生效,保存配置后参数值会自动刷新到配置文件中。
ZooKeeper HDFS Yarn DBService Hive 单击右上角的设置日志收集的“开始时间”和“结束时间”,分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。
单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考