检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
number.of.cores.while.loading”进行配置) 在内存中排序的大小(使用“carbon.sort.size”进行配置) 中间缓存(使用“carbon.graph.rowset.size”进行配置) 加载包含1000万条记录和300列的8 GB CSV文件的数据,每行大小约为0
a Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大,当前Partition的设置不合理。 处理步骤 检查Topic副本数配置。 在FusionInsight Manager首页,选择“运维
以上所有的操作只要拥有Hive的admin权限以及对应的HDFS目录权限就能做相应的操作。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略章节。 父主题: Hive开发指南(安全模式)
弹性伸缩接口 配置弹性伸缩规则 父主题: API V1.1
shuffle.partitions”参数值可以调整取模时的基数,改善数据分块不均匀的情况,多次验证发现配置为质数或者奇数效果比较好。 在Driver端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 描述 默认值 spark.sql.shuffle
选择“Libraries”页签,然后在如下页面,单击“+”,添加本地的依赖包。 图1 添加依赖包 单击“Apply”加载依赖包,然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包,您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包,确保Spark程序能正常运行。
选择“Libraries”页签,然后在如下页面,单击“+”,添加本地的依赖包。 图1 添加依赖包 单击“Apply”加载依赖包,然后单击“OK”完成配置。 由于运行环境不存在用户自定义的依赖包,您还需要在编包时添加此依赖包。以便生成的jar包已包含自定义的依赖包,确保Spark程序能正常运行。
MRS集群规划 业务选型 MRS集群部署说明
常见操作 修改集群服务配置参数 访问集群Manager 使用MRS客户端
否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Presto > 配置”,选择“全部配置”, 选择“Worker > JVM”,将“JAVA_OPTS”参数中“Xmx”的值根据实际情况进行调大,并单击“保存”。 返回“概览”页面,单击“更多
否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > 服务 > Presto > 配置”,选择“全部配置”, 选择“Worker1 > JVM”,将“JAVA_OPTS”参数中“Xmx”的值根据实际情况进行调大,并单击“保存”。 返回“概览”页面,单击“更多
否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Presto ”,进入“配置”页面,选择“全部配置”,选择“Coordinator > JVM”,将“JAVA_OPTS”参数中“Xmx”的值根据实际情况进行调大,并单击“保存”。
否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Presto > 配置”,选择“全部配置”, 选择“Worker2 > JVM”,将“JAVA_OPTS”参数中“Xmx”的值根据实际情况进行调大,并单击“保存”。 返回“概览”页面,单击“更多
确认本应用所运行设备和集群网络上是否通畅,Kerberos认证所需的各类端口(TCP/UDP)是否可正常访问。 确认各个配置文件是否被正确读取到,路径是否保存正确。 确认用户名和keytab文件是按操作指导得到的。 确认各类配置信息是否已经先设置好了,再发起认证。 确认没有在同一个进程中发起多次认证,即重复调用login()方法。
找到当前告警值。 选择“集群 > 服务 > MemArtsCC > 配置 > 全部配置 > CCWorker(角色)”,查找“memory_limit”参数,查看当前集群上CCWorker实例的最大可用内存配置值。是否存在业务并发、数据量有长期上涨,且该告警未能自动清除。 是,执行4。
大堆内存的设定阈值(默认90%)。 是,执行3。 否,执行5。 选择“集群 > 待操作集群的名称 > 服务 > IoTDB > 配置”,单击“全部配置”, 选择“IoTDBServer > 系统”,将参数“GC_OPTS”中“-Xmx”的值参考以下说明进行调大。 “-Xmx”的值默认2G。
jobManager可以访问的,由于targetDirectory是可选的,如果用户没有配置targetDirectory,则是使用配置文件中“state.savepoints.dir”配置的目录来存放savepoint。 用户可以在“flink-conf.yaml”中通过“state
ons, true)。 localDir配置 Spark的Shuffle过程需要写本地磁盘,Shuffle是Spark性能的瓶颈,I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘,则在每个磁盘配置一个Spark的localDir,这将有
如何查看哪个ZooKeeper实例是Leader 问题 如何查看ZooKeeper实例的角色是Leader还是Follower? 回答 登录集群Manager管理界面,选择“集群 > 服务 > ZooKeeper > 实例”。 单击相应的quorumpeer实例名称,进入对应实例的详情页面。 查看该实例的“服务器状态”。
apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理,该类中dropIndices用于创删除索引。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples