检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将存在连接泄露的进程关掉,观察界面上告警是否消除? 是,处理完毕。 否,执行1.l。 在MRS集群详情页面,单击“组件管理 > ZooKeeper > 服务配置 > 全部配置 > quorumpeer > Performance”中,将“maxCnxns”调整到20000或更多。 界面上告警是否消除? 是,处理完毕。
大堆内存的设定阈值(默认90%)。 是,执行3。 否,执行5。 选择“集群 > 待操作集群的名称 > 服务 > IoTDB > 配置”,单击“全部配置”, 选择“IoTDBServer > 系统”,将参数“GC_OPTS”中“-Xmx”的值参考以下说明进行调大。 “-Xmx”的值默认2G。
全组。 为目标集群的安全组添加入方向规则,源地址选择源集群的安全组。 当源集群与目标集群部署在同一VPC同一安全组且两个集群都开启了Kerberos认证,需要为两个集群配置互信,具体请参考配置跨Manager集群互信。 父主题: 数据迁移方案介绍
serviceDiscoveryMode=hsbroker" user = "YourUserName" # 认证用的密码写入代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以密码保存在环境变量中来实现身份验证为例,运行本示例前,请先在本地环境中设置
MRS集群规划 业务选型 MRS集群部署说明
况调整并行度参数。 在会产生shuffle的操作函数内设置并行度参数,优先级最高。 testRDD.groupByKey(24) 在代码中配置“spark.default.parallelism”设置并行度,优先级次之。 val conf = new SparkConf() conf
Manager。 选择“运维 > 备份恢复 > 恢复管理 > 创建”。 设置“任务名称”。 设置“恢复对象”为“OMS”或需要恢复数据的集群。 在“恢复配置”指定需要恢复的数据。 支持恢复元数据和业务数据。 各组件不同数据的恢复任务操作请参考备份恢复MRS集群数据。 单击“确定”保存。 在恢复任务列表,可以查看刚创建的恢复任务。
edit log. We expected txid XXX, but got txid XXX. 解决方法 参考修改集群服务配置参数,进入HDFS“全部配置”页面,搜索并查看“dfs.namenode.name.dir”参数值获取NameNode数据目录,例如获取到数据目录为“/
否自动消除。 是,处理结束。 否,执行14 查看该NameNode配置参数是否合理。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置”,搜索配置项“dfs.namenode.handler.count”,查看其
准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 准备安全认证 如果您使用的是安全集群,需要进行安全认证。 配置Oozie应用安全认证 根据场景开发工程 提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序
HDFS应用开发常见问题 常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问安全模式集群HDFS 父主题: HDFS开发指南(安全模式)
HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问普通模式集群HDFS 父主题: HDFS开发指南(普通模式)
IoTDB运维管理 IoTDB常用配置参数 IoTDB日志介绍 规划IoTDB容量 手动导入IoTDB数据 手动导出IoTDB数据 父主题: 使用IoTDB
Hive on HBase 配置跨集群互信下Hive on HBase 删除Hive on HBase表中的单行记录 父主题: 使用Hive
使用Tez 访问Tez WebUI查看任务执行结果 Tez常用配置参数 Tez日志介绍 Tez常见问题
Set Digest函数 概述 HetuEngine提供了几个处理MinHash技术的函数。 MinHash用于估计两个集合的Jaccard相似系数。它通常用于数据挖掘,用于大规模检测近乎相同的网页。通过使用这些信息,搜索引擎有效地避免了在搜索结果中显示两个几乎相同的网页。 以下示例展示了如何使用Set
Flink运维管理 Flink常用配置参数 Flink对接应用运维管理(AOM) Flink日志介绍 父主题: 使用Flink
准备Kafka应用开发环境 Kafka应用开发环境简介 准备Maven和JDK 导入并配置Kafka样例工程 准备Kafka应用安全认证 父主题: Kafka开发指南
HBase数据操作 创建HBase索引进行数据查询 配置HBase数据压缩格式和编码 父主题: 使用HBase
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端