检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”,选择失败实例,选择“更多 > 重启实例”来重启失败实例。 父主题: HBase故障排除
上例所示,运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用Spark-Beeline工具创建Spark和HBase表table1、table2,并通过HBase插入数据。 确保JDBCServer已启动。登录Spark2x客户端节点。
本示例中,用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。
答: 只选择磁盘个数,没有选择集群虚拟机实例个数时,产品报价是不会产生收费的。 客户选择了实例个数,产品报价才会在浏览器下方即时显示出来。 父主题: 计费类
Hive on Tez任务仅在一个任务中就能完成同样的处理过程,任务之间不需要访问HDFS。 Tez和Yarn间的关系 Tez是运行在Yarn之上的计算框架,运行时环境由Yarn的ResourceManager和ApplicationMaster组成。
=1G -XX:MaxNewSize=1G” Xmx内存值对应DataNode节点块数阈值,每GB对应500000块数,用户可根据需要调整内存值。
使用ECM远程以omm用户登录将要安装Flume服务端的节点。进入“${BIGDATA_HOME}/FusionInsight_Porter_8.1.0.1/install/FusionInsight-Flume-1.9.0/flume/bin”目录。
回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapReduce任务,用户可以通过该诊断信息获取当前作业的状态以及处于该状态的原因。
该章节以在Windows环境下开发SpringBoot方式连接Hive服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。
具体操作:登录FusionInsight Manager,选择“集群 > 服务 > Yarn > ResourceManager(主)”打开WebUI界面,在ResourceManager(主)的WebUI界面中,单击提交的MapReduce任务,在打开的页面中查看诊断信息,根据诊断信息再采取相应的措施
INFO acl.compare.shortName 当Znode的ACL权限认证类型为SASL时,是否仅使用principal的用户名部分进行ACL权限认证。 true synclimit Follower与leader进行同步的时间间隔(单位为tick)。
登录MRS Manager页面,选择“服务管理 > Hue > 实例”,查询Hue实例所在的节点的IP。 使用root用户远程连接工具登录Hue实例所在节点的机器,并执行如下命令切换到omm用户。 su - omm 执行如下的命令,切换到如下的目录。
准备好业务用户hdfs。 更改DataNode单个实例的存储目录时,保持活动的DataNode实例数必须大于“dfs.replication”的值。 操作步骤 检查环境 以root用户登录安装HDFS客户端的服务器,执行以下命令配置环境变量。
使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。
使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。
以root用户登录主FlinkServer节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令检查备FlinkServer节点是否可达。 ping 备FlinkServer IP地址 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。
开启HetuEngine自适应查询执行步骤 使用HetuEngine管理员用户登录Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
处理步骤 以root用户分别登录Master节点。 打开文件“/opt/knox/bin/gateway.sh”,查找APP_MEM_OPTS,并设置该参数的值为:“-Xms3072m -Xmx4096m”。
登录到5查询到的主机,执行iostat -d -x命令查看每个磁盘的最后一个指标“%util”: 各个磁盘的“%util”指标都超出阈值(默认值为80%),则考虑对Kafka磁盘进行扩容,扩容后,参考3,对Topic的Partition重新规划。
提交MRS作业 MRS作业类型介绍 上传应用数据至MRS集群 运行MRS作业 查看MRS作业详情和日志