检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决办法 登录FusionInsight Manager,选择“集群 > 服务 > HDFS > 实例”,勾选告警发生节点对应的Journalnode实例,选择“更多 > 停止实例”。
=1G -XX:MaxNewSize=1G” Xmx内存值对应DataNode节点块数阈值,每GB对应500000块数,用户可根据需要调整内存值。
而SparkSQL模块,支持CLI或者JDBCServer两种方式访问。其中JDBCServer的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。
Hive on Tez任务仅在一个任务中就能完成同样的处理过程,任务之间不需要访问HDFS。 Tez和Yarn间的关系 Tez是运行在Yarn之上的计算框架,运行时环境由Yarn的ResourceManager和ApplicationMaster组成。
登录集群FusionInsight Manager界面,然后单击“集群 > 服务 > ClickHouse > 实例”,获取ClickHouseServer实例对应的IP地址。 --port 连接的端口。
clickhouse client --host ClickHouse的实例IP --user 登录名 --password --port ClickHouse的端口号 --database 数据库名 输入用户密码 在ClickHouse实例节点上创建和DWS表结构相同的表。
上例所示,运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用Spark-Beeline工具创建Spark和HBase表table1、table2,并通过HBase插入数据。 确保JDBCServer已启动。登录Spark2x客户端节点。
登录到5查询到的主机,执行iostat -d -x命令查看每个磁盘的最后一个指标“%util”: 各个磁盘的“%util”指标都超出阈值(默认值为80%),则考虑对Kafka磁盘进行扩容,扩容后,参考3,对Topic的Partition重新规划。
登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”,选择失败实例,选择“更多 > 重启实例”来重启失败实例。 父主题: HBase故障排除
准备工作 配置MRS云服务授权 创建IAM用户并授权使用MRS 创建MRS IAM自定义权限策略
若操作顺序不规范,可能造成用户自定义环境变量丢失。 登录FusionInsight Manager。
本示例中,用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。
具体操作:登录FusionInsight Manager,选择“集群 > 服务 > Yarn > ResourceManager(主)”打开WebUI界面,在ResourceManager(主)的WebUI界面中,单击提交的MapReduce任务,在打开的页面中查看诊断信息,根据诊断信息再采取相应的措施
用户在启动集群或提交作业时如果使用了-z配置项,则在删除、停止及查询作业、触发savepoint时也要使用-z配置项指明namespace。 父主题: Flink常用API介绍
提交MRS作业 MRS作业类型介绍 上传应用数据至MRS集群 运行MRS作业 查看MRS作业详情和日志
若想查看执行错误语句的用户,可下载产生该告警的HiveServer节点的HiveServerAudit日志,下载的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟。
F 男 32 F城市 12005000207 G 女 29 G城市 12005000208 H 女 30 H城市 12005000209 I 男 26 I城市 12005000210 J 女 25 J城市 操作步骤 以客户端安装用户,登录安装客户端的节点,客户端安装详细操作请参见安装客户端
登录MRS Manager页面,选择“主机管理”。 查找主Master节点,主机名称前带实心五角星的Master节点即为主Master节点。 以root用户登录主Master节点。 执行su - omm切换到omm用户。
使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。