检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS
Hive Join数据优化 操作场景 使用Join语句时,如果数据量大,可能造成命令执行速度和查询速度慢,此时可进行Join优化。 Join优化可分为以下方式: Map Join Sort Merge Bucket Map Join Join顺序优化 Map Join Hive的Map
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS
丢失。 回答 由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的“dfs.datanode.synconclose”设置为“true”。
Tez提供Tez任务执行过程图形化展示功能,使用户可以通过界面的方式查看Tez任务执行细节。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装Yarn服务的TimelineServer实例。 使用介绍 登录Manager系统,具体请参见访问FusionInsight Manager(MRS
'java.security.auth.login.config' is not set 回答 当试图从启用SSL的kafka数据源采集数据时,而安装程序无法读取jars.conf文件及其属性时,可能会发生这种情况。 要解决此问题,需要将所需的属性作为通过Spark提交的命令的一部分传递。如:--files
丢失。 回答 由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的“dfs.datanode.synconclose”设置为“true”。
I根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。 访问StateStore WebUI 登录Manager页面,请参见访问集群Manager。 选择“服务 > Impala”。
'java.security.auth.login.config' is not set 回答 当试图从启用SSL的kafka数据源采集数据时,而安装程序无法读取jars.conf文件及其属性时,可能会发生这种情况。 要解决此问题,需要将所需的属性作为通过Spark提交的命令的一部分传递。如:--files
)无法正常运行。 可能原因 ZooKeeper节点上安装了DNS。 网络故障。 KrbServer服务异常。 ZooKeeper实例状态异常。 磁盘容量不足。 处理步骤 检查DNS。 查看ZooKeeper实例所在节点上是否安装DNS。在ZooKeeper实例所在Linux节点使用命令cat
ooKeeper的组件可能无法正常运行。 可能原因 ZooKeeper实例状态异常。 磁盘容量不足。 网络故障。 ZooKeeper节点上安装了DNS。 处理步骤 检查ZooKeeper服务实例状态。 在MRS集群详情页面,单击“组件管理 > ZooKeeper > quorumpeer”。
Hive Join数据优化 操作场景 使用Join语句时,如果数据量大,可能造成命令执行速度和查询速度慢,此时可进行Join优化。 Join优化可分为以下方式: Map Join Sort Merge Bucket Map Join Join顺序优化 Map Join Hive的Map
使用表管理Hive、SparkSql中的元数据。需要MRS集群已安装Hive、Spark2x。 使用文件查看HDFS中的目录和文件。需要MRS集群已安装HDFS。 使用作业查看MRS集群中所有作业。需要MRS集群已安装Yarn。 使用HBase创建/查询HBase表。需要MRS集群已安装HBase组件并添加Thrift1Server实例。
ALM-12005 OKerberos资源异常(2.x及以前版本) 告警解释 告警模块对Manager中的Kerberos资源的状态进行监控,当Kerberos资源异常时,系统产生此告警。 当Kerberos资源恢复时,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别 可自动清除
ALM-14003 丢失的HDFS块数量超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测丢失的块数量,并把丢失的块数量和阈值相比较。丢失的块数量指标默认提供一个阈值范围。当检测到丢失的块数量超出阈值范围时产生该告警。 当丢失的块数量小于或等于阈值时,告警恢复。 告警属性
jar”目录下的所有jar文件和“clickhouse-examples”目录下的“conf”文件夹复制到ClickHouse客户端安装目录下,例如“客户端安装目录/JDBC”目录下。 登录客户端节点,进入jar文件上传目录下,修改文件权限为700。 cd /opt/Bigdata/client
conf”文件夹复制到ClickHouse客户端安装目录下,例如“客户端安装目录/JDBC”目录或“客户端安装目录/JDBCTransaction”目录下。 “客户端安装目录/JDBC”目录,用来调测JDBC二次样例; “客户端安装目录/JDBCTransaction”目录,用来调测事务二次样例。
集群操作默认标签 功能介绍 对已有集群启用或关闭集群默认标签。开启后,集群内节点会打上集群默认标签。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/tags/switch 表1 路径参数 参数 是否必选
指导运维工程师停止、启动Flume客户端,以及在不需要Flume数据采集通道时,卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”,执行以下命令,停止Flume客户端: cd /opt/FlumeClient/fusionin
使用表管理Hive、SparkSql中的元数据。需要MRS集群已安装Hive、Spark2x。 使用文件查看HDFS中的目录和文件。需要MRS集群已安装HDFS。 使用作业查看MRS集群中所有作业。需要MRS集群已安装Yarn。 使用HBase创建/查询HBase表。需要MRS集群已安装HBase组件并添加Thrift1Server实例。