检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查Broker状态。 选择“组件管理 > Kafka > Broker”,进入Kafka实例页面。 查看“角色”中所有实例是否正常。 是,执行3.d。 否,执行3.c。 勾选Broker所有实例,选择“更多 > 重启实例”,查看是否重启成功。 是,执行3.d。 否,执行4。 选择“组件管理 >
timestamp”之后commit的次数。 增量查询:提交次数,如设置为3时,代表增量查询从指定的起始时间之后commit 3次的数据,设为-1时,增量查询从指定的起始时间之后提交的所有数据。 非增量查询:不设置。 Hudi表查询操作如下: 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换
使用HetuEngine HetuEngine交互查询引擎概述 HetuEngine用户权限管理 快速使用HetuEngine访问Hive数据源 创建HetuEngine计算实例 添加HetuEngine数据源 配置HetuEngine物化视图 配置HetuEngine SQL诊断功能
”的值调整每个资源组的阈值。 收集故障信息。 根据故障信息中的HostName登录到集群节点,在presto客户端根据附加信息中的Reource Group查询排队数。 根据故障信息中的HostName登录到集群节点,查看/var/log/Bigdata/nodeagent/monitorlog/monitor
ClickHouse与ZooKeeper连接发生异常。 处理步骤 检查ClickHouse业务压力是否过大 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的库名、表名、角色名以及确认主机名所在的IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令:
处理步骤 检查堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43006”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobH
以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客户端安装目录,例如“/opt/client”。 cd /opt/client 执行source bigdata_env命令,配置客户端环境变量。 在客户端中执行如下命令,执行登录操作。 kinit 用户名 执行以下命令登录Hive客户端。
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
> Workspace”,在“Text file encoding”区域,选中“Other”,并设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图2所示。 图2 设置Eclipse的编码格式 父主题: 准备Hive应用开发环境
> IoTDB > 实例”,查看所有IoTDBServer实例和ConfigNode实例所在的主机。 选择“运维 > 日志 > 下载”。 在“服务”中勾选操作集群的“IoTDB”,单击“确定”。 在“主机”勾选7查看到的主机,单击“确定”。 单击右上角的设置日志收集的“开始时间”
当Flume服务不可用时,Flume不能正常工作,数据传输业务中断。 可能原因 HDFS服务不可用。 LdapServer服务不可用。 处理步骤 检查HDFS的服务状态。 登录MRS集群详情页面,选择“告警管理”。 查看是否有“ALM-14000 HDFS服务不可用”告警产生。 是,参考ALM-14000 HDFS服务不可用(2
默认情况下,OMS备份的文件最大保留个数为90,该任务指导系统管理员配置此最大保留个数。 本章节操作仅支持MRS 3.x及之后的版本。 以omm用户登录主管理节点。 用户只需在主管理节点执行此操作,不支持在备管理节点上修改审计日志备份文件数,否则可能造成集群无法正常工作。 执行以下命令,切换目录。
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 DataNode容量不足,会影响到HDFS的数据写入。 可能原因 集群磁盘容量已满。 DataNode节点间数据倾斜。 处理步骤 检查集群磁盘容量是否已满。 登录MRS集群详情页面,在“告警管理”页面查看是否存在“ALM-14001
“/opt/hadoopclient”。 HetuEngine服务及计算实例运行状态正常。 如集群已启用Kerberos认证,需提前创建HetuEngine的用户并授予相关权限,且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限。 配置HetuEngine SQL防御使用约束
在弹出窗口中单击“确定”,开始为当前集群同步配置。 在集群概览页面选择“更多 > 重启配置过期的实例”。 在弹出窗口中输入当前登录的用户密码确认身份,然后单击“确定”。 在确认重启实例的对话框中单击“确定”。 支持单击“查看实例”打开所有配置已过期的实例列表,确认可以执行重启任务。 父主题: 管理MRS集群
相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。
使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluste
使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluste
过滤器提供了非常强大的特性来帮助用户提高HBase处理表中数据的效率。用户不仅可以使用HBase中预定义好的过滤器,而且可以实现自定义的过滤器。 协处理器 允许用户执行region级的操作,并且可以使用与RDBMS中触发器类似的功能。 Client 客户端直接面向用户,可通过Java API或HBase