检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多CPU内核下MapReduce调优配置 操作场景 当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置
读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager界面,选择“集群 > 服务 > HBase > 配置”,配置以下相关参数以提升HBase数据读写性能调优。
ties.properties”文件完成操作。 图6 上传文件 每个Flume实例均可以上传单独的服务端配置文件。 更新配置文件需要按照此步骤操作,后台修改配置文件是不规范操作,同步配置时后台做的修改将会被覆盖。 单击“保存”,单击“确定”。 单击“完成”完成操作。 父主题: 配置Flume非加密传输数据采集任务
t/hadoopclient”为客户端安装目录为例,介绍安装客户端及配置安全认证。客户端安装目录请根据实际修改。 安装客户端及配置安全认证步骤 安装客户端。 以在集群内节点安装客户端为例: 登录Manager,在“集群”下拉列表中单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。
Channel:基于预写式日志(Write-Ahead Logging,简称WAL)的持久化实现 JDBC Channel:基于嵌入Database的持久化实现 Channel支持事务特性,可保证简易的顺序操作,同时可以配合任意数量的Source和Sink共同工作。 Sink S
当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 在IntelliJ IDEA主界面右侧,单击“Maven Projects”,在“Maven Projects”界面执行“项目名称 >
当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 在IntelliJ IDEA主界面右侧,单击“Maven Projects”,在“Maven Projects”界面执行“项目名称 >
但FlinkServer可以正常提供服务。 可能原因 主备FlinkServer节点间链路中断。 同步文件不存在,或者文件权限有误。 处理步骤 检查主备FlinkServer服务器间的网络是否正常。 在FusionInsight Manager页面,选择“集群 > 服务 > Flink
预估Compaction的大小超过阈值,伴随有“ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值”的告警。 处理步骤 检查是否MemTable太多 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否存在告警“ALM-45643
执行以下命令创建Hive表。 可以在Hue UI里Hive面板里面直接输入以下的SQL语句。 图1 执行Hive SQL CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`.`usr` (user_id int comment
的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作,使用Hive客户端对Hive表进行操作。 执行HQL语句 在“Database”右侧下拉列表选择一个Hive中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。
IoTDB管理员权限以及普通用户对数据的读、写或删除等权限。 前提条件 MRS集群管理员已明确业务需求。 已安装好IoTDB客户端。 操作步骤 登录FusionInsight Manager,选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。
本章节适用于MRS 3.x及后续版本。 前提条件 已安装并配置Loader客户端,具体操作请参见使用命令行运行Loader作业。 操作步骤 使用安装客户端的用户登录客户端所在节点。 执行以下命令,进入Loader客户端的loader-tool工具目录。例如,Loader客户端
如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight
预估Compaction的大小超过阈值,伴随有“ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值”的告警。 处理步骤 检查是否MemTable太多引起写限流或写停止 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在
DFS目录或文件的读、写和执行权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击
</property> 执行以下命令创建Hive表。 可以在Hue WebUI中Hive面板直接输入以下SQL创建表。 CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`.`usr` (user_id int comment
如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight
ZooKeeper服务异常 HDFS服务异常 Yarn服务异常 DBService服务异常 Hive服务异常 HetuEngine缺少HSBroker实例 处理步骤 检查KrbServer服务状态。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否有“ALM-25500
产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 如果IO持续飙高,会对业务操作产生影响,导致业务受损。 可能原因 磁盘老化。 处理步骤 更换磁盘。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看该告警的详细信息,查看定位信息中对