检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IndexServer2x进程的非堆内存统计” ,单击“确定”,根据告警产生时间,查看对应时间段的“IndexServer2x进程使用的非堆内存”的值,获取最大值。 图2 IndexServer2x进程的非堆内存统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x
前提条件 MRS 2.x及之前版本,已在Master1节点准备客户端。 MRS 3.x及之后版本,已在集群内的任一节点安装了客户端,并获取此节点IP地址。 修改MRS集群组件运行用户密码(MRS 3.x及之后版本) 以客户端安装用户,登录安装了客户端的节点。 执行以下命令,切换到客户端目录:
导入操作 通过算子导出文件或算子模板文件将字段配置信息导入到算子中。 导出操作 将算子的字段配置信息以json文件导出保存到本地。 前提条件 获取登录“Loader WebUI”的账户和密码。 操作步骤 关联操作 登录“Loader WebUI”界面。 登录FusionInsight
节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签,查看当前ClickHouseServer实例所在“主机名称”列获取。 “带宽上限”为可选参数,如果不填写则为无上限,最大可设置为10000MB/s。 在选择迁移数据表界面,单击“数据库”后的,选择待迁出节
配置Windows通过EIP访问普通模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应
节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签,查看当前ClickHouseServer实例所在“主机名称”列获取。 “带宽上限”为可选参数,若不填写则为无上限,最大可设置为10000MB/s。 在选择迁移数据表界面,单击“数据库”后的,选择待迁出节点
安全模式下需要执行安全准备,根据实际情况修改userKeyTablePath和userPrincipal为导入并配置Storm样例工程章节的步骤2中所获取用户的keytab文件名称和principal。 private static void securityPrepare(Config config)
HBase应用程序运行完成后,可通过如下方式查看运行情况。 通过IntelliJ IDEA运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase
临时端口不满足当前业务需求。 系统环境异常。 处理步骤 扩大临时端口范围。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机IP地址。 以omm用户登录告警所在主机。 执行cat /proc/sys/net/ipv4/ip_local_port_range
rce bigdata_env。 如果集群采用安全版本,要进行安全认证。 执行kinit hdfs命令,按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 检查本告警是否恢复。 是,处理完毕。 否,执行4。 查看DataNode
source bigdata_env 如果集群采用安全版本,要进行安全认证。执行kinit hbase命令,按提示输入密码(向MRS集群管理员获取密码)。 执行以下命令查看目前负载均衡功能是否打开。 hbase shell balancer_enabled 是,执行10。 否,执行9。
内,系统会显示该实例相关的配置文件列表。 图1 查看实例配置文件 单击要查看的配置文件的名称,可查看配置文件内具体的配置参数值内容。 如需获取该配置文件,可单击“下载至本地”按钮,将该配置文件内容下载到本地PC。 集群内的节点故障时,将无法查看配置文件,请修复故障的节点后再查看。
上分区分布是否均衡。 图1 Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight
JobHistory2x进程的非堆内存统计”,单击“确定”,根据告警产生时间,查看对应时间段的“JobHistory2x进程使用的非堆内存”的值,获取最大值。 图2 JobHistory2x进程的非堆内存统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x
WebUI”后的超链接进入HBase WebUI界面,在“Region Servers”区域的“Base Stats”页签的“ServerName”获取所有的RegionServer的ServerName。),支持一到多个参数。 查看指定表、指定Region的慢请求: get_slowlog_responses
提交Hive作业 提交Spark作业 Spark基于内存进行计算的分布式计算框架。Spark支持提交Spark Jar和Spark python程序,执行Spark application,计算和处理用户数据。 提交Spark作业 提交SparkSQL作业 Spark基于内存进
单击“确定”开始生成客户端文件。 若界面显示以下提示信息表示客户端包已经成功保存。单击“关闭”。客户端文件请到下载客户端时设置的远端主机的“存放路径”中获取。 下载客户端文件到远端主机成功。 若界面显示以下提示信息,请检查用户名密码及远端主机的安全组配置,确保用户名密码正确,及远端主机的安全组
8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client.tar”包。执行如下命令解压。 tar -xvf MRS_HDFS_Client.tar tar -xvf MRS_HDFS_ClientConfig.tar 由于不兼容老版本客户端,建议用户获取与服务端集群相同版本的客户端安装包进行安装部署。
amer offset.rang.limit=10000 指定HoodieDeltaStreamer执行参数(具体参数配置,请查看官网https://hudi.apache.org/ )执行如下命令: spark-submit --master yarn --jars /opt/
xml与llama-site.xml文件中配置的资源池) 执行SQL查询。 登录到Impalad WebUI上查看资源池使用情况,确认配置已生效。 https://{集群控制台地址}:9022/component/Impala/Impalad/95/ 父主题: 使用Impala