检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Kudu应用 建立Kudu连接 创建Kudu表 打开Kudu表 修改Kudu表 写Kudu数据 读Kudu数据 删除Kudu表 父主题: 开发Kudu应用
fka和Hive权限。 根据所用的开发语言安装并配置IntelliJ IDEA及JDK等工具。 已完成Spark2x客户端的安装及客户端网络连接的配置。 对于Spark SQL程序,需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并将
er及部分组件可能无法正常运行。 可能原因 主备Manager节点间链路中断。 处理步骤 检查主备Manager服务器间的网络是否正常。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的备Manager IP地址。 登录主管理节点。
ager Web UI页面的Tracking URL打开 问题 MapReduce JobHistoryServer服务地址变更后,为什么运行完的MapReduce作业无法通过ResourceManager Web UI页面打开? 回答 JobHistoryServer地址(mapreduce
管理Loader连接(MRS 3.x之前版本) 操作场景 Loader页面支持创建、查看、编辑和删除连接。 本章节适用于MRS 3.x之前版本。 前提条件 已访问Loader页面,参见Loader页面介绍。 创建连接 在Loader页面,单击“管理连接”。 单击“新建连接”,配置连接参数。
开发Kudu应用 建立Kudu连接 创建Kudu表 打开Kudu表 修改Kudu表 写Kudu数据 读Kudu数据 删除Kudu表 父主题: 开发Kudu应用
Agent进程暂停工作。 可能原因 Flume Sink故障,导致数据无法发送。 网络故障,导致数据无法发送。 处理步骤 检查Flume Sink是否故障。 本地打开用户自定义配置文件properties.properties,搜索配置文件中是否有“type = hdfs”关键字确认Flume Sink是否是HDFS类型。
ager Web UI页面的Tracking URL打开 问题 MapReduce JobHistoryServer服务地址变更后,为什么运行完的MapReduce作业无法通过ResourceManager Web UI页面打开? 回答 JobHistoryServer地址(mapreduce
先通过DNS来解析服务器端,所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf,打开resolv.conf文件,注释掉DNS服务器地址。 例如,#1.1.1.1。 父主题: 使用HBase
*:80" 8157为10中配置的本地代理端口。 若本地操作系统为Windows 10,请打开Windows操作系统“开始”菜单,输入cmd命令,打开一个命令行窗口执行11.b中的命令。若该方式不能成功,请打开Windows操作系统“开始”菜单后,在搜索框中输入并执行11.b中的命令。 在
补丁安装后操作 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.0.3.1补丁说明
如果主Manager进程异常,主备倒换无法进行,影响业务。 可能原因 主备Manager节点间链路异常。 处理步骤 检查主备Manager服务器间的网络是否正常。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的备Manager服务器地址。 登录主管理节点。
可能原因 Flume Source故障,导致数据无法发送。 网络故障,导致数据无法发送。 处理步骤 检查Flume Source是否故障。 本地打开用户自定义配置文件properties.properties,搜索配置文件中是否有“type = spooldir”关键字确认Flume
支持Topic的个数,受限于进程整体打开的文件句柄数(现场环境一般主要是数据文件和索引文件占用比较多)。 可通过ulimit -n命令查看进程最多打开的文件句柄数; 执行lsof -p <Kafka PID>命令,查看当前单节点上Kafka进程打开的文件句柄(会继续增加); 权衡当
支持Topic的个数,受限于进程整体打开的文件句柄数(现场环境一般主要是数据文件和索引文件占用比较多)。 可通过ulimit -n命令查看进程最多打开的文件句柄数; 执行lsof -p <Kafka PID>命令,查看当前单节点上Kafka进程打开的文件句柄(会继续增加); 权衡当
配置HDFS详细参数。 yarn-site.xml 配置Yarn详细参数。 flink-conf.yaml Flink客户端配置文件。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息
卸载补丁后操作 重新打开弹性伸缩功能 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
enabled true 打开内部SSL开关。 akka.ssl.enabled true 打开akka SSL开关。 blob.service.ssl.enabled true 打开blob通道SSL开关。 taskmanager.data.ssl.enabled true 打开taskmanager之间通信的SSL开关。
补丁安装后操作 升级客户端 不涉及。 升级HDFS上组件的zip包 不涉及。 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩,操作如下: 登录华为云管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题: MRS 3.3.1-LTS
当初始Executor为0时,为什么INSERT INTO/LOAD DATA任务分配不正确,打开的task少于可用的Executor? 问题 当初始Executor为0时,为什么INSERT INTO/LOAD DATA任务分配不正确,打开的task少于可用的Executor? 回答 在这种场景下,Car