检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题: 配置MRS集群存算分离
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的,在写入数据后,用户开发一个应用,以消费者调用新接口(org.apache.kafka.clients.consumer.*)到Kafka上读取数据,但读取失败,报异常大致如下:
"hdfsSetReplication- SUCCESS!, Set replication 10 for %s\n",file); 设置用户、用户组。 if (hdfsChown(fs, file, "root", "root")) { fprintf(stderr, "Failed
config = createConf(); String userJarFilePath = "替换为用户jar包地址"; System.setProperty(STORM_SUBMIT_JAR_PROPERTY, userJarFilePath);
SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
已安装MRS客户端的节点,且已安装 jdk环境。 Sqoop1.4.7适配步骤 下载开源sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz包(下载地址http://archive.apache.org/dist/sqoop/1.4.7/)。 将下载的sqoop-1.4.7.bin__hadoop-2
否,执行3。 检查CPU使用率是否达到上限。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的节点地址。 进入“主机”界面,单击告警的所在节点。 在界面观察“主机CPU使用率”实时数据5分钟左右,若CPU使用率多次超过设置的阈值,请联系MRS集群管理员提升CPU。
Manager页面,选择“运维 > 告警 > 告警”,查看该告警的详细信息,在定位信息中查看发生该告警的主机名称、挂载目录名称。单击主机名称,查看对应的IP地址。 使用root用户登录告警上报主机IP节点。 执行以下命令检测磁盘分区growpart扩容工具是否存在。 which growpart
xml文件中配置的资源池) 执行SQL查询。 登录到Impalad WebUI上查看资源池使用情况,确认配置已生效。 https://{集群控制台地址}:9022/component/Impala/Impalad/95/ 父主题: 使用Impala
登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env 安全模式(开启Kerberos): kinit
通其他ZooKeeper实例所在节点的主机名。 是,执行15。 否,执行12。 修改“/etc/hosts”中的IP信息,添加主机名与IP地址的对应关系。 再次执行ping命令,查看能否在该ZooKeeper实例节点ping通其他ZooKeeper实例节点的主机名。 是,执行14。
使用场景。 处理步骤 检查连接状态。 在MRS集群详情页,单击“告警管理 > 13001连接数不足 > 定位信息”。查看告警上报的节点IP地址。 获取ZooKeeper进程pid。登录到告警上报的节点,执行命令:pgrep -f proc_zookeeper。 是否正常获取pid。
config = createConf(); String userJarFilePath = "替换为用户jar包地址"; System.setProperty(STORM_SUBMIT_JAR_PROPERTY, userJarFilePath);
变更计费模式 变更计费模式概述 按需转包年/包月
Storm Storm基本原理 Storm与其他组件的关系 Storm开源增强特性 父主题: 组件介绍
发行版本 版本概述 版本说明
MemArtsCC MemArtsCC基本原理 MemArtsCC与其他组件的关系 父主题: 组件介绍
API V1.1 集群管理接口 弹性伸缩接口 标签管理接口 可用区 版本元数据查询
产品咨询类 MRS可以做什么? MRS支持什么类型的分布式存储? 什么是区域和可用区? MRS是否支持更换网段? MRS集群内节点是否支持降配操作? 不同版本的Hive之间是否可以兼容? 数据存储在OBS和HDFS有什么区别? 10亿级数据量场景的解决方案有哪些? zstd压缩算法有什么优势?