检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
quiet for xxx ms while there are outstanding requests”并导致应用结束 NodeManager关闭导致Executor(s)未移除 Password cannot be null if SASL is enabled异常 向动态分区表中
Storm-HDFS采用的接口同开源社区版本保持一致,详情参见:https://github.com/apache/storm/tree/v1.2.1/external/storm-hdfs。 Storm-HBase采用的接口同开源社区版本保持一致,详情参见:https://github.com/apache/storm/tree/v1
} finally { if (table != null) { try { // 关闭HTable对象 table.close(); } catch { case e:
业务失败:主机文件句柄使用率超过阈值时,系统应用无法打开文件、网络等IO操作,程序异常,可能会导致作业运行失败。 可能原因 应用进程存在异常,如打开的文件或socket没有关闭。 文件句柄数不满足当前业务需求。 系统环境异常。 处理步骤 查看进程打开文件情况。 打开FusionInsight Manager页面,
备NameNnode处于安全模式,但集群没有上报告警。 Hadoop安全漏洞问题修改。 HBase NettyRpc connection未正常关闭。 HBase WAL未正常滚动,导致产生超大WAL。 HBase Netty连接存在内存泄漏。 HBase健康检查脚本调用超时导致误上报服务不可用告警。
以root用户登录主Master节点。 执行如下命令查询PMS进程号。 ps -ef | grep =pmsd |grep -v grep 执行如下命令关闭PMS进程,其中PID为2中获取的PMS进程号。 kill -9 PID 等待PMS进程自动启动。 PMS启动需要2~3分钟。PMS是监控进程,重启不影响大数据业务。
Manager页面无法访问,预计持续10-20分钟。 安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务,升级前请确认已经关闭弹性伸缩,并且MRS Manager上没有正在运行的任务。 安装补丁过程中,不允许在作业管理页面提交作业。 安装补丁过程包括组件重启,支持
、oracle-partition-connector、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connecto
Hive是否支持对同一张表或分区进行并发写数据 Hive是否支持向量化查询 Hive表的HDFS目录被误删,但是元数据仍然存在,导致执行任务报错 如何关闭Hive客户端日志 为什么在Hive自定义配置中添加OBS快删目录后不生效 Hive配置类问题 父主题: 使用Hive
OBS上的Hudi表进行该操作。该功能由session级别变量“enable_hudi_bucket_shuffle” 控制是否启用,默认关闭,可通过连接Doris后执行set enable_hudi_bucket_shuffle=true;命令开启。 在等值Join条件之中包含
为什么Flink Web页面无法直接连接? 问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过以下步骤来解决问题。 查看客户端的配置文件“conf/flink-conf
如何处理无法直接通过URL访问Flink Web 问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过修改客户端的配置文件“conf/flink-conf
、oracle-partition-connector、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connecto
、oracle-partition-connector、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connecto
“user.keytab”文件与“krb5.conf”文件。 准备运行环境配置文件 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager页面,选择“集群
登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 单击“访问密钥”页签,单击“新增访问密钥”,输入验证码或密码。单击“确定”,生成并下载访问密钥。 在.csv文件中获取创建Catalog所需的AWS_ACCESS_KEY、AWS_SECRET_KEY参数值,对应关系为:
、oracle-partition-connector、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connecto
、oracle-partition-connector、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connecto
、oracle-partition-connector、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connecto
input:请上传输入数据到该文件夹。 步骤四:Hive访问OBS文件系统 用root用户登录集群Master节点,具体请参见登录集群节点。 验证Hive访问OBS。 用root用户登录集群Master节点,执行如下命令: cd /opt/Bigdata/client source bigdata_env