检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源组排队数超过该组最大排队数(maxQueued)时,会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。 处理步骤 用户可通过“组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto > resource-groups”调整资源组的配置。
际情况调大。 观察界面告警是否清除。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
导致本地磁盘的部分热数据会移动到OBS上,影响系统的读写性能。 可能原因 ClickHouseServer节点冷热分离配置的本地磁盘容量过小。 处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。
x及以前版本)的处理步骤处理告警。 查看本告警是否恢复。 是,操作结束。 否,执行4。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager。 配置Yarn参数指定scheduler处理PlacementConstraints。 选择“集群 > 服务 > Yarn > 配置 > 全部配置”,搜索参数“yarn.resourcemanager
Spark yarn-client模式下如何修改日志级别为INFO 问题 Spark yarn-client模式下如何修改日志级别为INFO? 回答 登录Spark客户端节点,修改“{客户端安装目录}Spark/spark/conf/log4j.properties”配置文件,修改参数“Log4j
数据流,是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入,可以通过socket、Kafka和文件等形式导入,在Flink系统处理后,通过Socket、Kafka和文件等输出到外部系统,这是Flink的核心概念。 Data Transformation 数据处理单元,会将一或
ranger-plugin-audit.log HDFS操作审计日志(例如:文件增删改查)。 SecurityAuth.audit HDFS安全审计日志。 日志级别 HDFS中提供了如表2所示的日志级别,日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEB
流作业和批作业的状态监控。 Flink作业运维能力增强,包括原生监控页面跳转。 性能&可靠性 流处理支持24小时窗口聚合计算,毫秒级性能。 批处理支持90天窗口聚合计算,分钟级计算完成。 支持对流处理和批处理的数据进行过滤配置,过滤无效数据。 读取HDFS数据时,提前根据计算周期过滤。 作业
11等浏览器访问HDFS的原生UI界面,偶尔出现访问失败情况。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。 解决方法 重新刷新页面即可。 父主题: HDFS常见问题
0_272版本(集群自带JDK,可通过集群客户端安装目录中“JDK”文件夹下获取)。 毕昇JDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com
info("Exiting testPut."); } 注意事项 不允许多个线程在同一时间共用同一个HTable实例。HTable是一个非线程安全类,因此,同一个HTable实例,不应该被多个线程同时使用,否则可能会带来并发问题。 父主题: HBase数据读写样例程序
[1]修改restHostName为待访问的RestServer实例所在节点的IP地址,并将节点IP配置到运行样例代码的本机hosts文件中。 [2]非安全模式采用http模式进行访问HBase REST服务,传入“nonSecurityModeUrl作为test.test()”参数。 获取集群版本信息
11等浏览器访问HDFS的原生UI界面,偶尔出现访问失败情况。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE 11浏览器的某些版本在处理SSL握手有问题导致访问失败。 解决方法 重新刷新页面即可。 父主题: HDFS常见问题
IP地址请保持一一对应。 配置HBase上层应用所在主机的时间与备集群的时间保持一致,时间差要小于5分钟。 检查主集群的认证模式。 如果为安全模式,执行8。 如果为普通模式,任务结束。 获取HBase上层应用用户的keytab文件和krb5.conf配置文件。 在备集群FusionInsight
该操作的客户端目录只是举例,请根据实际安装目录修改。 source /opt/client/bigdata_env 判断集群认证模式。 安全模式,执行kinit命令进行用户认证。 例如,使用oozieuser用户进行认证。 kinit oozieuser 普通模式,执行4。 执行以下命令,进入样例目录。
以客户端安装用户登录安装了HBase客户端的节点,并配置环境变量。 cd HBase客户端安装目录 source bigdata_env 若集群已启用Kerberos认证(安全模式),需执行以下命令认证用户。 kinit 组件业务用户 执行以下命令登录HBase客户端并修改表描述: hbase shell alter
> 重启实例”,重启所有FE实例。 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql
该操作的客户端目录只是举例,请根据实际安装目录修改。 source /opt/client/bigdata_env 判断集群认证模式。 安全模式,执行kinit命令进行用户认证。 例如,使用oozieuser用户进行认证。 kinit oozieuser 普通模式,执行4。 执行以下命令,进入样例目录。
RPC端口 # 进行认证的用户名 username=developuser # 进行认证的用户密码,该密码建议密文存放,使用时解密,确保安全。 password=xxx 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ