检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 业务进程响应缓慢或不可用。 可能原因 告警阈值配置或者平滑次数配置不合理。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > CPU和内存 >
当MRS服务中默认的参数配置不足以满足用户需要时,用户可以自定义修改参数配置来适应自身需求。 登录集群详情页面,选择“组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 选择“HBase
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发MapReduce应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发MapReduce应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发MapReduce应用程序实现如下功能: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
配额是用户账号在对应环境配置的可用资源额度,限定配额仅是为了防止资源滥用。 MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP
使用Ranger MRS集群服务启用Ranger鉴权 登录Ranger WebUI界面 添加Ranger权限策略 Ranger权限策略配置示例 查看Ranger审计信息 配置Ranger安全区信息 查看Ranger用户权限同步信息 Ranger性能调优 Ranger日志介绍 Ranger常见问题
directory</name> <value>[1]查询中间结果的临时目录</value> </property> JAVA样例:使用JDBC接口访问HBase public String getURL(Configuration conf) {
Web 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份“$OM_TOMCAT_HOME/bin/catalina.sh”文件。 cp $OM_TOMCAT_HOME/bin/catalina.sh
对系统的影响 业务进程响应缓慢或不可用。 可能原因 告警阈值配置或者平滑次数配置不合理。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Doris > CPU和内存 >
客户端工具使用方法: 登录任意一个Master节点。 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 例如:kinit
根据场景开发工程 提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测Oozie应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 父主题: Oozie开发指南(普通模式)
HBase数据读写样例程序 HBase数据读写样例程序开发思路 初始化HBase配置 创建HBase客户端连接 创建HBase表 创建HBase表Region 向HBase表中插入数据 创建HBase表二级索引 基于二级索引查询HBase表数据 修改HBase表 使用Get API读取HBase表数据
配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题: 使用Spark2x(MRS 3.x及之后版本)
有老化机制和检测磁盘剩余空间机制,不会占满磁盘。 定位方法 在DataNode进程可能发生重启的所有节点,分别执行以下操作。 以root用户登录节点,执行service auditd status命令,确认该服务状态。 Checking for service auditd running
variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.get
0.7.20和1.8.0.6.15版本。 ARM客户端: OpenJDK:支持1.8.0_272版本(集群自带JDK,可通过集群客户端安装目录中“JDK”文件夹下获取)。 毕昇JDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。
Spark SQL样例程序(Python) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见SparkSQLPythonExample: # -*- coding:utf-8 -*- import sys from
Spark SQL样例程序(Python) 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见SparkSQLPythonExample: # -*- coding:utf-8 -*- import sys from
导入并配置HDFS样例工程 根据场景开发工程 提供样例工程,帮助用户快速了解HDFS各部件的编程接口。 开发HDFS应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HDFS应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测HDFS应用