检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 Presto无法执行SQL。 可能原因 Presto服务不可用可能由Presto Coordinator或Worker自身的进程故障引起。
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ommdba用户过期,OMS数据库无法管理,数据不能访问。 可能原因 该主机ommdba用户过期。 处理步骤 检查系统中ommdba用户是否过期。
产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名称 拓扑名 产生告警的Knox拓扑名称 对系统的影响 Knox高出阈值的拓扑存在连接满的可能,连接满后无法正常提供请求转发功能,影响整个MRS使用。 可能原因 用户大量使用Hue或者
角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Hive执行的HQL的Map数过高,将占用大量Yarn队列资源,可能导致任务耗时较长,并且影响其他使用此队列运行的任务。 可能原因
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ClickHouse服务的性能下降,影响其他业务的响应时间,若慢SQL的量过大,可能会导致服务不可用。 可能原因 ClickHouse业务压力过大。
{messagesPerSec} {wordsPerMessage} 开发思路 接收Kafka中数据,生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果,并进行打印。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。
hiveserver2” 问题现象 使用MRS 1.8集群的Hive 1.2.1通过Hive的JDBC接口连接MRS集群成功,但是使用MRS 1.9.0集群的Hive 2.3.2,通过Hive的JDBC接口连接MRS集群进行计算任务报错。 报错信息如下: Caused by: org.apache
Spark(SparkDataSource API) Y Y Y 当前Hudi使用Spark datasource接口读取时,不支持分区推断能力。比如bootstrap表使用datasource接口查询时,可能出现分区字段不显示,或者显示为null的情况。 增量视图,需设置set hoodie.hudicow
选择“REGEX”,表示使用正则表达式匹配。 不选择,则默认为通配符过滤。 WILDCARD 路径过滤器 与“过滤类型”配合使用,配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。使用分号“;”分隔多个服务器上的路径过滤器,每个服务器的多个过滤条件使用逗号“,”隔开。配置为空时表示不过滤目录。
write(null, record); } } MapReduce任务定义,指定输入/输出类,Mapper/Recducer类,输入输出键值对格式; Job job = new Job(conf, "GroupByDemo"); HCatInputFormat.setInput(job
write(null, record); } } MapReduce任务定义,指定输入/输出类,Mapper/Recducer类,输入输出键值对格式; Job job = new Job(conf, "GroupByDemo"); HCatInputFormat.setInput(job
write(null, record); } } MapReduce任务定义,指定输入/输出类,Mapper/Recducer类,输入输出键值对格式; Job job = new Job(conf, "GroupByDemo"); HCatInputFormat.setInput(job
执行如下命令创建目录“/home”。 hdfs dfs -mkdir /home 执行如下命令上传数据文件。 hdfs dfs -put data /home 确保其对启动JDBCServer的用户有读写权限。 确保客户端classpath下有“hive-site.xml”文件,且根据实际集群情况配置所需要
需要所有的ISR列表副本,且满足最小成功的副本数确认写入成功。当分区的一个副本所在节点故障时,无法满足最小成功的副本数,那么将会导致业务写入失败。 配置影响 请根据业务场景对可靠性和性能要求进行评估,采用合理参数配置。 对于价值数据,两种场景下建议Kafka数据目录磁盘配置raid1或者raid5,从而提高单个磁盘故障情况下数据可靠性。
write(null, record); } } MapReduce任务定义,指定输入/输出类,Mapper/Recducer类,输入输出键值对格式; Job job = new Job(conf, "GroupByDemo"); HCatInputFormat.setInput(job
参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 组件审计日志转储失败时,如果组件本地老化这部分审计日志,审计日志将无法找回,影响分析排查组件的业务行为。 可能原因 服务审计日志过大。
例如创建的用户为“mrs-test”。 图1 创建MRS业务用户 使用root用户,登录到集群客户端节点,执行如下命令配置环境变量并进行认证,首次进行用户认证需要修改用户密码。 source /opt/client/bigdata_env kinit mrs-test 步骤2:安装Python3
填写UDF名称以及描述信息后,单击“确定”。 “UDF名称”最多可添加10项,“名称”可自定义,“类名”需与上传的UDF jar文件中UDF函数全限定类名一一对应。 上传UDF jar文件后,服务器默认保留5分钟,5分钟内单击确定则完成UDF创建,超时后单击确定则创建UDF失败并弹出错误提示:本地UDF文件路径有误。
Char Varchar Boolean Decimal Double TimeStamp Date Array Struct Map 下表对所支持的数据类型及其各自的范围进行了详细说明。 表1 CarbonData数据类型 数据类型 范围 Int 4字节有符号整数,从-2,147
/opt/example/* 切换为omm用户,进入拷贝目录下“/opt/example”,首先确保conf目录下和依赖库文件目录下的所有文件,对当前用户均具有可读权限;同时保证已安装jdk并已设置java相关环境变量,然后执行命令,如java -cp .:/opt/example/c