检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2-LTS.0.3 发布时间 2022-12-08 安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 解决的问题 MRS 3.1.2-LTS.0.3 修复问题列表: 修复log4j漏洞(CVE-2021-44228),log4j升级到2.17
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警,且告警详情中触发告警的证书为OBS证书。 图1 OBS证书即将过期告警 图2
新建集群Kudu服务异常如何处理? 查看Kudu服务异常日志 登录MRS管理控制台。 单击集群名称进入集群详情页面。 选择“组件管理 > Kudu > 实例”,找到异常实例所属的IP。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击
、min、max、hll_union_agg和bitmap_union等累加起来。 列式存储 在StarRocks中,表数据按列存储。物理上,一列数据会经过分块编码、压缩等操作,然后持久化存储到非易失设备上。但在逻辑上,一列数据可以看成是由相同类型的元素构成的一个数组, 一行数据
如何准备MRS的数据源? MRS既可以处理OBS中的数据,也可以处理HDFS中的数据。在使用MRS分析数据前,需要先准备数据。 将本地数据上传OBS。 登录OBS管理控制台。 在OBS上创建userdata并行文件系统,然后在userdata文件系统下创建program、input、output和log文件夹。
Hive服务状态为Unknown 问题现象 Hive服务状态为unknown。 可能原因 Hive服务停止。 解决方案 尝试重启Hive服务。 父主题: 使用Hive
2分钟后,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行11。 重新设置转储规则。 在FusionInsight Manager界面,选择“审计 > 配置”。 重新设置转储规则,填入正确的参数,单击“确定”。 2分钟后,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行14。 收集故障信息。
如何切换访问MRS Manager方式? 问: MRS 3.x版本集群,用户通过专线访问MRS Manager后,如何切换到通过EIP访问? 答: 在集群“概览”页面,单击“前往Manager”后的,即可切换访问方式。 父主题: Web页面访问类
表输出 概述 “表输出”算子,用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入:需要输出的字段 输出:关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明: 该配置仅用于MySQL专用连接器,当数据列内容
表输出 概述 “表输出”算子,用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入:需要输出的字段 输出:关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明: 该配置仅用于MySQL专用连接器,当数据列内容
HiveServer或者MetaStore实例的健康状态为unknown。 可能原因 HiveServer或者MetaStore实例被停止。 解决方案 重启HiveServer或者MetaStore实例。 父主题: 使用Hive
kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题: MRS应用开发开源jar包冲突列表说明
使用Hive加载HDFS数据并分析图书评分情况 应用场景 MRS离线处理集群,可对海量数据进行分析和处理,形成结果数据,供下一步数据应用使用。 离线处理对处理时间要求不高,但是所处理数据量较大,占用计算存储资源较多,通常通过Hive/SparkSQL引擎或者MapReduce/Spark2x实现。
景下,数据处理过程中的数据可以存储在内存中,提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储,使用户能够快速地从MapReduce切换到Spark计算平台上去。Spark提供一站式数据分析能力,包括小批量流式处理、离线批处理、SQL查询
越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数据的处理。企业自行部署Ha
kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题: MRS应用开发开源jar包冲突列表说明
购买MRS集群提交订单时报无效认证如何处理? 问: 购买MRS集群,提交订单时,报无效认证,怎么办? 答: 通过管理人员检查API请求日志发现告警信息为细粒度策略中未赋予IAM用户“mrs:cluster:create”的权限导致。 分析原因为当前IAM用户归属在多个用户组内,多
hbase-client-2.2.3-*.jar 连接HBase服务必须的jar包。 zookeeper-*.jar 连接ZooKeeper服务必须的jar包。 解决方案 使用MRS集群内的ZooKeeper包“zookeeper*.jar”。 使用exclusions排除掉hbase-client里面的zookeeper。
Spark作业报错“UnknownScannerExeception”如何处理? 问题现象 Spark作业运行查看日志有些WARN日志,作业运行很慢,Caused by显示:UnknownScannerExeception。 解决方法 运行Spark作业前,调整hbase.client
fn_test3]] (state=42000,code=40000) 原因分析 Hive中创建永久函数需要特殊的role admin。 解决方案 在执行语句前执行set role admin命令即可解决。 父主题: 使用Hive