检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决方法 Flink对接Elasticsearch作业在运行过程中,TGT超期后会重新进行认证,此时Elasticsearch缓存的票据信息没有更新,导致认证失败。可通过在“客户端安装路径/Flink/flink/conf/flink-conf.yaml”的“env.java.opts”配置项中添加如下参数解决。
程文件夹“hive-rest-client-example”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”文件放到样例工程的“hive-rest-client-example\src\main\resources”目录下。
0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JDBCServer2x变更为JDBCServer。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43010 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JDBCServer2x变更为JDBCServer。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 告警属性 告警ID 告警级别 是否自动清除 43012 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
resourceManager MapReduce ResourceManager地址 queueName 任务处理时使用的MapReduce队列名 nameNode HDFS NameNode集群地址 “${变量名}”表示:该值来自“job.properties”所定义。 例如:
告警ID 告警级别 可自动清除 24003 严重 是 告警参数 参数名称 参数含义 ClientIP Flume客户端IP地址。 ServerIP Flume服务端IP地址。 ServerPort Flume服务端端口。 对系统的影响 产生告警的Flume Client无法与Flume Server端进行通信,Flume
在FusionInsight Manager的服务列表中,查看Yarn运行状态是否为“良好”。 是,执行5。 否,执行2。 在告警列表中,查看是否有“ALM-18000 Yarn服务不可用”告警产生。 是,执行3。 否,执行5。 参考ALM-18000 Yarn服务不可用的处理步骤处理该故障。
YARN中的ResourceManager负责整个集群的资源管理和任务调度,在Hadoop2.4版本之前,ResourceManager在YARN集群中存在单点故障的问题。YARN高可用性方案通过引入冗余的ResourceManager节点的方式,解决了这个基础服务的可靠性和容错性问题。 图1 ResourceManager高可用性实现架构
MRS集群内的节点中可以部署爬虫服务吗? MRS服务是否支持安全删除的能力? 如何使用PySpark连接MRS Spark? HBase同步数据到CSS为什么没有映射字段? MRS集群是否支持对接外部KDC? 开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理? MRS导出数据到OBS加密桶失败如何处理?
MRS集群租户资源最小值为0时只能同时运行一个任务吗? 作业提交参数间用空格隔开导致参数信息不被识别如何处理? Spark作业的Client模式和Cluster模式有什么区别? 如何查看MRS作业的日志? 提交作业时系统提示当前用户在Manager不存在如何处理? LauncherJob作业执行
CCWorker(角色)”,查找“memory_limit”参数,查看当前集群上CCWorker实例的最大可用内存配置值。是否存在业务并发、数据量有长期上涨,且该告警未能自动清除。 是,执行4。 否,执行3。 可暂时忽略,业务高峰过后,告警将会自动清除。 请适当调大2中的最大可用内存值,单击“保存”。
化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 背景信息 假定某某集团旗下有3个生产线,每个生产线上有5台设备,传感器会实时采集这些设备的指标数据(例如温度、速度、运
r/kylin-coprocessor-1.6.0-SNAPSHOT-0.jar HBase在配置协处理器时,一定要保证对应的jar包路径没有问题,否则HBase会无法启动。 解决办法 使用Kylin对接MRS,确保Kylin相关jar包存在。 父主题: 使用HBase
WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击,然后选择“SparkSql”,进入“SparkSql”。 “SparkSql”支持以下功能: 执行和管理SparkSql语句。 在“保存的查询”中查看当前访问用户已保存的SparkSql语句。 在“查询历史记录”中查看当前访问用户执行过的SparkSql语句。
balancer.sh -threshold 10 其中“/opt/client”是实际的客户端安装目录。 针对新写入数据,将客户端安装在没有安装DataNode的节点。 父主题: 使用HDFS
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43007”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobHistory进程的非堆内存统计”。单击“确定”,查看非堆内存使用情况。
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43009”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobHistory的GC时间”。单击“确定”,查看GC时间。 查看
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“44005”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Presto > 实例 > Coordinator(对应上报告警实例IP地址) > 定制 > Presto进程GC时间”。单击“确定”,查看GC时间。 查看Co
Independent属性,取消后无法重新设置。取消后已创建的私有表继续保持私有属性,取消后无法继续创建私有表。 没有这个属性的业务用户无法在右上角用户名下进行设置和取消操作。 配置用户私有属性 以业务用户登录FusionInsight Manager。 设置Independen
add='idx2=>cf1' -Dindexspecs.covered.to.add='idx1=>cf1:[c3],[c4]' -Dindexspecs.coveredallcolumn.to.add='idx3=>true' -Dindexspecs.splitkeys.to.set='idx1=>[\x010