检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto > resource-groups " 配置资源组。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”)
> 配置 > 全部配置”搜索并修改参数“KAFKA_JMX_IP”的值为“${BROKER_IP}”。 图2 修改Kafka参数 修改完成后,单击左上方“保存”,在弹出的对话框中单击“确定”保存配置。 单击“概览”页签,选择右上方“更多 > 重启服务”重启Kafka服务。 以ro
rue';,建立连接。 执行./ij命令前,需要确保已配置java_home,可通过which java命令检查是否已配置。 数据库建立好后,可以执行sql语句进行操作,需要建立两张表ORIGINAL和GOAL,并向ORIGINAL中插入一组数据,命令如下:(表名仅供参考,可自行设定)
的数据进行计算。同时在计算完成后,也可以将数据存储到HDFS。 HDFS和Spark的关系 通常,Spark中计算的数据可以来自多个数据源,如Local File、HDFS等。最常用的是HDFS,用户可以一次读取大规模的数据进行并行计算。在计算完成后,也可以将数据存储到HDFS。
)一 一对应,否则使用storm命令提交拓扑任务出错。 加载客户端环境变量且对应用户登录成功后,该用户可以在任意storm客户端下执行storm命令来提交拓扑任务,但提交拓扑命令执行完成后,提交成功的拓扑仍然在用户所对应的Storm集群中,不会出现在其他Storm集群中。 如果修
compact_inline 是否开启compact。 否,默认true。 schedule_compact_inline 开启compact后,是否只做schedule。 注意: 如果需要run_table_service命令只产生compaction plan且不执行,需要设置s
RPC”,单击“TokenServer RPC队列平均时间”,单击“default”规则所在行的“操作”列的“修改”,修改“紧急”或“重要”告警级别对应的“阈值”为告警出现后1天内监控值的峰值的150%,单击“确定”保存。 等待5分钟,查看该告警是否自动清除。 是,处理完毕。 否,执行6。 查看Guardian
HDFS”,单击“NameNode Web UI”后的链接,选择“Utilities > Browse the file system”,查看并获取“hdfs://hacluster/tmp/plan.json”文件(单击“语义校验”后系统会在HDFS中会生成CompiledPlan
例子: CarbonSegmentUtil.getFilteredSegments(carbonrdd) 可以通过传入sql语句来获取过滤后的segment: /** * Returns an array of valid segment numbers based on the
modify COLUMN VIEW_ORIGINAL_TEXT mediumtext CHARACTER SET utf8; 重新创建视图后不存在中文乱码情况。 父主题: 使用Hive
执行如下命令结束正在执行的查询类大SQL: kill query where query_kind='Select' and elapsed > 60; 等待30秒后,执行如下命令统计正在执行的sql任务: select count(*) from system.processes; 确认获取值小于60。
在搜索框中输入参数名称,搜索“hive.security.temporary.function.need.admin”,修改参数值为“true”或“false”,修改后重启所有HiveServer实例。 选择“true”时,创建临时函数需要ADMIN权限,与开源社区版本保持一致。 选择“false”时,创建临时函数不需要ADMIN权限。
Zookeeper客户端会话超时时间,单位毫秒。 90000 spark.thriftserver.zookeeper.retry.times Zookeeper客户端失联后,重试次数。 3 spark.yarn.queue JDBCServer服务所在的Yarn队列。 default 父主题: 配置Spark HA增强高可用
Spark-client模式任务Driver运行在客户端节点上(通常是集群外的某个节点),启动时先在集群中启动AppMaster进程,进程启动后要向Driver进程注册信息,注册成功后,任务才能继续。从AppMaster日志中可以看出,无法连接至Driver,所以任务失败。 解决办法 请检查Driver进程所在的IP是否可以ping通。
例子: CarbonSegmentUtil.getFilteredSegments(carbonrdd) 可以通过传入sql语句来获取过滤后的segment: /** * Returns an array of valid segment numbers based on the
Yarn服务不可用 ALM-16004 Hive服务不可用 是,执行3。 否,执行4。 根据对应服务不可用告警帮助提供的故障处理对应告警。 告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行4。 检查NameNode节点内存是否不足。 检查NameNode节点内存,查看是否有节点存在内存不足的问题。
默认”,“SPARK_DRIVER_MEMORY”参数默认值为4G,可根据如下原则调整:可将“SPARK_DRIVER_MEMORY”参数调整为默认值的1.5倍;若参数值调整后,仍偶现告警,可按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。 重启所有的IndexServer2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。
RPC”,单击“TokenServer RPC处理平均时间”,单击“default”规则所在行的“操作”列的“修改”,将“紧急”或“重要”告警级别对应的“阈值”修改为告警出现后1天内监控值的峰值的150%,并单击“确定”保存。 等待5分钟,查看该告警是否自动清除。 是,处理完毕。 否,执行6。 查看Guardian
执行以下命令优先修复异常的表,tableName为4记录的表名: admin repair table tableName; 异常表修复完成后,等待2分钟,在告警列表中查看该告警是否自动清除。 是,处理完毕。 否,执行8。 收集故障信息 在FusionInsight Manager界面,选择“运维
在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图6 选择JDK目录 完成JDK选择后,单击“OK”完成配置。 图7 完成JDK配置 (可选)如果导入Scala语言开发样例工程,还需要在IntelliJ IDEA中安装Scala插件。