检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-44004 Presto Coordinator资源组排队任务超过阈值(2.x及以前版本) 告警解释 系统通过jmx接口查询资源组的排队任务数即QueuedQueries指标,当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”)
对同一目录创建多个外表,可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”,用户userA对该目录创建外表tableA,用户userB对该目录创建外表tableB,当userB对tableB执行insert操作后,userA将查询tableA失败,出现Permission
jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。 ImportTSV是一个HBase的表数据加载工具。 前提条件 在执行批量加载时需要通过“Dimporttsv.bulk.output”参数指定文件的输出路径。
collector.class=org.apache.hadoop.mapred.nativetask.NativeMapOutputCollectorDelegator命令开启Native Task特性,任务在部分操作系统运行失败,日志中提示错误“version 'GLIBCXX_3.4.20'
编辑器。 在作业编辑界面中单击“My Bundle”修改作业的名称。 单击“+添加Coordinator”选择需要编排的Coordinator作业。 根据界面提示设置Coordinator任务调度的开始、结束时间,然后单击右上角的保存作业。 单击编辑器右上角的,在弹出菜单选择,设
编辑器。 在作业编辑界面中单击“My Bundle”修改作业的名称。 单击“+添加Coordinator”选择需要编排的Coordinator作业。 根据界面提示设置Coordinator任务调度的开始、结束时间,然后单击右上角的保存作业。 单击编辑器右上角的,在弹出菜单选择,设
collector.class=org.apache.hadoop.mapred.nativetask.NativeMapOutputCollectorDelegator命令开启Native Task特性,任务在部分操作系统运行失败,日志中提示错误“version 'GLIBCXX_3.4.20'
备份恢复相关的操作目前只允许拥有ADMIN权限的用户执行。 一个DataBase内,只允许有一个正在执行的恢复作业。 Doris数据恢复支持最小分区(Partition)级别的操作,当表的数据量很大时,建议按分区分别执行,以降低失败重试的代价。 因为备份恢复操作,操作的都是实
以客户端安装用户登录安装客户端的节点,执行以下命令切换到客户端安装目录,例如客户端安装目录为“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 首次登录IoTDB客户端前需执行以下步骤生成SSL客户端证书: 执行以下命令生成客户端SSL证书:
MRS集群内用户绑定了多个队列时,系统在提交任务时会随机选择队列,建议合理设置用户的队列权限,最好一个用户只绑定一个队列。 如果客户必须绑定多个队列时,可通过配置全局用户策略指定某用户的默认提交队列。 以MRS 3.x版本集群为例,登录集群Manager界面,单击“租户资源”。 单击“动态资源计划
备份恢复相关的操作目前只允许拥有ADMIN权限的用户执行。 一个DataBase内,只允许有一个正在执行的备份作业。 Doris数据备份支持最小分区(Partition)级别的操作,当表的数据量很大时,建议按分区分别执行,以降低失败重试的代价。 因为备份恢复操作,操作的都是实
通常,Spark中计算的数据可以来自多个数据源,如Local File、HDFS等。最常用的是HDFS,用户可以一次读取大规模的数据进行并行计算。在计算完成后,也可以将数据存储到HDFS。 分解来看,Spark分成控制端(Driver)和执行端(Executor)。控制端负责任务调度,执行端负责任务执行。 读取文件的过程如图
Hive任务执行中报栈内存溢出导致任务执行失败 问题背景与现象 Hive执行查询操作时报错Error running child : java.lang.StackOverflowError,具体报错信息如下: FATAL [main] org.apache.hadoop.mapred
String 参数解释: 取消SQL的执行结果。默认返回SUCCEED,对于已经结束的任务也会返回SUCCEED,只有取消正在运行的SQL时没成功才会FAILED。 取值范围: SUCCEED:成功 FAILED:失败 请求示例 取消SQL执行任务请求示例 POST https:/
推荐使用ELB连接Doris,避免当连接的FE故障时,无法对外提供服务。 当Doris单实例或硬件故障时,新提交的任务能运行成功,但不能确保故障时正在运行的任务能执行成功。因此,需要用户连接Doris执行任务时进行失败重试,当任务遇到未知原因失败时,能保证重试新提交的任务能运行成功。 父主题: Doris应用开发规范
UI界面主要用于查看Spark应用程序运行情况,推荐使用Google chrome浏览器以获得更好的体验。 Spark主要有两个Web页面。 Spark UI页面,用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、Stages、Storage、Environment、Executors、SQL、JDBC/ODBC
开启Oozie HA机制 操作场景 Oozie多个节点同时提供服务的时候,通过ZooKeeper来提供高可用(HA)功能,防止单节点故障以及多节点同时处理一个任务。 本章节内容仅适用于MRS 3.1.2及之后版本。 对系统影响 操作过程中需要重启Oozie服务。重启过程中,Oozie服务无法提供服务。
在HetuEngine语句编辑区输入SQL语句。 单击 开始执行HetuEngine SQL语句。 图1 执行语句 Hue上执行HetuEngine语句一次只支持单条语句执行。 Hue上执行HetuEngine默认使用catalog=hive,schema=default。如果需要切换可使用SQL语法use
Tez Tez是Apache最新的支持DAG(有向无环图)作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。 MRS将Tez作为Hive的默认执行引擎,执行效率远远超过原先的MapReduce的计算引擎。 有关Tez的详细说明,请参见:https://tez
增大告警阈值,检查告警是否消除。 是,操作结束。 否,执行3。 如阈值已超过80%,请检查告警出现时刻是否有突发的大量并发查询任务,突发大量任务将会导致内存占用飙升,待任务执行完成后检查告警是否消失,期间可能有因内存不足而执行失败或取消的任务,请重试。 如内存占用超过阈值为常态化状态,需要考虑集群扩容。