检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线数据加载:通过Broker Load将ORC格式的Hive数据导入Doris 应用场景 通过Broker Load将ORC格式的Hive表数据导入到Doris。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件。从数据湖加载可以使用工具CDM,在没有CDM工具时,可
提升HBase非业务高峰期的Compaction执行速度 操作场景 HBase支持设置非业务高峰期和非高峰期的Compaction吞吐量,通过在非高峰期设置较大的吞吐量,加快Compaction的执行速度,减小高峰期Compaction对业务的影响。 该操作仅MRS 3.3.0及之后版本支持。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 提交的MapReduce任务执行超时,所以无执行结果返回。故障修复后重新执行该任务。 可能原因 执行MapReduce任务需要较长时间。但指定的时间少于所需的执行时间。 处理步骤 检查时间是否正确设置。 把“-Dapplication.timeout
执行任务时AppAttempts重试次数超过2次还没有运行失败 问题 系统默认的AppAttempts运行失败的次数为2。 为什么在执行任务时,AppAttempts重试次数超过2次还没有运行失败? 回答 在执行任务过程中,若ContainerExitStatus的返回值为ABO
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:
MapReduce引擎无法查询Tez引擎执行union语句写入的数据 问题 Hive通过Tez引擎执行union相关语句写入的数据,切换到Mapreduce引擎后进行查询,发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时,生成的输出文件会存在HIVE
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下。
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:
如何处理自动加载的依赖包 问题 在使用IDEA导入工程前,如果IDEA工具中已经进行过Maven配置时,会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时,导致工程Build失败。如何处理自动加载的依赖包? 回答 建议在导入工程后,手动删除自动加载的依赖。步骤如下:
ALM-50219 当前查询执行线程池等待队列的长度超过阈值 告警解释 系统每30秒周期性检查当前查询执行线程池等待队列的长度超过阈值,当检查到该值超出阈值(默认值为20)时产生该告警。 当前查询执行线程池等待队列的长度低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除
配置Spark Executor退出时执行自定义代码 本章节仅适用于MRS 3.2.0及之后版本。 配置场景 通过配置如下参数可以实现Executor退出时执行自定义代码。 配置参数 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 参数 说明 默认值
据湖加载可以使用工具CDM,在没有CDM工具时,可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用Doris自带的StreamLoad工具。 图1 离线数据加载 操作流程 步骤1:创建RDS for MySQL实例、创建数据表 步骤2:创建MRS Doris集群并配置
ALM-16005 上个周期Hive SQL执行失败超过阈值(2.x及以前版本) 告警解释 上个10min的周期内,Hive SQL执行失败数超过阈值。该告警每10min钟检测一次,如果上个10min周期内,发生Hive SQL执行失败数大于设定的阈值时候,会发生该告警。在下个10min周期,如果运行失败的Hive
ALM-45592 IoTDBServer RPC执行时长超过阈值 告警解释 当60s周期内检测到IoTDBServer进程RPC超出阈值时产生该告警。当IoTDBServer进程RPC低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 45592 重要 是 告警参数
Flink客户端执行命令报错“Error while parsing YAML configuration file : security.kerberos.login.keytab” 问题背景与现象 客户端安装成功,执行客户端命令例如yarn-session.sh时报错,提示如下:
LauncherJob作业执行失败,报错信息为“jobPropertiesMap is null”如何处理? 问: Launcher作业失败的,提示原因为:提交作业用户无“hdfs /mrs/job-properties”目录的写权限如何处理? 答: 该问题已在MRS 2.1.0
离线数据加载:通过Doris Catalog读取Hive外表数据并写入Doris 应用场景 通过Doris创建Catalog成功读取Hive外表数据并写入Doris,并按照Unique指定字段自动去重。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件。从数据湖加载可以使
志信息中的“UserName”查看执行错误语句的用户。 输入正确的HiveQL语句,观察命令是否正确执行。 是,执行4.e。 否,执行2.a。 检查HBase服务是否异常。 检查是否执行Hive on HBase任务。 是,执行2.b。 否,执行3.a。 在服务列表查看HBase服务是否正常。
文件。从数据湖加载可以使用工具CDM,在没有CDM工具时,可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用Doris自带的StreamLoad工具。 图1 离线数据加载 操作流程 步骤1:创建MRS Doris集群并配置 步骤2:创建Doris数据表及CSV文件