检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件。从数据湖加载可以使用工具CDM，在没有CDM工具时，可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用Doris自带的StreamLoad工具。 图1 离线数据加载 操作流程 步骤1：创建MRS Doris集群并配置 步骤2：创建Doris数据表及CSV文件
ALM-45595 IoTDBServer跨空间合并执行时长超过阈值 告警解释 当检测到跨空间合并时长超出阈值时产生该告警。当跨空间合并时长低于阈值时，告警清除。 告警属性 告警ID 告警级别 是否自动清除 45595 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
配置Spark Executor退出时执行自定义代码 本章节仅适用于MRS 3.2.0及之后版本。 配置场景 通过配置如下参数可以实现Executor退出时执行自定义代码。 配置参数 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 参数 说明 默认值
执行analyze table语句，因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下： spark-sql> analyze table hivetable2 compute statistics; Query ID
ALM-45594 IoTDBServer空间内合并执行时长超过阈值 告警解释 当检测到空间内合并时长超出阈值时产生该告警。当空间内合并时长低于阈值时，告警清除。 告警属性 告警ID 告警级别 是否自动清除 45594 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
执行Kakfa Topic创建操作时发现无法创建提示“replication factor larger than available brokers” 问题背景与现象 在使用Kafka客户端命令创建Topic时，发现Topic无法被创建。 kafka-topics.sh --create
配置用户在具有读和执行权限的目录中创建外表 “hive.restrict.create.grant.external.table”参数用于配置允许有目录读权限和执行权限的用户和用户组创建Hive外部表，而不必检查用户是否为该目录的属主，并且禁止外表的Location目录在当前默认
配置用户在具有读和执行权限的目录中创建外表 操作场景 此功能在MRS 3.x之前版本适用于Hive，Spark。在MRS3.x及后续版本适用于Hive，Spark2x。 开启此功能后，允许有目录读权限和执行权限的用户和用户组创建外部表，而不必检查用户是否为该目录的属主，并且禁止外
Hive表的HDFS目录被误删，但是元数据仍然存在，导致执行任务报错 问题 Hive表HDFS数据目录被误删，但是元数据仍然存在，导致执行任务报错。 回答 这是一种误操作的异常情况，需要手动删除对应表的元数据后重试。 例如： 执行以下命令进入控制台： source ${BIGDATA
执行analyze table语句，因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句，任务一直卡住，打印的信息如下： spark-sql> analyze table hivetable2 compute statistics; Query ID
Hive表的HDFS数据目录被误删，但是元数据仍然存在，导致执行任务报错 问题 Hive表HDFS数据目录被误删，但是元数据仍然存在，导致执行任务报错。 回答 这是一种误操作的异常情况，需要手动删除对应表的元数据后重试。 例如： 执行以下命令进入控制台： source ${BIGDATA
ALM-50224 BE上执行的各类任务中是否存在某种类型的任务失败次数有增长趋势 告警解释 系统每30秒周期性检查BE上执行的各类任务中是否存在某种类型的任务失败次数有增长趋势，当检查到该值不等于1（1表示没有增长趋势，0表示有增长趋势）时产生该告警。 当系统检测到BE上执行的各类任务中不
Flink客户端执行命令报错“Error while parsing YAML configuration file : security.kerberos.login.principal:pippo” 问题背景与现象 客户端安装成功，执行客户端命令例如yarn-session.sh时报错，提示如下：
入Doris中，在Doris中进行实时查询。如果数据在加载到Doris之前需要处理，可直接在FlinkSQL中进行数据加工，将加工后的数据实时写入Doris中。 图1 实时数据加载 操作流程 步骤1：创建MRS Flink集群并配置 步骤2：创建MRS Doris集群并配置 步骤3：准备数据
执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误 问题 当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），此时执行该语句会报如下所示的错误日志，该错误表明某个方法的代码超出了64KB。
当表名为table时，执行相关操作时出现异常 问题 当创建了表名为table的表后，执行drop table table上报以下错误，或者执行其他操作也会出现类似错误。 16/07/12 18:56:29 ERROR SparkSQLDriver: Failed in [drop
function的权限，执行drop时却没有报错，让用户误以为drop成功；但重新起session时又连到创建function的JDBCServer上，因此执行show function，function仍然存在。该行为是hive的社区行为。 修改方案： 在执行drop function命令之前先执行add
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError:
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError:
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
