检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。
规则,详情说明请参考配置MRS集群安全通信授权。 勾选授权 单击“立即购买”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后,不支持修改。
resourcemanager.webapp.pagination.enable 是否开启Yarn WebUI的任务列表后台分页功能。 true yarn.resourcemanager.webapp.pagination.threshold 开启Yarn WebUI的任务列表后台分页功能后,每个分页显示的最大作业数量。
准备连接HBase集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于程序认证。 以下HBase权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
能上比Java UDF更好。 使用示例 以下为复用lower()函数的示例。 [localhost:21000] > create database udfs; [localhost:21000] > use udfs; [localhost:21000] > create function
sh命令需进入“/Flink客户端安装目录/Flink/flink”目录执行,例如“/opt/client/Flink/flink”。 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 请确保Jar包和配置文件的
ALM-12076 gaussDB资源异常 告警解释 HA软件每10秒周期性检测Manager的数据库。当HA软件连续3次检测到数据库异常时,产生该告警。 当HA检测到数据库正常后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12076 重要 是 告警参数 参数名称 参数含义
2-byte value: 32970 at org.postgresql.core.PGStream.SendInteger2(PGStream.java:199) at org.postgresql.core.v3.QueryExecutorImpl.se
Exception { String[] words = s.split("\\s"); if (words.length < 2) { return
解决方案:set hive.map.aggr=false; Hive SQL设置hive.auto.convert.join = true(默认开启)和hive.optimize.skewjoin=true执行报错:ClassCastException org.apache.hadoop
解决方案:set hive.map.aggr=false; Hive SQL设置hive.auto.convert.join = true(默认开启)和hive.optimize.skewjoin=true执行报错:ClassCastException org.apache.hadoop
复制到客户端目录“#{客户端安装目录}/Flink/flink/lib”下,应用程序运行依赖包请参考参考信息。 在Flink任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致应用部分临时数据无法清空。 示例中的“ssl/”是Fl
默认值 spark.sql.tungsten.enabled / 类型为Boolean。 当设置的值等于true时,表示开启tungsten功能,即逻辑计划等同于开启codegeneration,同时物理计划使用对应的tungsten执行计划。 当设置的值等于false时,表示关闭tungsten功能。
默认值 spark.sql.tungsten.enabled 类型为Boolean。 当设置的值等于true时,表示开启tungsten功能,即逻辑计划等同于开启codegeneration,同时物理计划使用对应的tungsten执行计划。 当设置的值等于false时,表示关闭tungsten功能。
限和Hive表的读写权限。 选择“Hive Read Write Privileges”Hive表的读写权限,此时显示列Hive中的所有数据库。 勾选角色需要的权限并单击“确定”完成角色创建。 在MRS Manager页面,选择“系统配置 > 用户管理”。 在已创建的新用户对应的“操作”列单击“修改”。
HetuEngine权限参数 参数名称 描述 Policy Name 策略名称,可自定义,不能与本服务内其他策略名称重复。 Enabled:启用当前策略。 Disabled:不启用当前策略。 Policy Conditions IP过滤策略,可自定义,配置当前策略适用的主机节点,可填写一个或多个IP
2-byte value: 32970 at org.postgresql.core.PGStream.SendInteger2(PGStream.java:199) at org.postgresql.core.v3.QueryExecutorImpl.se
法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt,发现能连上Oracle数据库,但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm WebUI查看拓扑DAG图,发现DAG图与拓扑定义一致。
Spark SQL无法查询到ORC类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。
Spark SQL无法查询到ORC类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。