检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
会加载该function对应的jar。 如果jar不存在,则该function无法使用,需要重新执行add jar命令。 父主题: SQL和DataFrame
告警”,单击此告警所在行的,单击主机名,查看该告警的主机地址。 以root用户登录主管理节点,用户密码为安装前用户自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 如果当前故障节点为主管理节点,当登录主管理节点时无法登
w)->tdigest 描述:返回由x的所有输入值(使用每项权重w)组成的tdigest。w必须大于或等于1。x和w可以是任何数值类型。 父主题: HetuEngine SQL函数和操作符说明
降低MapReduce客户端运行任务失败率 配置场景 当网络不稳定或者集群IO、CPU负载过高的情况下,通过调整如下参数值,降低客户端应用的失败率,保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xm
nctionRegistry对象未保存新创建的UDF,那么删除UDF时就会出现错误。 解决方法:重启Spark服务端的JDBCServer和spark-sql,再删除此类UDF。 在Hive端创建UDF时未在创建语句中指定jar包路径,而是通过add jar命令添加UDF的jar包如add
用户透传到executor,因此使用非spark用户时需要对文件进行更改owner为beeline端的用户,即实际用户。 父主题: SQL和DataFrame调优
对于datasource表和Spark on HBase表,执行Hive相关命令修改元数据时,出现失败或者不生效情况。 回答 当前版本不支持执行Hive修改元数据的相关命令操作datasource表和Spark on HBase表。 父主题: SQL和DataFrame
compute statistics noscan 该命令不用启动MapReduce任务,不会占用YARN资源,从而任务可以被执行。 父主题: SQL和DataFrame
total_cost/packages AS per_package FROM shipping; Query failed: Division by zero 使用TRY和COALESCE返回默认值: SELECT COALESCE(TRY(total_cost/packages),0) AS per_package
效。在--conf后添加参数名称及其参数值,例如: --conf spark.eventQueue.size=50000 父主题: SQL和DataFrame
“/user/hive/warehouse”目录可通过hive.metastore.warehouse.dir参数指定。 父主题: SQL和DataFrame
Core节点出现df显示的容量和du显示的容量不一致 问题现象 Core节点出现df显示的容量和du显示的容量不一致: 分别使用命令df -h 和命令du -sh /srv/BigData/hadoop/data1/查询得到的/srv/BigData/hadoop/data1/目录磁盘占用量相差较大(大于10
la内部的线程池尚未关闭就不会打印该异常栈。 因为该问题出现在应用退出时,此时任务已经运行成功,所以不会对业务产生影响。 父主题: SQL和DataFrame
b OR 两个值其中一个为true,则为true a OR b NOT 值为false,结果则为true NOT a 以下真值表反映了AND和OR如何处理NULL值: a b a AND b a OR b TRUE TRUE TRUE TRUE TRUE FALSE FALSE TRUE
nctionRegistry对象未保存新创建的UDF,那么删除UDF时就会出现错误。 解决方法:重启Spark服务端的JDBCServer和spark-sql,再删除此类UDF。 在Hive端创建UDF时未在创建语句中指定jar包路径,而是通过add jar命令添加UDF的jar包如add
scala:485) 回答 table为Spark SQL的关键词,不能用作表名使用。 建议您在创建表时,不要使用table用作表的名字。 父主题: SQL和DataFrame
入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表,在Spark SQL
5更新过数据后,Spark2x中访问也能感知到变化 ,反过来一样。这样即可实现Spark2x对Spark1.5创建的DataSource表的访问。 父主题: SQL和DataFrame
入数据 问题 为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表,在Spark SQL
户端进行配置。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的目录、HBase表和数据。 获取外部数据源(SFTP服务器或关系型数据库)使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用