检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark内部类变更,且变更类未明确指定SerialVersionUID。 另外,由于checkpoint保存了部分配置项,因此可能导致业务修改了部分配置项后,从checkpoint恢复时,配置项依然保持为旧值的情况。当前只有以下部分配置会在从checkpoint恢复时重新加载。 "spark
使用Hue Hue界面中查看到未知Job在运行 使用IE浏览器在Hue中执行HQL失败 Hue WebUI界面访问失败 Hue界面无法加载HBase表 Hue中的输入框输入中文会出现混乱 Hue上执行Impala SQL查询中文报错
的配置文件用scp命令拷贝到Master2节点对应目录替换原文件。 执行chown omm:wheel mapred-site.xml命令更改所属组和用户。 在Manager界面重启故障的HiveServer和WebHCat进程,恢复正常。 父主题: 使用Hive
情请参考访问MRS集群Manager。 如果队列需要清除与某个资源池的绑定关系,该资源池不能作为队列的默认资源池,需要先将队列的默认资源池更改为其他资源池,请参见配置MRS租户队列。 清除队列配置 进入资源分布策略页面。 Manager页面: MRS 3.x及之后版本:在Manager页面,选择“租户资源
ight_Cluster_1_Services_ClientConfig_ConfigFiles\HDFS\config”,获取表1中相关配置文件。 表1 配置文件 配置文件 作用 core-site.xml 配置Hadoop Core详细参数。 hdfs-site.xml 配置HDFS详细参数。
“配置”,查看该计算实例的资源配置是否合理(默认资源配置为最小化配置,可以根据实际需求调节)。 是,执行8。 否,执行5。 返回计算实例列表,单击“停止实例”,根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。 单击“配置”,根据实际情况增加计算实例的资源配
Hive分区修剪的谓词下推增强 配置场景 在旧版本中,对Hive表的分区修剪的谓词下推,只支持列名与整数或者字符串的比较表达式的下推,在2.3版本中,增加了对null、in、and、or表达式的下推支持。 配置参数 登录FusionInsight Manager系统,选择“集群 >
shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create 'bulktable','cf1' 开发思路 创建RDD。 以HBaseContext的方式操作HBase,将上面生成的RDD写入HBase表中。 打包项目 通过IDEA自带的Maven工具,打包项目,
HetuEngine数据类型隐式转换 开启HetuEngine数据类型隐式转换 关闭HetuEngine数据类型隐式转换 HetuEngine隐式转换对照表 父主题: HetuEngine常见SQL语法说明
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客
Agent运行用户是否有访问keytab认证文件的权限,若返回为keytab路径,则表示有权限,否则无权限。 是,执行22。 否,执行21。 执行“chmod 755 ketab文件”赋予步骤19中所指定的keytab文件的可读权限, 并重启Flume进程。 查看告警列表中该告警是否已清除。 是,处理完毕。 否,执行23。
Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST API样例程序 Flink读取HBase表样例程序 Flink读取Hudi表样例程序 PyFlink样例程序 父主题: Flink开发指南(安全模式)
Join样例程序 Flink Jar作业提交SQL样例程序 FlinkServer REST API样例程序 Flink读取HBase表样例程序 Flink读取Hudi表样例程序 PyFlink样例程序 父主题: Flink开发指南(普通模式)
有新数据到来时,OVER聚合结果刷新并向下游算子发送最新的计算结果,可通过over.window.interval配置该功能,配置如下: 表1 FlinkSQL OVER窗口数据超期退窗功能 参数名称 默认值 说明 over.window.interval -1 相邻2条数据的时
retainedStages”参数。详细信息请参考Spark常用配置参数中的表13。 如果需要保留的Job和Stage的UI数据个数较多,可通过配置“spark.driver.memory”参数,适当增大Driver的内存。详细信息请参考Spark常用配置参数中的表10。 父主题: SQL和DataFrame
ORDER BY ORDER BY ORDER BY子句用于按一个或多个输出表达式对结果集排序。 ORDER BY expression [ ASC | DESC ] [ NULLS { FIRST | LAST } ] [, ...] 每个expression可以由输出列组成,也可以是按位置选择输出列的序号。
Hive表的HDFS目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令进入控制台: source ${BIGDA
xml”添加自定义参数,设置“名称”为“hive.overwrite.directory.move.trash”,“值”为“true”,修改后重启所有Hive实例。 父主题: Hive企业级能力增强
角色”,添加一个拥有Hive管理员权限的角色。 在FusionInsight Manager页面,选择“系统 > 权限 > 用户 ”。 在指定用户对应的“操作”列单击“修改”。 为用户绑定拥有Hive管理员权限的角色,并单击“确定”完成权限添加。 父主题: 使用Hive
Manager,选择“集群 > 服务 > IoTDB > 配置”,在搜索框中搜索“SSL”,修改“SSL_ENABLE”参数值为“false”;保存配置后需重启IoTDB服务使配置生效。并修改客户端“客户端安装目录/IoTDB/iotdb/conf”目录下的“iotdb-client