检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
KrbServer及LdapServer开源增强特性 集群内服务认证 在使用安全模式的MRS集群中,任意服务间的相互访问基于Kerberos安全架构方案。集群内某个服务(例如HDFS)在启动准备阶段的时候,会首先在Kerberos中获取该服务对应的服务名称sessionkey(即keytab,用
Spark Core数据序列化 操作场景 Spark支持两种方式的序列化 : Java原生序列化JavaSerializer Kryo序列化KryoSerializer 序列化对于Spark应用的性能来说,具有很大的影响。在特定的数据格式的情况下,KryoSerializer的性
INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优 父主题: 使用Spark2x(MRS 3.x及之后版本)
item_type_code); 其中,在子查询中使用聚合函数sum(b.profit)和group by子句,因此UPDATE操作失败。 如果查询的表设置了carbon.input.segments属性,则UPDATE操作失败。要解决该问题,在查询前执行以下语句。 语法: SET carbon
当参数设置为FALSE时,二级索引只采用starts-with分区条件字符串。 carbon.input.segments 指定要查询的段ID。 此属性允许您查询指定表的指定段。CarbonScan将仅从指定的段ID读取数据。 语法: “carbon.input.segments. <database_name>
Hive、HDFS组件功能正常 HDFS精细化监控功能正常 操作步骤 登录FusionInsight Manager。 通过“集群 > 待操作集群的名称 > 服务 > HDFS > 资源 ”,进入HDFS精细化页面。 找到“资源使用(按目录)”监控项,单击该监控项左上角第一个图标。 进入配置空间监控子页面,单击“添加”。
Hive表的location支持跨OBS和HDFS路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分区表,不支持将分区location配置为hdfs路径(
default”,勾选表hbaseTable的“查询”,单击“确定”保存。 在Manager用户界面创建一个“人机”用户,例如“hbase_select_user”,加入“hive”组,绑定角色“hive_hbase_select”,用于查询SparkSQL表和HBase表。 执行以下命令,配置环境变量。
Hue连接HiveServer报错“over max user connections”如何处理? 适用版本:MRS 3.1.0及之前的MRS 3.x版本。 修改所有Hue节点上的以下配置文件: /opt/Bigdata/FusionInsight_Porter_8.*/inst
配置进程参数 操作场景 Spark on YARN模式下,有Driver、ApplicationMaster、Executor三种进程。在任务调度和运行的过程中,Driver和Executor承担了很大的责任,而ApplicationMaster主要负责container的启停。
Kudu应用开发概述 Kudu应用开发简介 Kudu应用开发常用概念 Kudu应用开发流程 父主题: Kudu开发指南(安全模式)
Storm应用开发概述 Storm应用开发简介 Storm应用开发常用概念 Storm应用开发流程 父主题: Storm开发指南(安全模式)
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
HBase应用开发概述 HBase应用开发简介 HBase应用开发常用概念 HBase应用开发流程介绍 HBase应用开发样例工程介绍 父主题: HBase开发指南(安全模式)
Hive应用开发概述 Hive应用开发简介 Hive应用开发常用概念 Hive应用开发开发流程 Hive应用开发样例工程介绍 父主题: Hive开发指南(安全模式)
准备IoTDB应用开发环境 准备本地应用开发环境 准备连接IoTDB集群配置文件 导入并配置IoTDB样例工程 父主题: IoTDB开发指南(普通模式)
JDBC接口调用样例程序 Doris JDBC接口样例程序开发思路 创建Doris连接 创建Doris数据库 创建Doris表 向Doris表中插入数据 查询Doris表数据 删除Doris表 父主题: Doris开发指南(安全模式)
通过Java API提交Oozie作业 通过Java API提交Oozie作业开发思路 通过Java API提交Oozie作业 父主题: 开发Oozie应用
创建HDFS多线程任务 功能简介 建立多线程任务,同时启动多个实例执行文件操作。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 // 业务示例2:多线程 final int THREAD_COUNT
Oozie样例代码说明 job.properties workflow.xml Start Action End Action Kill Action FS Action MapReduce Action coordinator.xml 父主题: 开发Oozie应用