检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导致数据溢出到磁盘时,会产生前缀为“temp_shuffle”的文件。
Impala对接外部LDAP 本操作适用于MRS 3.1.0及之后版本。 登录Manager。 在Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > LDAP”。 配置如下参数的值。
回答 登录集群Manager管理界面,选择“集群 > 服务 > ZooKeeper > 实例”。 单击相应的quorumpeer实例名称,进入对应实例的详情页面。 查看该实例的“服务器状态”。 父主题: ZooKeeper常见问题
回答 登录集群Manager管理界面,选择“集群 > 服务 > ZooKeeper > 实例”。 单击相应的quorumpeer实例名称,进入对应实例的详情页面。 查看该实例的“服务器状态”。 父主题: ZooKeeper常见问题
配置描述 登录Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索并修改以下参数。
选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”打开HBase的Web UI。
使用REST接口查询HBase集群信息 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTP协议,获取集群版本与状态信息。 代码样例 连接RestServer服务 普通模式下,用户不需要登录即可连接RestServer服务。
开发ClickHouse应用 ClickHouse应用程序开发思路 配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse数据库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题
根据每次加载数据的大小,来估计表大小。 也可以在Hive的数据库存储路径下直接查看表的大小。首先在Spark的配置文件“hive-site.xml”中,查看Hive的数据库路径的配置,默认为“/user/hive/warehouse”。
false hoodie.datasource.hive_sync.database 要同步给hive的数据库名。
数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
Impala对接外部LDAP 本操作适用于MRS 3.1.0及之后版本。 登录Manager。 在Manager界面,选择“集群 > 待操作集群的名称 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > LDAP”。 配置如下参数的值。
jobConf.setBoolean("mapreduce.job.complete.cancel.delegation.tokens", false); 父主题: MapReduce常见问题
Impala JDBC接口介绍 Impala使用Hive的JDBC接口,Hive JDBC接口遵循标准的JAVA JDBC驱动标准,详情请参见JDK1.7 API。 Impala并不能支持所有的Hive JDBC标准API。执行某些操作会产生“Method not supported
MRS 1.6.3及之后版本,无论集群是否开启Kerberos认证ZooKeeper默认端口号均为2181。
Doris JDBC接口调用样例程序 Doris JDBC接口样例程序开发思路 创建Doris连接 创建Doris数据库 创建Doris表 向Doris表中插入数据 查询Doris表数据 删除Doris表 父主题: Doris开发指南(普通模式)
网络连接超时导致FetchFailedException 问题 在380节点的大集群上,运行29T数据量的HiBench测试套中ScalaSort测试用例,使用以下关键配置(--executor-cores 4)出现如下异常: org.apache.spark.shuffle.FetchFailedException
配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 spark.eventLog.rolling.enabled 是否启用滚动event log文件。
Java样例代码 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。
手动配置Yarn任务优先级 操作场景 集群的资源竞争场景如下: 提交两个低优先级的应用Job 1和Job 2。 正在运行中的Job 1和Job 2有部分task处于running状态,但由于集群或队列资源容量有限,仍有部分task未得到资源而处于pending状态。