检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
网络连接超时导致FetchFailedException 问题 在380节点的大集群上,运行29T数据量的HiBench测试套中ScalaSort测试用例,使用以下关键配置(--executor-cores 4)出现如下异常: org.apache.spark.shuffle.F
使用hive-table方式同步数据到orc表或者parquet表失败 问题 使用hive-table方式同步数据到orc表或者parquet表失败,报错中会有kite-sdk的包名。 回答 修改数据同步方式,将-hive-table改成-hcatalog-table。 父主题:
在集群内节点使用LoadIncrementalHFiles批量导入数据,报错权限不足 问题 在普通集群中手动创建Linux用户,并使用集群内DataNode节点执行批量导入时,为什么LoadIncrementalHFiles工具执行失败报“Permission denied”的异常?
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTP协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储
使用REST接口操作Namespace 功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTPS协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存
警清除。 告警属性 告警ID 告警级别 可自动清除 14011 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 如果将DataNode数据目录挂载在根
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行
编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
该告警。 告警属性 告警ID 告警级别 可自动清除 43010 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 JDBCServer进程堆内存使用率过
编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称 > 服务 > HBase > HMaster(主)”打开HBase的Web UI。 在HBase的Web UI页面中,Home页面展示的是HBase的一些概况信息,具体包括以下信息:
HBase HFS Java API接口介绍 使用条件 集群版本小于MRS 3.x。 接口介绍 主要类说明: 接口org.apache.hadoop.hbase.filestream.client.FSTableInterface常用接口说明: 方法 说明 void put(FSPut
Scala样例代码 功能介绍 在Spark应用中,通过使用Streaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com
Flink异步Checkpoint Java样例代码 代码样例 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 快照数据 该数据在算子制作快照时,用于保存到目前为止算子记录的数据条数。 1 2 3 4 5 6 7 8 9 10 11 12
Flink Stream SQL Join Java样例代码 功能简介 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在MRS
Oozie REST接口介绍 Oozie常用REST接口与Java一样。 Java API主要由org.apache.oozie.client.OozieClient提供。 详情请参见http://oozie.apache.org/docs/5.1.0/WebServicesAPI
常见jar包冲突处理方式 问题现象 Spark能对接很多的第三方工具,因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带,这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致,在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有: 1、报错类找不到:java