检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。
Hive表的HDFS目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令进入控制台: source ${BIGDA
在System.disks表中查询到磁盘status是fault或者abnormal 问题 在System.disks表中查询到磁盘status是fault或者abnormal。 回答 这种情况是由于磁盘存在IO错误,处理方法如下: 方法一:登录FusionInsight Man
创建HBase全局二级索引 功能简介 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理,该类中addIndices用于创建全局二级索引。 全局二级索引的创建需要指定索引
补丁基本信息 补丁号 MRS 3.2.0-LTS.1.8 发布时间 2024-04-23 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表: 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。 解决Spark列字段中的子查询
不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
检查Spark2x依赖的服务是否有服务不可用告警。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否存在以下告警: ALM-25500 KrbServer服务不可用 ALM-25000 LdapServer服务不可用 ALM-13000
opengauss.jdbc.Driver JDBC连接字符串 JDBC连接字符串,格式为: jdbc:opengauss://数据库访问地址:数据库访问端口号/数据库名称 jdbc:opengauss://10.10.10.10:15400/test 用户名 连接数据库使用的用户名。
JAR包路径下都存在相应的Jar包。您可以通过修改IoTDB配置“udf_root_dir”来指定UDF加载Jar的根路径。 IoTDBServer所在节点的IP地址可在MRS集群管理控制台的“组件管理”界面,单击“IoTDB”,选择“实例”页签查看。 使用SQL语句注册该UDF,语法如下: CREATE
向HBase表中插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例
向Phoenix表中插入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE
向HBase表中插入数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例
mapPartition接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTPS协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified
FusionInsight_Cluster_1_Services_ClientConfig scp Yarn/config/* root@客户端节点IP地址:/opt/client/conf 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/
为了server principle的一部分来使用,导致认证失败。 处理步骤 librdkafka具体修改步骤: librdkafka源码地址:https://github.com/edenhill/librdkafka。 在src/rdkafka_conf.c文件中增加sasl
向Phoenix表中写入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTP协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified
操作HBase数据源 场景说明 用户可以在Spark应用程序中以数据源的方式去使用HBase,将dataFrame写入HBase中,并从HBase读取数据以及对读取的数据进行过滤等操作。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的HBase表: