检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
keytab: " 原因分析 在安全集群环境下,Flink需要进行安全认证。当前客户端未进行相关安全认证设置。 Flink整个系统有两种认证方式: 使用kerberos认证:Flink yarn client、Yarn Resource Manager、JobManager、HDF
入时才会触发物化视图数据修改。 禁止在创建物化视图时使用POPULATE关键字。 使用POPULATE方式创建物化视图期间,如果有数据插入,则可能丢失。 推荐的历史数据同步方式: -- create MV с where date >= in_the_future CREATE MATERIALIZED
注册UDF 构建Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”,
注册UDF 构建Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。 选择“Maven > 样例工程名称 > Lifecycle > install”,
客户端创建存储在OBS并行文件系统中的表。 Hive对接OBS MRS集群支持Hive服务基于Metastore方式对接OBS。 配置Hive基于MetaStore方式对接OBS: 已参考配置Guardian服务对接OBS完成存算分离配置。 登录FusionInsight Manager,选择“集群
t Manager对集群进行监控、配置和管理。用户在集群安装后可使用账号登录FusionInsight Manager。 当前支持以下几种方式访问FusionInsight Manager,请根据实际情况选择。 通过弹性IP访问FusionInsight Manager。 通过云专线访问FusionInsight
Producer类中,用于实现新Producer API向安全Topic生产消息。 样例代码 Producer线程run方法中的消费逻辑。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: public void run() { LOG.info("New
driver.extraJavaOptions”、“spark.driver.extraLibraryPath”。 不添加表1中配置项时,使用方式与原有方式一致,程序可正常执行,只是在不同模式下需切换配置。 配置参数 参数入口: 在Manager系统中,选择“集群 > 服务 > Spark2x
JDBC/HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的JDBC/HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。 操作步骤 参考获取MRS应
数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。 该章节内容适用于MRS 3.2.0及之后版本。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 >
导入并配置Hive JDBC样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码,需要完成下面的操作。 以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 导入jdbc-example样例工程之后,需要将代码中USER_NAME = "xxx
写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入。 处理步骤 采用Hcatalog的方式,参数指定对应的Hive库和表,需要修改SQL语句指定到具体字段(需要修改脚本)。命令中如果携带认证密码信息可能存在
non-strict”来开启bulk insert作为Insert语句的写入方式。 也可以通过直接设置hoodie.datasource.write.operation的方式控制insert语句的写入方式,包括bulk_insert、insert、upsert。使用这种方式控制hoodie写入,需要注意执行完SQL后,必须执行reset
查看Manager应用调测结果 操作场景 Manager应用程序运行完成后,可通过如下方式查看运行结果: 通过IntelliJ IDEA运行结果查看应用程序运行情况,可通过配置文件“conf\log4j.properties”配置日志打印信息。 登录主管理节点查看系统日志“/va
result: org.apache.hadoop.hbase.io.ImmutableBytesWritable,应该如何处理? 回答 可通过如下两种方式处理: 在代码的SparkConf初始化之前执行以下两行代码: System.setProperty("spark.serializer"
MRS产品Flink组件的SpringBoot接口样例代码,需要完成下面的操作。当前支持GaussDB(DWS)样例工程。 该章节以在Linux环境下开发GaussDB(DWS) SpringBoot方式连接Flink服务的应用程序为例。 执行GaussDB(DWS)样例需提前登录GaussDB(DWS)所
操作场景 为了运行MRS产品ClickHouse组件的SpringBoot接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发SpringBoot方式连接ClickHouse服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。 操作步骤 参考获取M
MRS产品Flink组件的SpringBoot接口样例代码,需要完成下面的操作。当前支持GaussDB(DWS)样例工程。 该章节以在Linux环境下开发GaussDB(DWS) SpringBoot方式连接Flink服务的应用程序为例。 执行GaussDB(DWS)样例需提前登录GaussDB(DWS)所
使用TableIndexer工具生成HBase本地二级索引 场景介绍 为了快速对数据创建索引,HBase提供了可通过MapReduce功能创建索引的TableIndexer工具,该工具可实现添加、构建和删除索引。具体使用场景如下: 在表中预先存在大量数据的情况下,可能希望在某个列
waiting for task异常导致Shuffle FetchFailed,Stage一直重试,任务无法正常完成。 回答 JDBCServer方式使用了ShuffleService功能,Reduce阶段所有的Executor会从NodeManager中获取数据,当数据量达到一个级别(