检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过sqoop import命令从PgSQL导出数据到Hive时报错 背景 使用sqoop import命令抽取开源PgSQL数据库内容到MRS HDFS或Hive中。 用户问题 使用sqoop命令可以查询PgSQL表,但是执行sqoop import命令导入导出时报错: The
ClickHouseServer实例所在节点IP --user clickhouse/hadoop.<系统域名> --password 8中获取的clickhouse.keytab路径 --port ClickHouse的端口号 系统域名:默认为hadoop.com。具体可登录集群FusionInsight Manager,单击“系统
通过Doris创建Catalog成功读取Hive外表数据并写入Doris,并按照Unique指定字段自动去重。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件。从数据湖加载可以使用工具CDM,在没有CDM工具时,可以直接使用外表加载、BrokerLoad的方式。本地文件加载则使用D
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复,用于从上次任务中断处继续往下执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息
ClickHouseServer实例所在节点IP --user clickhouse/hadoop.<系统域名> --password 8中获取的clickhouse.keytab路径 --port ClickHouse的端口号 系统域名:默认为hadoop.com。具体可登录集群FusionInsight Manager,单击“系统
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复,用于从上次任务中断处继续往下执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息
从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题: 开发Spark应用
从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题: 开发Spark应用
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。例如“本端域”参数为“9427068F-6EFA-4833-B43E-60CB641E5B6C
keytab" principal="test@<系统域名>" useTicketCache=false storeKey=true debug=true; }; test:为准备集群认证用户信息创建的用户名称,例如developuser。 系统域名:登录FusionInsight Manager后,选择“系统
securityConfig = ";saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;user.principal=sparkuser;user.keytab=/opt/FIclient/user.keytab;";
Log4jLoggerFactory] current user is developuser@<系统域名> (auth:KERBEROS) login user is developuser@<系统域名> (auth:KERBEROS) cluset status is true Warning:
onf”目录下,可参考5.4.1-编译并运行程序。 在二次开发过程中,PRINCIPAL需要用到的用户名,应该填写为带域名的用户名,例如创建的用户为test,域名为HADOOP.COM,则其PRINCIPAL用户名则为test@HADOOP.COM,代码举例: conf.set(PRINCIPAL
Log4jLoggerFactory] current user is developuser@<系统域名> (auth:KERBEROS) login user is developuser@<系统域名> (auth:KERBEROS) cluset status is true Warning:
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复,用于从上次任务中断处继续往下执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复,用于从上次任务中断处继续往下执行,以保证数据不丢失。但是,在某些情况下,从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息
no.acl.found”配置,修改参数值为true,保存配置即可。 系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 使用Flink 1.15.0及以前版本对接Kafka,在扩容Kafka
登录Manager时界面报错“认证信息无效” Manager界面超时退出后无法正常登录 升级Python后无法登录Manager页面 修改集群域名后无法登录Manager页面 登录Manager界面后页面空白无内容 集群节点内安装了原生Kerberos导致登录集群失败 macOS使用浏览器访问MRS
全部配置”进入Hive服务配置页面,修改HiveServer角色的hive-site.xml自定义配置文件,增加HBase配置文件的如下配置项。 从已下载的HBase客户端配置文件的hbase-site.xml中,搜索并添加如下配置项及其取值到HiveServer中。 hbase.security
r(角色) > 自定义”修改HiveServer角色的“hive-site.xml”自定义配置文件,增加HBase配置文件的如下配置项。 从已下载的HBase客户端配置文件的hbase-site.xml中,搜索并添加如下配置项及其取值到HiveServer中。 hbase.security