检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
clientconfig:指定使用jaas.conf文件中的对应配置访问FusionInsight ZooKeeper; [2] zookeeper.server.principal:指定ZooKeeper服务端使用principal,格式为“zookeeper/hadoop.系统域名”,例如:zookeeper/hadoop
配置创建Hive内部表时不能指定Location “hive.internaltable.notallowlocation”参数可用于限制在创建Hive内部表时不能指定Location。即表创建成功之后,表的Location路径会被创建在当前默认warehouse目录下,不能被指定到其他目录;如
Socket Reader #1 for port 8032 | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2016-07-21 16:35:27,105 | INFO
配置创建Hive内部表时不能指定Location 操作场景 此功能在MRS 3.x之前版本适用于Hive,Spark。在MRS3.x及后续版本适用于Hive,Spark2x。 开启此功能后,在创建Hive内部表时,不能指定location。即表创建成功之后,表的location路
如何在Spark命令中指定参数值 问题 如果用户不希望在界面上或配置文件设置参数值,如何在Spark命令中指定参数值? 回答 Spark的配置项,不仅可以在配置文件中设置,也可以在命令中指定参数值。 在Spark客户端,应用执行命令添加如下内容设置参数值,命令执行完成后立即生效。
Socket Reader #1 for port 8032 | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2016-07-21 16:35:27,105 | INFO
Socket Reader #1 for port xxx | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388 2021-07-21 16:35:27,105 | INFO
_PLAINTEXT)。 <service>指kerberos服务名称(如kafka)。 <domain>指kerberos域名(如hadoop.<系统域名>)。 <checkpointDir>指checkpoint文件存放路径,本地或者HDFS路径下。 由于Spark Structured
导出监控指标报表。 选择报表的时间范围。可供选择的选项如下,单击“导出”,Manager将生成指定时间范围内、已勾选的集群监控指标报表文件,请选择一个位置保存,并妥善保管该文件。 如果需要查看指定时间范围的监控指标对应的分布曲线图,请单击“查看”,界面将显示用户自定义时间范围内选定指标的分布曲线图。
SL_PLAINTEXT),<service>指kerberos服务名称(如kafka),<domain>指kerberos域名(如hadoop.<系统域名>),<checkpointDir>指checkpoint文件存放路径。 由于Spark Structured Streaming
MySQL链路任务启动时如何从指定位置抓取数据 现象描述 MySQL链路任务启动时,可以从指定位置抓取数据,本章节主要介绍如何获取指定位置参数。 图1 启动任务 处理步骤 使用工具或者命令行连接MySQL数据库(本示例使用Navicat工具连接)。 执行以下命令。 SHOW MASTER
mr_zk/hadoop.<系统域名> 系统随机生成 用于MapReduce访问ZooKeeper。 hbase/hadoop.<系统域名> 系统随机生成 HBase系统启动过程用于内部组件之间认证的用户。 hbase/zkclient.<系统域名> 系统随机生成 安全集群下,H
本章节适用于MRS 3.3.0及以后版本。 FlinkSQL DISTRIBUTEBY FlinkSQL新增DISTRIBUTEBY特性,根据指定的字段进行分区,支持单字段及多字段,解决数据仅需要分区的场景。示例如下: SELECT /*+ DISTRIBUTEBY('id') */
配置认证: 可以通过以下3种方式的任意一种指定安全认证信息。 在客户端的“spark-defaults.conf”配置文件中,配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-sub
配置认证: 可以通过以下3种方式的任意一种指定安全认证信息。 在客户端的“spark-defaults.conf”配置文件中,配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。 执行bin/spark-sub
postgres:需要连接的数据库名称。 IP:GaussDB(DWS) 集群地址。如果通过公网地址连接,请指定为集群“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 username和password:连接数据库的用户名及密
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足,导致建表失败。
enable_tls 触发使用OpenLDAP服务器安全连接的标志。 纯文本(ldap://)协议指定“no”(不推荐)。 LDAP over SSL/TLS (ldaps://)协议指定“yes”。 yes ldap_servers.ldap_server_name.tls_require_cert
enable_tls 触发使用OpenLDAP服务器安全连接的标志。 纯文本(ldap://)协议指定“no”(不推荐)。 LDAP over SSL/TLS (ldaps://)协议指定“yes”。 yes ldap_servers.ldap_server_name.tls_require_cert
clientconfig:指定使用jaas.conf文件中的对应配置访问FusionInsight ZooKeeper; zookeeper.server.principal:指定ZooKeeper服务端使用principal,格式为“zookeeper/hadoop.系统域名”,例如:zookeeper/hadoop