检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
于加载的是客户端的spark.driver.extraJavaOptions,在集群节点上对应路径下找不到对应的kdc.conf文件,无法获取kerberos认证所需信息,导致ApplicationMaster启动失败。 解决办法 在客户端提交任务时,在命令行中配置自定义的spark
Thread会根据token renew周期 * 0.75的时间比例上传更新后的Credential文件到HDFS上。 Executor进程中有1个Credential Refresh Thread会根据token renew周期 *0.8的时间比例去HDFS上获取更新后的Credential文件,用来刷
显示所有当前用户创建的连接,不支持显示其他用户创建的连接。 如果集群未启用Kerberos认证,则显示集群中全部的Loader连接。 在“Sqoop连接”中输入指定连接的名称,可以筛选该连接。 编辑连接 在Loader页面,单击“管理连接”。 单击指定连接的名称,进入编辑页面。 根据业务需要,修改连接配置参数。
连接到HBase响应慢 问题现象 在相同的VPC下,外部集群通过Phoenix连接到HBase时,响应较慢。 原因分析 客户配置了DNS服务,由于客户端连接到HBase先通过DNS来解析服务器端,所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv
KerberosPrincipal 用于认证的名字,即认证准备Presto应用开发用户中创建的开发用户的用户名。 KerberosConfigPath krb5.conf的路径。 KerberosKeytabPath user.keytab的路径。 presto.preperties样例 user
回答 HetuEngine计算实例的启动依赖Python文件,需确保各节点“/usr/bin/”路径下面存在Python文件。 登录FusionInsight Manager,单击“主机”,查看并记录所有主机的业务IP。 以root用户登录1记录的节点,在所有节点都执行以下命令,在
Kafka对外发布的端口,默认值为空。 格式为:Broker ID:Port。“Port”为将要绑定的端口,此端口为自定义端口,配置的端口必须为可用的端口。配置多个映射时,使用英文半角逗号分隔。 将2中记录的每个Broker实例的Broker ID与此Broker将要绑定的端口做映射。
端用户“zkcli/hadoop.hadoop.com@HADOOP.COM”的日志。 ZooKeeper中的用户详情: 在ZooKeeper中,不同的认证方案使用不同的凭证作为用户。 基于认证供应商的要求,任何参数都可以被认为是用户。 示例: SAMLAuthenticatio
警产生。 使用客户端验证,通过hbase shell进入hbase命令行后,执行list验证需要运行多久。 开启HDFS的debug日志,然后查看下层目录很多的路径(hadoop fs -ls /XXX/XXX),验证需要运行多久。 打印HMaster进程jstack: su -
节点上(通常是集群外的某个节点),启动时先在集群中启动AppMaster进程,进程启动后要向Driver进程注册信息,注册成功后,任务才能继续。从AppMaster日志中可以看出,无法连接至Driver,所以任务失败。 解决办法 请检查Driver进程所在的IP是否可以ping通。
影响HBase shell窗口的显示。 HBase客户端命令繁多,例如:hbase shell、hbase hbck、hbase org.apache.hadoop.hbase.mapreduce.RowCounter等,且后续还会增加。部分命令的输出为INFO打印,如果直接把I
c TO x a.b.c表示嵌套列全路径,嵌套列具体规则见ADD COLUMNS。 修改列名后自动同步到列comment中,comment的形式为:rename oldName to newName。 系统响应 通过运行DESCRIBE命令查看表列修改。 父主题: Hudi Schema演进及语法说明
Connection refused (172.16.4.200是DBService的浮动IP) DBService backup failed. 解决办法 登录DBService主节点(绑定有DBService浮动IP的master节点)。 检查 /etc/ssh/sshd_config文件
原因分析 HDFS在写的时候有设置块大小,默认128M,某些组件或者业务程序写入的文件可能不是128M,如8M。 <name>dfs.blocksize</name> <value>134217728</value> 图1 某些组件或者业务程序写入的文件大小 distcp 从
登录Manager页面,选择“集群 > 服务 > JobGateway > 实例”,查看所有JobServer实例节点IP。 获取部署了JobServer的节点中,IP最小的节点(以下简称“最小IP节点”)。若最小IP节点更新服务客户端失败,执行3, 否则执行4。 若JobServer部署节点IP为:192
jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider.hacluster=org
jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider.hacluster=org
log”里面请求是否转发到Master节点上新添加的JobServer的IP。 分批次停止Core节点上的JobServer实例。 在“实例”页面勾选Core节点所在的JobServer实例,选择“更多 > 停止实例”,停止Core节点上的JobServer实例。 停止实例时部分作业可能会提交失败,建议在业务低峰期执行。
process is not quit。 解决办法 登录节点,后台通过执行ps -ef | grep HRegionServer发现确实存在一个残留的进程。 确认进程可以终止后,使用kill命令终止该进程(如果kill无法终止该进程,需要使用kill -9来强制终止该进程)。 重新启动HBase服务成功。
先使用kinit命令获取kerberos认证的缓存。 使用准备集群认证用户信息中创建的开发用户执行以下命令运行客户端程序: kinit -kt keytab的存储路径 username cd python3-examples python3 pyCLI_sec.py 在命令行终端查看样例代码中的HQL所查询出的结果。例如: