检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么已备份的Hive表无法执行drop操作 问题 为什么已备份的Hive表执行drop操作会失败? 回答 由于已备份Hive表对应的HDFS目录创建了快照,导致HDFS目录无法删除,造成Hive表删除失败。 Hive表在执行备份操作时,会创建表对应的HDFS数据目录快照。而HD
使用scan命令仍然可以查询到已修改和已删除的数据 问题 为什么使用如下scan命令仍然可以查询到已修改和已删除的数据? scan '<table_name>',{FILTER=>"SingleColumnValueFilter('<column_family>','column'
Datasource Avro格式查询异常 问题 Datasource Avro格式查询报错,提示Caused by: org.apache.spark.sql.avro.IncompatibleSchemaException。 回答 针对avro格式表查询报错,根本原因是avr
MRS 2.0.1及之后版本的单Master节点集群中,Hue服务需要手动修改配置。 解决办法 Hue配置过期,重启Hue服务即可。 在MRS 2.0.1及之后版本,单Master节点的集群Hue服务需要手动修改配置。 登录Master节点。 执行hostname -i获取本机IP。
通过公网IP连接使用HDFS客户端报错 问题现象 通过公网IP连接主机,不能使用HDFS客户端,运行hdfs命令后提示“-bash: hdfs: command not found”。 原因分析 用户登录Master节点执行命令之前,未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。
tls_require_cert:SSL/TLS对端证书校验行为。 接受的值是:'never'、'allow'、'try'、'require'(默认值)。 tls_cert_file:证书文件。 tls_key_file:证书密钥文件。 tls_ca_cert_file:CA证书文件。 tls_ca_cert_dir:CA证书所在的目录。
为什么已备份的Hive表无法执行drop操作 问题 为什么已备份的Hive表执行drop操作会失败? 回答 由于已备份Hive表对应的HDFS目录创建了快照,导致HDFS目录无法删除,造成Hive表删除失败。 Hive表在执行备份操作时,会创建表对应的HDFS数据目录快照。而HD
@password=用户密码 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。 该参数的修改仅适用于本次执行的作业,如需对集群永久生效,请参考修改MRS集群组件配置参数进行集群组件配置参数的修改。 如需添加多个参数,请单击右侧的“添加”按钮。 例如作业需要通过AK/S
tls_require_cert SSL/TLS对端证书校验行为。 接受的值是: 'never'、'allow'、'try'、'require'(默认值)。 tls_cert_file 证书文件。 tls_key_file 证书密钥文件。 tls_ca_cert_file CA证书文件。 tls_ca_cert_dir
Hive任务失败,报没有HDFS目录的权限 问题背景与现象 Hive任务报错,提示执行用户没有HDFS目录权限: 2019-04-09 17:49:19,845 | ERROR | HiveServer2-Background-Pool: Thread-3160445 | Job
l.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型的访问监测。下表是四种协议类型的简单说明: 可以参考修改集群服务配置参数进入Kafka全部配置页面,查看或配置参数。 协议类型 说明 默认端口 PLAINTEXT 支持无认证的明文访问。 获取参数“port”的值,默认为9092。
码信息后登录失败,界面提示“认证信息无效”。 原因分析 当前输入的用户名或密码信息错误。 当前登录用户的密码已过期。 处理步骤 如果用户密码输入错误,请检查并输入正确密码。 MRS集群默认管理用户为admin,密码为创建集群时用户设置。 或参考如何重置或修改Manager(admin)密码?章节重置用户密码。
名称。 图1 修改组件配置参数 在导航树中选择指定的参数分类,并在右侧修改对应参数值。 不确定参数的具体位置时,也可在右上角输入参数名进行搜索。 图2 搜索配置参数 单击“保存配置”,并在确认对话框中单击“是”。 等待界面提示“操作成功”,单击“完成”,配置已修改。 查看集群是否
kadmin/admin 3.x及之后版本默认密码:Admin@123。3.x之前版本默认密码:KAdmin@123。 首次登录后会提示该密码过期,请按照提示修改密码并妥善保存。 执行以下命令 ,查看被锁用户数据密码错误次数“Failed password attempts”参数值是否大于或等于5,如果是,则证明账户被锁。
缩容Task节点失败 如何处理集群内部OBS证书过期 MRS集群更换磁盘(适用于2.x及之前) MRS集群更换磁盘(适用于3.x) MRS备份任务执行失败 Core节点出现df显示的容量和du显示的容量不一致 如何解除网络ACL的关联子网 修改节点主机名后导致MRS集群状态异常 进程被终止如何定位原因
在导航树选择指定的参数分类,并在右侧修改参数值。 不确定参数的具体位置时,支持在右上角输入参数名,系统将实时进行搜索并显示结果。(下图以HDFS组件为例) 单击“保存配置”,并在确认对话框中单击“是”。 等待界面提示“操作成功”,单击“完成”,配置已修改。 查看集群是否存在配置过期的服
MRS集群所在VPC部署了VPCEP后集群补丁安装失败 问题现象 通过MRS管理控制台为MRS集群在线安装补丁,补丁安装失败,报错日志信息中提示访问OBS 403无权限。 原因分析 用户集群所在VPC中,部署并配置了VPC终端节点(VPCEP)。相关的终端节点策略中,未允许MRS集
要使用集群中的证书。若用户未使用集群中的JDK或者JRE,而是使用第三方JDK时,会出现访问RangerAdmin失败,进而spark应用程序启动失败的问题。 在这个场景下,需要进行以下操作,将集群中的证书导入第三方JDK或者JRE中。 配置方法 导出集群中的证书: 安装集群客户
DEFAULT”。 单击“确定”完成创建实例组。 还可以根据实际需求对实例组执行以下操作。 修改实例组:在“实例组”页签定位到指定的实例组,单击,按照界面提示修改参数。默认实例组不支持修改。 删除实例组:在“实例组”页签定位到指定的实例组。单击,在弹出窗口单击“确定”。默认实例组不支持删除。
Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看: tailf /var/log/Bigdata/flume/flume/flumeServer.log 问题: