检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive目录旧数据自动移除至回收站 开启Hive目录旧数据自动移除至回收站功能,执行写目录insert overwrite directory "/path1" ...命令成功之后,会将旧数据移除到回收站,并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。 操作步骤
需为MRS集群预置用户所涉及的回收站目录和其他新增的有防误删需求的用户的回收站目录配置生命周期策略。若委托权限较小或参考配置MRS集群用户的OBS的细粒度访问权限配置了MRS用户访问OBS文件系统下的目录的权限,则还需配置回收站目录的操作权限。 表1 需要配置生命周期策略的目录 集群版本 回收站目录类型 组件名称
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。 告警属性 告警ID 告警级别
配置用户在具有读和执行权限的目录中创建外表 “hive.restrict.create.grant.external.table”参数用于配置允许有目录读权限和执行权限的用户和用户组创建Hive外部表,而不必检查用户是否为该目录的属主,并且禁止外表的Location目录在当前默认wareh
HDFS上更新了oozie的share lib目录但没有生效 问题 在HDFS的“/user/oozie/share/lib”目录上传了新的jar包,但执行任务时仍然报找不到类的错误。 回答 在客户端执行如下命令刷新目录: oozie admin -oozie https://xxx
HostName 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常,可能会导致主OMS节点与外部服务器不能同步时间,集群时间可能会产生误差。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。 不能从NTP服务器获取时间。 从NTP服务器获取的时间持续未更新。
ocation目录在当前默认warehouse目录下。同时在外表授权时,禁止更改其location目录对应的权限。 开启本功能之后,外表功能变化大。请充分考虑实际应用场景,再决定是否做出调整。 操作步骤 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 问题 在父目录中创建大量的znode之后,当ZooKeeper客户端尝试在单个请求中获取该父目录中的所有子节点时,将返回失败。 客户端日志,如下所示: 2017-07-11 13:17:19,610
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 问题 在父目录中创建大量的znode之后,当ZooKeeper客户端尝试在单个请求中获取该父目录中的所有子节点时,将返回失败。 客户端日志,如下所示: 2017-07-11 13:17:19,610
job_execution_id 是 String 参数解释: 作业ID。获取方法,请参见获取作业ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 只能由英文
联系NTP服务器的服务商,解决NTP服务器异常。确保NTP服务器正常后检查告警是否恢复。 是,处理完毕。 否,执行10。 检查从NTP服务器获取的时间是否持续未更新。 继续查看告警附加信息,是否提示从NTP服务器获取时间持续未更新。 是,执行11。 否,执行12。 联系NTP服务器的服务商,解决NTP服务器异常
下载并安装HDFS客户端。 获取相关配置文件。获取方法如下: 在安装好的HDFS客户端目录下找到目录“/opt/clientHDFS/HDFS/hadoop/etc/hadoop”,在该目录下获取到配置文件“core-site.xml”和“hdfs-site.xml”。 获取相关jar包。获取方法如下:
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中,在Hive自定义配置中添加OBS快删目录的配置后,删除Hive表。 执行结果为成功,但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限,导致数据不能被删除。 需要修
为什么在Hive自定义配置中添加OBS快删目录后不生效 问题 在配置MRS多用户访问OBS细粒度权限的场景中,在Hive自定义配置中添加OBS快删目录的配置后,删除Hive表,执行结果为成功,但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限,导致数据不能被删除。需要修改
运行Kafka客户端获取Topic时报错 问题现象 运行Kafka客户端获取Topic时报错,报错内容如下: ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor:
对同一目录创建多个外表,可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”,用户userA对该目录创建外表tableA,用户userB对该目录创建外表tableB,当userB对tableB执行insert操作后,userA将查询tableA失败,出现Permission
设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常? 问题 设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时,数据会被写入HDFS。如果HDFS目录的磁盘空间配额不足,则操作失败并发生以下异常。
数据导入 概述 使用Loader导入数据 典型场景:从SFTP服务器导入数据到HDFS/OBS 典型场景:从SFTP服务器导入数据到HBase 典型场景:从SFTP服务器导入数据到Hive 典型场景:从FTP服务器导入数据到HBase 典型场景:从关系型数据库导入数据到HDFS/OBS
下载并安装HBase客户端。 获取相关配置文件。获取方法如下: 在安装好的HBase客户端目录下找到目录“/opt/clientHbase/HBase/hbase/conf”,在该目录下获取到core-site.xml、hdfs-site.xml、hbase-site.xml配置文件。 获取相关jar包。获取方式如下:
educe作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 Oozie 开启Kerberos认证集群的样例工程目录“oozie-examples/ooziesecurity-examples”。 未开启Kerberos认证集群的样例工程目录为“oozie-exam