正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
策略名称:请输入策略名称。 作用范围:请选择“全局级服务”。 策略配置方式:请选择“可视化视图”。 策略内容: “允许”选择“允许”。 “云服务”选择“对象存储服务 (OBS)”。 “操作”勾选所有“写”、“列表”和“只读”权限。 “特定资源”选择: “object”选择“通过资源路径指定”,并单
删除Hive on HBase表中的单行记录 操作场景 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS Hive提供了对HBase表的单条数据的删除功能,通过特定的语法,Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。
选择是否开启“使用外部数据源存储元数据”功能。 开启:使用外置的MySQL数据库存储Ranger组件的User/Group/Policy等数据。 关闭:Ranger组件的User/Group/Policy等数据默认存放在当前集群本地数据库中。 当“使用外部数据源存储元数据”开启时,选择数
操作场景 本章节主要介绍了如何通过spark-shell使用Hudi功能。 使用Spark数据源,通过代码段展示如何插入和更新Hudi的默认存储类型数据集COW表,以及每次写操作之后如何读取快照和增量数据。 前提条件 已下载并安装Hudi客户端,目前Hudi集成在MRS集群的Spa
HDFS常用配置参数 HDFS日志介绍 查看HDFS容量状态 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题: 使用HDFS
HDFS常用配置参数 HDFS日志介绍 查看HDFS容量状态 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题: 使用HDFS
use-column-names 是否按照列名方式访问ORC存储文件: true:是 false(默认值):否 false hive.parquet.use-column-names 是否按照列名方式访问PARQUET存储文件。: true:是 false(默认值):否 false
Conditions”的权限仅限制表权限,不能生成HDFS/OBS存储源端的权限。 级联授权生成的HDFS/OBS存储源端的权限弱于HDFS Ranger策略的权限,即如果已经对表的HDFS存储源设置了HDFS Ranger权限,则级联权限将不会生效。 不支持对存储源为OBS的表级联授权后直接进行alte
管理MRS集群元数据 MRS集群元数据概述 配置Ranger元数据存储至RDS 配置Hive元数据存储至RDS 配置LakeFormation数据连接 管理MRS集群数据连接 父主题: 管理MRS集群
format”一致。 yyyyMMdd file.format.iscompressed 待导入的文件是否为压缩文件。 false storage.type 存储类型。待导入文件最终保存的类型,分别有HDFS、HBase、Hive等。 HDFS schedule-tool工具支持同时配置多个作业。配置多个作业时,表2中“job
在beeline/thriftserver模式下使用非spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表,将存储类型设为Parquet,从而减少执行INSERT...SELECT语句的时间。 建议使用spark-sql或者在beeline/thrif
处理步骤 检查备份目录是否软链接到系统盘。 以root用户登录集群主备Master节点。 执行df -h命令查看磁盘情况,检查系统盘的存储情况。 执行 ll /srv/BigData/LocalBackup命令, 查看备份目录是否软连接到/opt/Bigdata/LocalBackup。
format”一致。 yyyyMMdd file.format.iscompressed 待导入的文件是否为压缩文件。 false storage.type 存储类型。待导入文件最终保存的类型,分别有HDFS、HBase、Hive等。 HDFS schedule-tool工具支持同时配置多个作业。配置多个作业时,表2中“job
构,并没有删除该表存储在HDFS上的表数据。 处理步骤 使用root用户登录安装客户端的节点,并认证用户。 cd 客户端安装目录 source bigdata_env kinit 组件业务用户(未开启Kerberos认证的集群跳过此操作) 执行以下命令删除存储在HDFS上的表。 hadoop
在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表,将存储类型设为Parquet,从而减少执行INSERT...SELECT语句的时间。 建议使用spark-sql或者在Beeline/JDBCS
用户通过修改配置文件,实现定时备份FusionInsight Manager的告警信息、Manager审计信息以及所有服务的审计信息到指定的存储位置。 备份支持使用SFTP协议或FTP协议,FTP协议未加密数据可能存在安全风险,建议使用SFTP。 本章节适用于MRS 3.x及以后版本。
扩容MRS集群节点数据盘 随着业务增长,当集群节点的数据盘存储空间不足时,可以进行数据盘扩容操作。 本文为您介绍通过MRS控制台对数据盘进行扩容的相关操作。 当集群版本为MRS 3.1.0(须安装3.1.0.0.11及以上补丁)、MRS 3.1.5(须安装3.1.5.0.3及以上补丁)、MRS
opengauss drs-opengauss-json Avro Schema Topic Ogg Kafka使用的Schema Topic以JSON格式存储表的Schema。 说明: “Datastore Type”为“ogg”(MRS 3.3.0及之后版本为“ogg-oracle-avro”)显示该参数。
“Recursive”表示递归设置权限到子目录。 “Storage policies”:表示设置目录或文件在HDFS中的存储策略。 “Summary”:表示查看选中的文件或目录的HDFS存储信息。 访问其他目录 单击目录名并输入需要访问的目录完整路径,例如“/mr-history/tmp”并按回车键进入目录。
都需要执行。Clean操作的目的是为了清理旧版本文件(Hudi不再使用的数据文件),这不但可以节省Hudi表List过程的时间,也可以缓解存储压力。 规则 Hudi表必须执行Clean。 对于Hudi的MOR、COW表,都需要开启Clean。 Hudi表在写入数据时会自动判断是否