检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
授权后会增加表对应所有文件的HDFS ACL权限。 数据库授权 用户在Hive和HDFS中对自己创建的数据库拥有完整权限，用户访问别人创建的数据库，需要授予权限。授予权限时只需要授予Hive元数据权限，HDFS文件权限将自动关联。以授予用户对应角色在数据库“hdb”中查询和创建表
limit配置来设置最小文件大小。用户可以将该配置设置为“0”，以强制新数据写入新的文件组，或设置为更高的值以确保新数据被“填充”到现有小的文件组中，直到达到指定大小为止，但其会增加摄取延迟。 为能够支持快速摄取的同时不影响查询性能，引入了Clustering服务来重写数据以优化Hudi数据湖文件的布局。
Hudi新增call command清理无效元数据文件。 解决Hudi DELETE_EMPTY_INSTANT功能在异常场景导致有数据的instant被删掉的问题。 解决Flink append mode丢失数据问题。 历史数据默认保存30天超期后未清理的问题。 解决调整时区
如何使用PySpark连接MRS Spark？ HBase同步数据到CSS为什么没有映射字段？ MRS集群是否支持对接外部KDC？ 开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理？ MRS导出数据到OBS加密桶失败如何处理？ MRS服务如何对接云日志服务？ MRS集群的节点如何安装主机安全服务？
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题： 使用Hive
Core节点在缩容的时候，会对原节点上的数据进行迁移。业务上如果对数据位置做了缓存，客户端自动刷新位置信息可能会影响时延。缩容节点可能会影响部分HBase on HDFS数据的第一次访问响应时长，可以重启HBase或者对相关的表执行Disable/Enable操作来避免。 Task节点本身不存储集群数据，属于计算节点，不存在节点数据迁移的问题。
Base备份功能的数据增量同步到备集群中。数据同步完成后，备集群可以作为主集群使用。 参数配置 参数 描述 默认值 hbase.replication.bulkload.enabled 是否开启批量加载数据复制功能。参数值类型为Boolean。开启批量加载数据复制功能后该参数须在主集群中设置为“true”。
配置Windows通过EIP访问集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。
Base备份功能的数据增量同步到备集群中。数据同步完成后，备集群可以作为主集群使用。 参数配置 参数 描述 默认值 hbase.replication.bulkload.enabled 是否开启批量加载数据复制功能。参数值类型为Boolean。开启批量加载数据复制功能后该参数须在主集群中设置为true。
fka 操作场景 该章节通过指导用户配置集群绑定EIP，并配置Kafka文件的方法，方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP，并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合（注意如果主机名中出现大写字母要改成小写）。
fig”，手动将配置文件导入到HDFS样例工程的配置文件目录中（通常为“conf”文件夹）。 准备MRS应用开发用户时获取的keytab文件也放置于该目录下。 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要复制解压目录下的“hosts”文件中的内容到客户端所在
ht_Cluster_1_Services_ClientConfig\Storm\config”，获取相关配置文件。 主要配置文件说明如表2所示。 表2 配置文件 文件名称 作用 storm.yaml 配置Storm集群信息。 user.keytab 对于Kerberos安全认证提供用户信息。
可能原因 DBservice没有初始化好Hive的元数据库hivemeta。 DBservice的浮动IP配置有误，导致metastore节点IP无法正确连接浮动IP，或者是在与该ip建立互信的时候失败导致metastore启动失败。 处理步骤1 执行以下命令： source /opt
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻集群元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，冻结的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表中，这一过程称为分区数据解冻。
约束限制： 不涉及 取值范围： 只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及 cluster_id 是 String 参数解释： 集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。 约束限制： 不涉及 取值范围：
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题： 使用Hive
CLI介绍 Flink应用性能调优建议 Savepoints相关问题解决方案 如何处理checkpoint设置RocksDBStateBackend方式，且当数据量大时，执行checkpoint会很慢的问题？ 如何处理blob.storage.directory配置/home目录时，启动yarn-session失败的问题？
ESTRICT，对列的修改，仅对表的元数据产生作用。 列修改命令只能修改表/分区的元数据，而不会修改数据本身。用户应确保表/分区的实际数据布局符合元数据定义。 不支持更改表的分区列/桶列，也不支持更改ORC表。 修改表或分区的存储位置。 ALTER TABLE table_name
找相应日志来定位处理。 如果任务失败，选择“重试卸载”，只有当“状态”显示为“可用”时，才能进入下一步操作。 卸载失败或者重试后仍然失败，不能直接再点安装，请联系运维人员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后，需要手动重启相关大数据组件服务，使补丁生效。
files”，说明该节点文件句柄不足，导致打开文件句柄失败，然后就会重试往其他DataNode节点写数据，最终表现为写文件很慢或者写文件失败。 解决办法 执行ulimit -a命令查看有问题节点文件句柄数最多设置是多少，如果很小，建议修改成640000。 图1 查看文件句柄数 执行vi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
