检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节内容仅适用于MRS 3.2.0及之后版本。 Schema演进支持范围 Schema演进支持范围： 支持列（包括嵌套列）相关的增、删、改、位置调整等操作。 不支持对分区列做演进。 不支持对Array类型的嵌套列进行增、删、列操作。 表1 引擎支持矩阵 引擎 DDL操作Schema
归档的日志文件总大小/归档文件大小。 配置描述 进入Mapreduce服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称，修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。
归档的日志文件总大小/归档文件大小。 配置描述 进入Mapreduce服务参数“全部配置”界面，具体操作请参考修改集群服务配置参数章节。 在搜索框中输入参数名称，修改并保存配置。然后在Mapreduce服务“概览”页面选择“更多 > 同步配置”。同步完成后重启Mapreduce服务。
下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程： 表1 HDFS相关样例工程 样例工程位置 描述 hdfs-example-security HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加
下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程： 表1 HDFS相关样例工程 样例工程位置 描述 hdfs-example-normal HDFS文件操作的Java示例程序。 本工程主要给出了创建HDFS文件夹、写文件、追加文件
> 服务配置”。 将“基础配置”切换为“全部配置”。 搜索并配置如下参数。 “fs.obs.access.key”配置为获取AK/SK和Endpoint信息准备的AK。 “fs.obs.secret.key”配置为获取AK/SK和Endpoint信息准备的SK。 保存配置并重启Hive服务。
不同的节点组一般选用不同的云服务器规格。 根据节点上部署的组件角色的不同，集群内的节点类型可分为Master节点、Core节点、Task节点。 表1 集群节点分类 节点类型 功能 Master节点 MRS集群管理节点，节点上部署OMSServer负责管理和监控集群。 在MRS集群
本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程： 表1 Spark2x相关样例工程 样例工程位置 描述 sparknormal-examples/SparkHbasetoCarbonJavaExample Spark同步HBase数据
本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程： 表1 Spark2x相关样例工程 样例工程位置 描述 sparksecurity-examples/SparkHbasetoCarbonJavaExample Spark同步HBase
LdapServer主备倒换 次要 27000 DBService DBServer主备倒换 次要 38003 Kafka Topic数据保存周期配置调整 提示 43014 Spark Spark 数据倾斜 提示 43015 Spark Spark SQL 超大查询结果 提示 43016
用户加密 配置跨Manager互信，当前Kerberos服务端仅支持并使用“aes256-cts-hmac-sha1-96:normal”和“aes128-cts-hmac-sha1-96:normal”加密类型加密跨域使用的用户，不支持修改。 用户认证 配置跨Manager
修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码 父主题： MRS集群安全配置
6及以后版本，用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。 操作步骤 启动ZooKeeper客户端 以root用户登录安装了ZooKeeper客户端的服务器。 进入客户端安装目录。 cd /opt/client
的一种事务编号，是一个长64位的数字。高32位用来表示当前Leader的周期，低32位用来表示当前请求产生的事务在当前Leader周期内的位置。每产生一个新的事务，zxid的低32位就会自动加1。当zxid达到最大值，即zxid的低32位达到0xffffffff，就会触发集群强制
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀
Manager。选择“集群 > 服务 > Yarn”。 单击“配置”，选择“全部配置”。然后在搜索框中搜索yarn.nodemanager.resource.memory-mb，查看该参数值。建议配置成节点物理内存总量的75%-90%。 修改Spark的服务配置。 MRS Manager界面操作： 登录MRS
hema和数据复制到新数据库位置。 对于旧版本仓库，源集群和目的集群的时区应该相同。 新的数据库和旧数据库的名字应该相同。 执行命令前，旧表的表结构定义schema和数据应该复制到新的数据库位置。 如果表是聚合表，则应将所有聚合表复制到新的数据库位置。 如果旧集群使用HIVE元数
查看已安装的MRS集群客户端 FusionInsight Manager支持统一管理集群的客户端安装信息，用户下载并安装客户端后，界面可自动记录已安装（注册）客户端的信息，方便查询管理。 同时系统支持手动添加、修改未自动注册的客户端信息（如历史版本已安装的客户端）。 本章节仅适用于MRS
HyperLogLog（hll）是一种统计基数的算法。它实际上不会存储每个元素出现的次数，它使用的是概率算法，通过存储元素的32位hash值的第一个1的位置，来计算元素数量。通常分为稀疏存储结构和密集存储结构两种。hll创建时是稀疏存储结构，当需要更高效处理时会转为密集型数据结构。P4Hype
用户绑定Hive管理员角色后，在每个维护操作会话中，还需要执行以下操作： 请根据客户端所在位置，参考安装客户端章节，登录安装客户端的节点。 执行以下命令配置环境变量。 例如，Hive客户端安装目录为“/opt/hiveclient”，执行source /opt/hiveclient/bigdata_env
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
