检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数："-verbose:gc -XX:+PrintGCDetails
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口
起状态的任务数量和阈值进行比较。当检测到挂起状态的任务数超过阈值时产生该告警。 用户可通过在MRS Manager中的“系统设置 > 阈值配置 > 服务 > Yarn > 队列root正在挂起的任务 > 队列root正在挂起的任务”修改阈值。 当挂起状态任务数小于或等于阈值时，告警清除。
Admin”，单击“Save”保存配置。 说明： Ranger页面的“Settings”选项只有rangeradmin用户有权限访问。用户绑定Hive管理员角色后，在每个维护操作会话中，还需要执行以下操作： 以客户端安装用户，登录安装Hive客户端的节点。 执行以下命令配置环境变量。 例如，H
{"topic":"test_3"}], "version":1 } 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命令，进行用户认证。（普通模式跳过此步骤）
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
6及以后版本，用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。 操作步骤 启动ZooKeeper客户端 以root用户登录安装了ZooKeeper客户端的服务器。 进入客户端安装目录。 cd /opt/client
示例中的IP为WebHCat所在节点的业务IP，端口为安装时设置的WebHCat端口。 示例中的协议类型在普通集群中为“http”,安全集群为“https”。详见MRS Manager管理界面“服务管理 > Hive > 服务配置”中“templeton.protocol.type”配置。 status (GET)
和数据库授权三个场景下的操作。 安全模式支持配置Hive表、列或数据库的权限，普通模式不支持配置Hive表、列或数据库的权限。 MRS 3.x及后续版本支持Ranger，如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Hive的Ranger访问权限策略。
MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性增强。Hue自身主备部署。Hue与HDFS、Oozie、Hive、Yarn等对接时，支持Failover或负载均衡工作模式。 父主题： Hue
配置Flink任务并行度 操作场景 并行度控制任务的数量，影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况，当任务和数据不是平均分布在各节点，而是集中在个别节点时，可以增大并行度使任务和数据更均匀
/ext/ Windows：JDK安装目录\jre\lib\ext\ 安装IntelliJ IDEA和JDK工具，并进行相应的配置。 安装JDK。 安装IntelliJ IDEA工具。 在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA，选择“Configure”。
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。
有的消费者实例都属于同样的消费组，它们就以传统队列负载均衡方式工作。如上图中，Consumer1与Consumer2之间为负载均衡方式；Consumer3、Consumer4、Consumer5与Consumer6之间为负载均衡方式。如果消费者实例都属于不同的消费组，则消息会被广
存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。
efaults.conf配置文件中，在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数："-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
如何修改HDFS的副本数？ 进入HDFS服务配置页面： MRS 1.8.10及之前版本，登录MRS Manager页面，具体请参见访问MRS Manager，然后选择“服务管理 > HDFS > 服务配置”，单击“基础配置”下拉菜单，选择“全部配置”。 MRS 1.8.10之后及2.x
“是否安全版本”选择“是”时存在此参数。 客户端配置文件 集群客户端配置文件，格式为tar。 用户凭据 FusionInsight Manager中用户的认证凭据，格式为tar。 “是否安全版本”选择“是”时存在此参数。 输入访问用户名后才可上传文件。 集群客户端配置文件获取方法： 登录FusionInsight
Yarn > 配置 > 全部配置”，搜索并修改“alarm.resource.lack.enable”参数值为“false”，保存配置。 仅部分队列需要上报告警：登录FusionInsight Manager界面，选择“集群 > 服务 > Yarn > 配置 > 全部配置”，搜索并修改“alarm
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
