检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
trackerDir flume采集文件信息元数据保存路径。 /srv/BigData/hadoop/data1/tracker batchSize Flume一次发送的事件个数（数据条数）。增大会提升性能，降低实时性；反之降低性能，提升实时性。 61200 kafka.topics
trackerDir flume采集文件信息元数据保存路径。 /srv/BigData/hadoop/data1/tracker batchSize Flume一次发送的事件个数（数据条数）。增大会提升性能，降低实时性；反之降低性能，提升实时性。 61200 kafka.topics
据块的局域性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min（或平均查询时间）。
据块的局域性申请executor，因此CarbonData可获得所有节点上的executor。 为了优化并行数据处理及并行读取块数据，运用动态分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min（或平均查询时间）。
Hudi连接器支持元数据缓存，以便更快地提供对各种操作的元数据请求。可参考调整HetuEngine元数据缓存。 动态过滤 开启动态过滤有助于Hudi连接器的Join算子的计算优化。可参考调整HetuEngine动态过滤。 带分区条件查询 建立分区表并且查询带分区过滤条件有助于过滤部分分区数据，从而提高性能。
NodeManager关闭导致Executor(s)未移除 Password cannot be null if SASL is enabled异常 向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访
默认设置为2G时，调整“-Xmx”的值为4G。 建议同时调节“-Xms”的值，使“-Xms”和“-Xmx”比值为1:2，这样可以避免JVM动态调整堆内存大小时影响性能。 MetaServer的GC参数配置建议 当Meta GC时间超出阈值时，将“-Xmx”值调整为默认值的2倍，比
权限，且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限。 配置HetuEngine SQL防御使用约束 防御规则默认动态生效时间为5分钟。 拦截和熔断规则会中断SQL查询，请根据实际业务配置合理的值。 熔断规则由系统Session级别参数控制，配置熔断规则需要业务用户具有set
PLAIN”。单击“保存”。 单击“概览”，选择“更多 > 重启服务”使配置生效。 Kafka客户端配置Sasl Plain认证。 Kafka客户端只需要配置动态jaas.conf并设置相关认证属性即可。详情可参考样例工程com.huawei.bigdata.kafka.example.securi
根据提示输入创建集群时的密码。 其中，“本地端口地址”需要指定一个用户本地环境未被使用的端口，建议选择8157。 创建后的SSH隧道，通过“-D”启用动态端口转发功能。默认情况下，动态端口转发功能将启动一个SOCKS代理进程并侦听用户本地端口，端口的数据将由SSH隧道转发到集群的主管理节点。 执行如下命令配置浏览器代理。
a,b; 命令执行后查看各个分组的数据条数是否相差不大，如果相差超过2/3或1/2，则需要重新选择分桶字段。 2千万以内数据禁止使用动态分区。动态分区会自动创建分区，而小表用户关注不到，会创建出大量不使用的分区分桶。 创建表时，排序键key不能太多，一般建议3~5个；太多key会导致数据写入较慢，影响数据导入性能。
L文件。登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置”，搜索并配置表1中的参数，参数支持动态生效，保存配置后登录hbase shell执行update_all_config即生效。 跳过损坏的文件可能会导致数据丢失，因此如下参数设
策略名称 描述 reserve 预留租户资源。即使租户没有作业，其他租户也不能使用该预留的资源。其值可以是百分比或绝对值。如果两者都配置，调度系统动态计算转换为资源绝对值，并取两者的最大值。缺省的reserve值为0。相对于定义一个专用资源池并指定具体机器的方式，reserve的策略可以
根据提示输入创建集群时的密码。 其中，“本地端口地址”需要指定一个用户本地环境未被使用的端口，建议选择8157。 创建后的SSH隧道，通过“-D”启用动态端口转发功能。默认情况下，动态端口转发功能将启动一个SOCKS代理进程并侦听用户本地端口，端口的数据将由SSH隧道转发到集群的主管理节点。 执行如下命令配置浏览器代理。
Hudi是否应该基于最后24个提交的元数据动态计算insertSplitSize，默认关闭。 true hoodie.copyonwrite.record.size.estimate 平均记录大小。如果指定，Hudi将使用它，并且不会基于最后24个提交的元数据动态地计算。 没有默认值设置。这对
系统”，将“GC_OPTS”参数中“-Xmx”的值参考以下说明进行调大。 HMaster的GC参数配置建议 建议“-Xms”和“-Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 调整“-XX:NewSize”大小的时候，建议把其设置成和“-XX:MaxNewSize”相同，均为“-Xmx”大小的1/8。
HiveServer堆内存使用率统计 (HiveServer)”，可查看“阈值”。 建议同时调节“-Xms”的值，使“-Xms”和“-Xmx”比值为1:2，这样可以避免JVM动态调整堆内存大小时影响性能。 MetaServer的GC参数配置建议 当MetaStore进程使用的堆内存已达到MetaStore进程设定的
规划为一个集合体，这个集合体就是租户。多个不同的租户统称多租户。 多租户功能支持层级式的租户模型，支持动态的添加和删除租户，实现资源的隔离，可以对租户的计算资源和存储资源进行动态配置和管理。 计算资源指租户Yarn任务队列资源，可以修改任务队列的配额，并查看任务队列的使用状态和使用统计。
单击“确定”保存配置。 通过Manager配置队列容量策略 MRS 3.x及之后版本集群： 登录Manager。 选择“租户资源 > 动态资源计划”，单击“资源分布策略”页签。 “集群”参数选择待操作的集群名称，然后在“资源池”选择指定的资源池。 在“资源分配”列表指定队列的“操作”列，单击“修改”。
tion”的值参考以下说明进行调整。 HMaster的GC参数配置建议： 建议“-Xms”和“-Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 调整“-XX:NewSize”大小时，建议把其设置成和“-XX:MaxNewSize”相同，均为“-Xmx”大小的1/8。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
