检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例 > NodeManager（对应上报告警实例主机名）”，单击图表区域右上角的下拉菜单，选择“定制 > 资源”，勾选“NodeManager内存使用率”。查看非堆内存使用情况。 图1 定制NodeManager内存使用率
子，避免出现groupByKey().map(x=>(x._1,x._2.size))这类实现方式。 广播map代替数组 当每条记录需要查表，如果是Driver端用广播方式传递的数据，数据结构优先采用set/map而不是Iterator，因为Set/Map的查询速率接近O(1)，而Iterator是O(n)。
方法一：申请一台windows的ECS访问MRS集群操作Impala。在安装开发环境后可直接运行样例代码。申请ECS访问MRS集群的步骤如下。 在“现有集群”列表中，单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”，以及Master节点的“默认安全组”。 在弹性云服务管理控制台，创建一个新的弹性云服务器。
= ConnectionFactory.createConnection(hbaseConfig); // 获取HBase表 Table table = conn.getTable(TableName.valueOf(tableName));
Manager首页，选择“集群 > 服务 > Spark2x > 实例”，单击上报告警的JDBCServer2x，进入实例“概览”页面，单击图表区域右上角的下拉菜单，选择“定制 > JDBCServer2x的Full GC次数”，单击“确定”，查看JDBCServer进程的Full GC次数是否大于阈值（默认12）。
“配置”，查看该计算实例的资源配置是否合理（默认资源配置为最小化配置，可以根据实际需求调节）。 是，执行8。 否，执行5。 返回计算实例列表，单击“停止实例”，根据界面提示停止计算实例。 停止计算实例会影响提交到该计算实例上的业务。 单击“配置”，根据实际情况增加计算实例的资源配
个数分组，每个分组会单独创建一个文件记录日志，从而避免应用长期运行时形成单个过大日志造成JobHistory无法读取的问题，设置为“0”时表示不分组。 大部分Spark Streaming任务属于小型job，而且产生速度较快，会导致频繁的分组，产生大量日志小文件消耗磁盘I/O。建
子，避免出现groupByKey().map(x=>(x._1,x._2.size))这类实现方式。 广播map代替数组 当每条记录需要查表，如果是Driver端用广播方式传递的数据，数据结构优先采用set/map而不是Iterator，因为Set/Map的查询速率接近O(1)，而Iterator是O(n)。
Manager，单击“集群 > 服务 > Yarn > 配置”，单击“全部配置”，单击“NodeManager > 系统”，在“GC_OPTS”参数中修改配置。 表1 参数说明 参数 描述 默认值 GC_OPTS Yarn NodeManager的GC参数。 128M 父主题： Spark Core
= ConnectionFactory.createConnection(hbaseConfig); // 获取HBase表 Table table = conn.getTable(TableName.valueOf(tableName));
html。 启用Kerberos认证的集群使用Presto查询Hive Catalog的数据时，运行Presto客户端的用户需要有Hive表的访问权限，并且需要在Hive beeline中执行命令grant all on table [table_name] to group hive;，给Hive组赋权限。
等待5分钟，查看告警是否自动清除。 是，操作结束。 否，执行10。 检查是否Broker的分区分布不均匀，存在热点。 选择“集群 > 服务 > Kafka > 图表”在分类中选择“分区”，单击“Partition数目-所有实例”右上角的放大图标，选择“分布图”，查看Broker上分区分布是否均衡。 图1
*max_write_buffer_number）。 是：在Flink WebUI的作业开发界面，调整如下自定义参数的值并保存后执行8。 表1 调整自定义参数 参数名称 默认值 说明 state.backend.rocksdb.writebuffer.count 2 4：开启SP
hard-pending-compaction-bytes-limit”的值）。 是：在Flink WebUI的作业开发界面，调整如下自定义参数的值并保存后执行8。 表1 调整自定义参数 参数名称 默认值 说明 state.backend.rocksdb.soft-pending-compaction-bytes-limit
单击服务视图中指定的服务名称，并选择“实例”页签。 单击需要查看配置的实例名称，在概览页面的“配置文件”区域内，系统会显示该实例相关的配置文件列表。 图1 查看实例配置文件 单击要查看的配置文件的名称，可查看配置文件内具体的配置参数值内容。 如需获取该配置文件，可单击“下载至本地”按钮，将该配置文件内容下载到本地PC。
计算节点，尽可能的降低使用成本。 平衡突发查询 大数据集群上，由于有大量的数据，企业会经常面临临时的分析任务，例如支撑企业决策的临时数据报表等，都会导致对于资源的消耗在极短时间内剧增。MRS提供的弹性伸缩能力，可以在突发大数据分析时，及时补充计算节点，避免因为计算能力不足，导致业
的检查策略：在提交的MapReduce任务中，允许的最大输入文件数和HiveServer最大堆内存的比值，例如500000/4（默认值），表示每4GB堆内存最大允许500000个输入文件。在输入的文件数超出此限制时则会发生此错误。 解决办法 进入Hive服务配置页面： MRS 3
使用Spark执行Hudi样例程序（Python） 使用python写Hudi表 下面代码片段仅为演示，具体代码参见：sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据： #insert
multiplier，默认值2），如果大于线程数的指定倍数，可增加RocksDB线程数。 是：在Flink WebUI的作业开发界面，调整如下自定义参数的值并保存后执行8。 表1 调整自定义参数 参数名称 默认值 说明 state.backend.rocksdb.thread.num 2 4：开启SPINNING_
multiplier，默认值2），如果大于线程数的指定倍数，可增加RocksDB线程数。 是：在Flink WebUI的作业开发界面，调整如下自定义参数的值并保存后执行8。 表1 调整自定义参数 参数名称 默认值 说明 state.backend.rocksdb.thread.num 2 4：开启SPINNING_
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
