检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 使用命令lsof |grep deleted可以查询到此目录下有大量log文件处于deleted状态。 出现此问题的一种情况是长时间运行某些Spark任务，任务中的一些Container一直运行，并且持续产生日志；Spark的executor在打印日志的时候使用了log
PU核，而只有64GB的内存，这个内存是不够的。例如，当每个执行器有4个内核和12GB内存，有时在查询期间发生垃圾收集（GC），会导致查询时间从3秒增加到超过15秒。在这种情况下需要增加内存或减少CPU内核。 用于CarbonData数据加载的配置参数，详情请参见表3、表4和表5。
disallow”参数项，值为“false”允许Hive执行transform函数，存在安全风险，请谨慎操作。 不允执行reflect、reflect2、java_method和in_file函数。如果业务需要，可在HiveServer自定义参数中新增“hive.server2.builtin.udf
Flume支持定制脚本，支持在传输前或者传输后执行指定的脚本，用于执行准备工作。 本章节适用于MRS 3.x及之后版本。 未安装Flume客户端 获取软件包。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面，在右上角选择“更多
Manager，选择“集群 > 服务 > ZooKeeper”，在“配置”页签查看“clientPort”的值。默认为24002。 从6和7回显中获取分区的分布信息和节点信息，在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例，迁移到“/srv
配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQL保存到缓存中，再次执行这条SQL时会直接从缓存中获取改写后的SQL，而不是重新对SQL进行改写，提高查询效率 配置HetuEngine物化视图缓存能力 配置物化视图有效期与数据刷新 设置物化
请谨慎使用，具体请参考MRS集群客户端如何通过AK/SK信息对接OBS。 MRS通过集群内的Guardian组件对接OBS，为其他组件提供获取访问OBS的临时认证凭据、细粒度权限控制的能力，操作流程请参见基于Guardian服务的存算分离配置流程，详细操作配置请参考配置Guardian服务对接OBS。
PU核，而只有64GB的内存，这个内存是不够的。例如，当每个执行器有4个内核和12GB内存，有时在查询期间发生垃圾收集（GC），会导致查询时间从3秒增加到超过15秒。在这种情况下需要增加内存或减少CPU内核。 用于CarbonData数据加载的配置参数，详情请参见表3、表4和表5。
createDefault()) { HttpPost httpPost = new HttpPost(QUERY_URL);// 请求需要设置超时时间 addTimeout(httpPost); String queryRequest = genQueryReq();
P。扩容前，新增加的IP需要配置为受信任的IP。 前提条件 根据安装规划，收集集群内全部节点的管理平面IP、业务平面IP和所有浮动IP。 获取集群内节点的root用户和密码。 配置受信任IP地址访问LDAP 配置OMS LDAP信任的IP地址 登录FusionInsight Manager。
er服务。 多主实例模式相比主备模式的HA方案，优势主要体现在对以下两种场景的改进。 主备模式下，当发生主备切换时，会存在一段时间内服务不可用，该段时间JDBCServer无法控制，取决于Yarn服务的资源情况。 Spark中通过类似于HiveServer2的Thrift JDB
在迁移作业的“操作”列选择“更多 > 配置定时任务”。 开启定时执行功能，根据具体业务需求设置重复周期，并设置有效期的结束时间为所有业务割接到新集群之后的时间。 图5 配置定时任务 父主题： 数据迁移
配置”，选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数，实际参数以Manager页面为准，参数详情请参见官网https://docs.cloudera.com/documentation/enterprise/6/properties/6.3/topic
忽略黑名单节点的阈值。建议根据集群规模，适当增大该参数的值，如3个节点的集群， 建议增大到50%。 Superior调度器的框架设计是基于时间的异步调度，当NodeManager故障后，ResourceManager无法快速的感知到NodeManager已经出了问题(默认10mi
产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 资源组排队超过阈值可能导致大量任务处于排队状态，Presto任务时间超过预期，当资源组排队数超过该组最大排队数（maxQueued）时，会导致新的任务无法执行。 可能原因 资源组配置不合理或该资源组下提交的任务过多。
信息。当Active ResourceManager产生故障时，Standby ResourceManager会从Statestore目录获取Application相关信息，恢复数据。 Yarn和Tez的关系 Hive on Tez作业信息需要Yarn提供TimeLine Ser
主机所处的机架，NameNode才能绘出DataNode的网络拓扑图，并尽可能将DataNode的数据备份在不同机架中。同理，YARN需要获取机架信息，在可允许的范围内将任务分配给不同的NodeManager执行。 当集群网络拓扑发生变化时，需要使用FusionInsight M
实例所属租户，新建计算实例只能选择无计算实例的租户。 在“所属租户”下拉列表中选取。 实例部署超时时间(秒) 通过Yarn Service部署启动计算实例的超时时间。从启动计算实例开始计时，当超过该时间后，如果计算实例仍在“创建中”或“启动中”，则该计算实例状态会显示为“错误”，同时会停止Yarn上正在创建或启动中的计算实例。
忽略黑名单节点的阈值。建议根据集群规模，适当增大该参数的值，如3个节点的集群， 建议增大到50%。 Superior调度器的框架设计是基于时间的异步调度，当NodeManager故障后，ResourceManager无法快速的感知到NodeManager已经出了问题(默认10mi
emory(Used|Total)”。 在“Brokers Metrics”处可查看Broker节点数据流量的jmx指标，包括在不同时段的时间窗口内，Broker节点平均每秒流入消息条数， 每秒流入消息字节数， 每秒流出消息字节数，每秒失败的请求数，每秒总的请求数和每秒生产的请求数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
