检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Reduce端再进行分组。可采用Map端聚合的方式来进行Group by优化，开启Map端初步聚合，减少Map的输出数据量。 操作步骤 在Hive客户端进行如下设置： set hive.map.aggr=true; 注意事项 Group By数据倾斜 Group By也同样存在数据倾斜的问题，设置hive
RFA //hbase客户端日志输出配置，console：输出到控制台；RFA：输出到日志文件 hbase.security.logger=DEBUG,console,RFAS //hbase客户端安全相关的日志输出配置，console：输出到控制台；RFAS：输出到日志文件
录下创建子目录“conf”。 将1导出的hive-examples-1.0.jar拷贝到“/opt/hive_examples”下。 将客户端下的配置文件拷贝到“conf”下，开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/op
将storm-examples导入到Eclipse开发环境，请参见导入并配置Storm样例工程。 下载并安装HDFS客户端，参见准备HDFS应用运行环境。 获取相关配置文件。获取方法如下。 在安装好的HDFS客户端目录下找到目录“/opt/client/HDFS/hadoop/etc/hadoop”，在该
NewConsumer - [KafkaConsumerExample], Stopped ....... 原因分析 经分析因为在读取数据时Kafka客户端会比较待读取数据大小和配置项“max.partition.fetch.bytes”值，若超过此配置项值，则抛出上述异常。 解决办法 在初始
瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC的配置：在客户端的“conf/flink-conf.yaml”配置文件中，在“env.java.opts”配置项中添加参数：“-Xloggc:<LOG_DIR>/gc
ClickHouse进程运行异常。 处理步骤 登录FusionInsight Manager页面，选择“运维 > 告警 > 告警”，查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户，登录客户端的节点，执行如下命令： cd {客户端安装路径} source bigdata_env
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。
检查弹性伸缩是否关闭 登录华为云管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查Manager是否有正在运行的任务 登录FusionInsight
检查弹性伸缩是否关闭 登录华为云管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查Manager是否有正在运行的任务 登录FusionInsight
安装补丁前准备 安装补丁前需要手动进行以下相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面，选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是，节点间网络不互通，请联系运维人员修复。
参数配置项均为Topic级别可修改的参数，默认采用服务级配置。 可针对不同Topic可靠性要求对Topic进行单独配置。以root用户登录Kafka客户端节点，在客户端安装目录下配置Topic名称为test的可靠性参数命令： cd Kafka/kafka/bin kafka-topics.sh
其他HiveServer上。 遇到如上情况，需要登录Hive客户端，连接到每个HiveServer，并分别删除永久函数。具体操作如下： 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd客户端安装目录 例如安装目录为“/opt/client”，则执行以下命令：
配置HBase数据压缩格式和编码 创建时设置data block encoding和压缩算法。 方法一：使用hbase shell。 以客户端安装用户，登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果
配置HBase数据压缩格式和编码 创建表时设置data block encoding和压缩算法。 方法一：使用hbase shell。 以客户端安装用户，登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果
使用IE浏览器配置Loader作业时无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 SQLServer全数据类型导入HDFS数据跳过 Loader作业导入大量数据至HDFS时报错 sftp-connector连接器相关作业运行失败 父主题： 使用Loader
安全模式：privacy 普通模式：authentication Web最大并发连接数限制 为了保护Web服务器的可靠性，当访问的用户连接数达到一定数量之后，对新增用户的连接进行限制。防止大量同时登录和访问，导致服务不可用，同时避免DDOS攻击。 参数修改入口：在FusionInsight
检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查是否有正在运行的任务 登录FusionInsight
检查弹性伸缩是否关闭 登录华为云MRS管理控制台界面，选择对应集群，单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否，请跟业务方确认是否可以关闭，如果可以请关闭弹性伸缩，否则请另择时间进行补丁升级。 是，弹性伸缩关闭，检查结束。 检查是否有正在运行的任务 登录FusionInsight
创建FlinkServer作业前准备 访问FlinkServer WebUI界面 创建FlinkServer应用 创建FlinkServer集群连接 创建FlinkServer数据连接 创建FlinkServer流表源 父主题： 使用Flink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
