检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件，分别将log1.txt及log2.txt中的内容复制保存到input_data1.txt和input_data2.txt。 在HDFS上建立一个文件夹“/tmp/input”，并上传input_data1
HBase故障排除 HBase客户端连接服务端时长时间无法连接成功 在HBase连续对同一个表名做删除创建操作时出现创建表异常 HBase占用网络端口，连接数过大会导致其他服务不稳定 有210000个map和10000个reduce的HBase BulkLoad任务运行失败 使用
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时，句柄数限制导出，出现如下错误： IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
注册时跳过读取_ro后缀的读优化视图 N false --use-file-listing-from-metadata 从Hudi的元数据中获取文件列表 N false --verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h
properties路径。右键clickhouse-example.properties文件，单击“Copy Path/Reference > Absolute Path”。 图1 复制配置文件绝对路径 使用clickhouse-example.properties路径替换ClickHouseFunc
xxx at runtime” 提交Hive任务时如何指定队列？ 怎么通过客户端设置Map/Reduce内存？ 如何在导入Hive表时指定输出的文件压缩格式？ Hive表desc描述过长导致无法完整显示 Hive表中增加分区列后再插入数据显示为NULL 集群中创建的新用户执行查询Hive操作时无权限
否，执行3。 判断是否有误写入的大文件。 执行命令find / -xdev -size +500M -exec ls -l {} \;，查看该节点上超过500MB的文件，查看该磁盘中，是否有误写入的大文件存在。 是，执行3.b。 否，执行4。 处理该误写入的文件，并等待2分钟，查看告警是否清除。
共享，再重新开启指标共享功能。 图1 开启集群指标共享 重新打开弹性伸缩 升级完补丁后需要重新打开弹性伸缩，操作如下： 登录华为云管理控制台，在“现有集群”列表中选择对应集群，单击“弹性伸缩”。 开启安装前关闭的弹性策略。 父主题： MRS 3.3.0-LTS.1.1补丁说明
job信息中“numActiveTasks”的值是根据eventlog文件中SparkListenerTaskStart和SparkListenerTaskEnd事件的个数的差值计算得到的。如果eventLog文件中有事件丢失，就可能出现上面的现象。 父主题： Spark2x常见问题
hadoop.hbase.ipc.controller.ServerRpcControllerFactory的解决办法 检查应用开发工程的配置文件hbase-site.xml中是否包含配置项hbase.rpc.controllerfactory.class。 <name>hbase.rpc
运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理 检查应用开发工程的配置文件hbase-site.xml中是否包含配置项hbase.rpc.controllerfactory.class。 <name>hbase.rpc.controllerfactory
job信息中“numActiveTasks”的值是根据eventlog文件中SparkListenerTaskStart和SparkListenerTaskEnd事件的个数的差值计算得到的。如果eventLog文件中有事件丢失，就可能出现上面的现象。 父主题： Spark故障排除
设置HDFS目录的读和执行权限。 选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ > user”，在“hive”的“权限”列，勾选“读”和“执行”。 选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ > user
Create Group has finished. Put file is running... Put file has finished. Delete file is running... Delete file has finished. Delete Group is running
中，test@<系统域名>、user.keytab和krb5.conf为示例，实际操作时需要已将相应账号对应权限的keytab文件和krb5.conf文件放入到“conf”目录，安全登录方法如下代码所示。 public static final String PRINCIPAL=
瓶颈，需考虑如下几点： table的Region数初始设置是否合适。 是否存在无用数据。 若存在无用数据，可删除对应数据以减小HBase存储文件数量，若以上情况都不满足，则需考虑扩容。 父主题： HBase故障排除
60 数据规划 DataStream样例工程的数据存储在文本中。 将log1.txt和log2.txt文件放置在用户开发程序的某路径下，例如"/opt/log1.txt"和"/opt/log2.txt"。 开发思路 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 主要分为四个部分：
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时，句柄数限制导出，出现如下错误： IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员
响。 表中part个数也决定了轻量化删除的性能，part越多，删除越慢。 Wide part格式文件删除会更快，Compact格式文件删除性能会更慢一些，因为所有列数据都存储在一个文件中。 父主题： ClickHouse常用SQL语法
在相同包不同版本的情况，尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件：通过开源镜像站获取样例工程。 打印依赖树方式： 在pom.xml文件同目录下执行命令：mvn dependency:tree 父主题： Spark应用开发常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
