检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由用户定义的分片大小的设置及每个文件block大小的设置，可以计算分片的大小。
保存后解压得到用户的user.keytab文件与krb5.conf文件。用于在样例工程中进行安全认证。 图5 下载认证凭据 参考信息 如果修改了组件的配置参数，需重新下载客户端配置文件并更新运行调测环境上的客户端。 父主题： 准备Hive应用开发环境
操作步骤 在运行调测环境上创建一个目录作为运行目录，如“/opt/impala_examples”，并在该目录下创建子目录“conf”，将样例代码文件夹impala-examples-normal中的client.properties上传到linux系统上的样例代码文件夹中的/opt
cleanData执行失败会产生临时文件，该命令可以清理这些临时文件： call clean_data(table => 'mytable', sql=>'delete cleanData') 系统响应 可在客户端中查看查询结果。
krb5.conf文件放入到“conf”目录，安全登录方法如下代码所示。
若存在无用数据，可删除对应数据以减小HBase存储文件数量，若以上情况都不满足，则需考虑扩容。 父主题： HBase故障排除
将log1.txt和log2.txt文件放置在用户开发程序的某路径下，例如"/opt/log1.txt"和"/opt/log2.txt"。 开发思路 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时，句柄数限制导出，出现如下错误： IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。
Wide part格式文件删除会更快，Compact格式文件删除性能会更慢一些，因为所有列数据都存储在一个文件中。 父主题： ClickHouse常用SQL语法
如果集群启用了安全服务，需要从管理员处获取一个“人机”用户，用于认证，并且获取到该用户的keytab文件。将获取到的文件拷贝到示例工程的 src/main/resources目录。 获取的用户需要同时属于storm组和kafka组。
在MapReduce服务中，JobhistoryServer会定时去清理HDFS上存储的旧的日志文件（默认目录为HDFS文件系统中的“/mr-history/done”），具体清理的时间间隔参数配置为mapreduce.jobhistory.max-age-ms，默认值为1296000000
在MapReduce服务中，JobhistoryServer会定时去清理HDFS上存储的旧的日志文件（默认目录为HDFS文件系统中的“/mr-history/done”），具体清理的时间间隔参数配置为mapreduce.jobhistory.max-age-ms，默认值为1296000000
使用Hash Shuffle时，通过设置spark.shuffle.consolidateFiles为true，来合并shuffle中间文件，减少shuffle文件的数量，减少文件IO操作以提升性能。最终文件数为reduce tasks数目。
最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名 描述 运行日志 access.log 访问日志。 error.log 错误日志。 gsdb_check.log gaussDB检查日志。
可以参考MRS样例工程自带的pom.xml文件：通过开源镜像站获取样例工程。 打印依赖树方式： 在pom.xml文件同目录下执行命令：mvn dependency:tree 父主题： Spark应用开发常见问题
图7 Open or Import（Quick Start页面） 选择样例工程文件夹“iotdb-examples”下的“iotdb-jdbc-example”的pom.xml文件，然后单击“OK”。
可以参考MRS样例工程自带的pom.xml文件：获取MRS应用开发样例工程。 打印依赖树方式： 在pom.xml文件同目录下执行命令：mvn dependency:tree 父主题： Spark应用开发常见问题
INFO ERROR WARN INFO DEBUG HANDLER_LOGFILE_MAXBACKUPINDEX 表示Hue日志文件最大个数。 20 1～999 HANDLER_LOGFILE_SIZE 表示Hue日志文件最大大小。
对于写入失败的数据，一定要做一些安全的处理，例如可以考虑将这些失败的数据，暂时写在文件中，或者，直接缓存在内存中。
客户端将metric信息输出到指定文件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
