检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gdata/audit/bk/”,保存的文件名格式为<yyyy-MM-dd_HH-mm-ss>.tar.gz。默认情况下,保存的文件个数为7份(即7天的日志),超过7份文件时会自动删除7天前的文件。 管理审计日志每次导出到OBS的数据范围是从最近一次成功导出到OBS的日期至本次执
的元数据信息,每一类元数据信息(如文件元数据信息和文件夹元数据信息)分别保存在一个section块里,这些section块在启动时是串行加载的。当HDFS上存储了大量的文件和文件夹时,这两个section的加载就会非常耗时,影响HDFS文件系统的启动时间。HDFS NameNod
ClickHouse日志启动了自动压缩归档功能,缺省情况下,当日志大小超过100MB的时(此日志文件大小可进行配置),会自动压缩。 压缩后的日志文件名规则为:“<原有日志名>.[编号].gz”。 默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 父主题: ClickHouse数据库运维
properties、log4j-session.properties文件中对应的日志级别配置项。 通过客户端提交作业时会在客户端log文件夹中生成相应日志文件,由于系统默认umask值是0022,所以日志默认权限为644;如果需要修改文件权限,需要修改umask值;例如修改omm用户umask值:
同步策略,每1000个tuple对文件系统进行一次同步 // HdfsBolt必选参数 SyncPolicy syncPolicy = new CountSyncPolicy(1000); // 文件大小循环策略,当文件大小到达5M时,从头开始写
“LocalDir”:表示将备份文件保存在主管理节点的本地磁盘上,备管理节点将自动同步备份文件。 默认保存目录为“数据存放路径/LocalBackup/”,例如“/srv/BigData/LocalBackup”。 选择此参数值,还需要配置“最大备份数”,表示备份目录中可保留的备份文件集数量。 “L
File or Project”对话框。 在弹出窗口选择文件夹“hive-rest-client-example”,单击“OK”,Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File
Text, Text, IntWritable> { /** * map的输入,key为原文件位置偏移量,value为原文件的一行字符数据。 * 其map的输入key,value为文件分割方法InputFormat提供,用户不设置,默认 * 使用TextInputFormat。
on 其他任务样例中已包含HDFS任务样例。 样例目录下需关注文件如表2所示。 表2 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 lib 工作流运行依赖的jar包目录。 coordinator
下载认证凭据”下载认证凭据文件,保存后解压得到用户的“user.keytab”文件与“krb5.conf”文件。Keytab文件用于在样例工程中进行安全认证,具体使用请参考各服务的开发指南指导。 如果用户类型是人机,需要先修改初始密码后再下载认证凭据文件,否则在使用时会提示“Password
使用对应的easy_install命令,依次安装dependency_python3.x文件夹下的egg文件。如: /usr/local/bin/easy_install future-0.18.2-py3.8.egg 输出以下关键内容表示安装egg文件成功。 Finished processing dependencies
使用对应的easy_install命令,依次安装dependency_python3.x文件夹下的egg文件。如: /usr/local/bin/easy_install future-0.18.2-py3.8.egg 输出以下关键内容表示安装egg文件成功。 Finished processing dependencies
Refresh Thread发现当前时间已经超过Credential文件更新时间(即token renew周期 *0.8)时,会等待1分钟再去HDFS上面获取最新的Credential文件,以确保AM端已经将更新后的Credential文件放到HDFS上。 当“dfs.namenode.delegation
自定义设置的密码值。 “path”目录是用来存放SSL keystore、truststore相关配置文件,该目录是由用户自定义创建。相对路径和绝对路径的不同导致执行命令存在差异,详细说明如下。 配置keystore或truststore文件路径为相对路径时,Flink Clie
“flume_sChat.jks”是Flume角色服务端的证书库,“flume_sChat.crt”是“flume_sChat.jks”证书的导出文件,“-f”配置项是证书和证书库的密码; “flume_cChat.jks”是Flume角色客户端的证书库,“flume_cChat.crt”是“flume_cChat
sh*工具生成的truststore文件名称。 security.ssl.truststore-password - truststore的password,表示需要用户输入自定义设置的密码值。 “path”目录是用来存放SSL keystore、truststore相关配置文件,该目录是由用户自定义创
数如表2所示。在Spark客户端的配置文件“spark-defaults.conf”中进行配置。Driver、Executor、AM进程的日志级别在对应的JVM参数中的“-Dlog4j.configuration”参数指定的log4j配置文件中设置。 表2 进程的JVM参数1 参数
xml,core-site.xml文件拷贝到“/opt/test”中“conf”目录下。 将准备HBase应用开发用户中获取的krb5.conf和user.keytab文件拷贝上传至“/opt/test/conf”目录中,并新建hbaseclient.properties文件,文件中user.na
数如表2所示。在Spark客户端的配置文件“spark-defaults.conf”中进行配置。Driver、Executor、AM进程的日志级别在对应的JVM参数中的“-Dlog4j.configuration”参数指定的log4j配置文件中设置。 表2 进程的JVM参数1 参数
er.keytab和krb5.conf为示例,实际操作时请联系管理员获取相应账号对应权限的keytab文件和krb5.conf文件,并将keytab文件和krb5.conf文件放入到“conf”目录,安全登录方法如下代码所示。 public static final String