检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
withRecordFormat(format) .withRotationPolicy(rotationPolicy) .withSyncPolicy(syncPolicy); //Spout生成随机语句
否则会导致连接生成的临时文件无法删除,长期会累积产生大量的垃圾文件。 在使用beeline客户端时,如果需要在一行中输入多条语句,语句之间以“;”分隔,需要将“entireLineAsCommand”的值设置为“false”。
使用客户端根目录中的“ca.crt”证书文件生成客户端的“truststore”。
cd/opt/client/HDFS/hadoop/hdfs-c-example sourcecomponent_env_C_example 清除之前运行生成的目标文件和可执行文件,运行如下命令。
使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。
使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。
登录OBS控制台,在已创建的文件系统的“文件”页面,将本地的原始数据分别上传至生成的“employees_info”、“employees_contact”文件夹下。
cd/opt/client/HDFS/hadoop/hdfs-c-example sourcecomponent_env_C_example 清除之前运行生成的目标文件和可执行文件,运行如下命令。
cd/opt/client/HDFS/hadoop/hdfs-c-example sourcecomponent_env_C_example 清除之前运行生成的目标文件和可执行文件,运行如下命令。
编译完成,打印“Build Success”,生成target目录。
勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。支持自定义其他目录且omm用户拥有目录的读、写与执行权限。
图4 编译完成 将3中生成的Jar包(如FlinkStreamJavaExample.jar复制到Flink客户端节点相关目录下,例如“/opt/hadoopclient”。
勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。
cd/opt/client/HDFS/hadoop/hdfs-c-example sourcecomponent_env_C_example 清除之前运行生成的目标文件和可执行文件,运行如下命令。
执行select、show和desc语句时才会生成id,其他操作id为空。 取值范围: 不涉及 message String 参数解释: 错误信息。 取值范围: 不涉及 statement String 参数解释: 执行的SQL语句。
说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”,则实际只能保存约500/2=250MB大小的文件。
如何调优 每次CarbonData加载创建一个segment,如果每次加载的数据量较小,将在一段时间内生成许多小文件,影响查询性能。配置该参数将小的segment合并为一个大的segment,然后对数据进行排序,可提高查询性能。 压缩的策略根据实际的数据大小和可用资源决定。
解决Hudi使用Spark生成批补表的数据时,表目录被删除的问题。 解决Hudi表大小写生成的namespace不一致,导致update失败的问题。 Hudi新增call command清理无效元数据文件。
通过修改AggregatedLogDeletionService模块,获取归档日志中最新的日志生成时间,若所有日志文件均满足清理条件,则清理该归档日志包。
LDAP用户pg_search_dn的密码为系统随机生成,具体可在主节点的“/etc/sssd/sssd.conf”或“/etc/ldap.conf”文件中获取。