检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
围为1~8589934592。 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额,实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。
行组织,属于同一列的数据会被保存在一起,列与列之间也会由不同的文件分别保存。 在执行数据查询时,列式存储可以减少数据扫描范围和数据传输时的大小,提高了数据查询的效率。 例如在传统的行式数据库系统中,数据按如下表1顺序存储: 表1 行式数据库 row ID Flag Name Event
效期等需根据客户的安全要求进行配置。 对密码的维护建议如下: 专人保管操作系统密码。 密码需要满足一定的强度要求,例如密码最少字符数、混合大小写等。 密码传递时注意加密,尽量避免通过邮件传递密码。 密码需要加密存储。 系统移交时提醒企业用户更改密码。 定期修改密码。 日志维护建议
重启备ResourceManager实例,服务业务不受影响。 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下: 集群中的NodeManager实例数量达到100,ResourceManager实例的JVM参数建议配置为:-Xms4G
生成WAL文件。 使用put加载大量数据到HBase速度变慢,且查询速度变慢时。 加载到HBase新生成的单个HFile文件大小接近HDFS block大小。 步骤1:创建MRS离线查询集群 进入购买MRS集群页面。 选择“快速购买”,填写配置参数。 表1 软件配置 参数项 参数说明
存储一次,最多保留100个文件,压缩存储。 JDBCServer2x审计日志默认20MB滚动存储一次,最多保留20个文件,压缩存储。 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志
存储一次,最多保留100个文件,压缩存储。 JDBCServer2x审计日志默认20MB滚动存储一次,最多保留20个文件,压缩存储。 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志
重启备ResourceManager实例,服务业务不受影响。 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下: 集群中的NodeManager实例数量达到100,ResourceManager实例的JVM参数建议配置为:-Xms4G
scan) 获取该表的一个Scanner对象,查询相关的参数可以通过入参scan指定,包括StartRow,StopRow,caching大小等。 void put(Put put) 往该表写入一条数据。 void put(List<Put> puts) 往该表写入一批数据。 void
scan) 获取该表的一个Scanner对象,查询相关的参数可以通过入参scan指定,包括StartRow,StopRow,caching大小等。 void put(Put put) 往该表写入一条数据。 void put(List<Put> puts) 往该表写入一批数据。 void
自定义表值函数,支持一个或多个输入参数,可返回多行多列。详情请参考UDTF java代码及SQL样例。 上传UDF至FlinkServer 准备UDF jar文件,大小不能超过200MB。 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“UDF管理”进入UDF管理页面。
具体的含义如下: n:token长度,依据n的长度将数据切割为token短语。 size_of_bloom_filter_in_bytes:布隆过滤器的大小。 number_of_hash_functions:布隆过滤器中使用Hash函数的个数。 random_seed:Hash函数的随机种子。
scan) 获取该表的一个Scanner对象,查询相关的参数可以通过入参scan指定,包括StartRow,StopRow,caching大小等。 void put(Put put) 往该表写入一条数据。 void put(List<Put> puts) 往该表写入一批数据。 void
scan) 获取该表的一个Scanner对象,查询相关的参数可以通过入参scan指定,包括StartRow,StopRow,caching大小等。 void put(Put put) 往该表写入一条数据。 void put(List<Put> puts) 往该表写入一批数据。 void
Bigdata/kafka/mirrormaker”(运行日志) 日志归档规则:Kafka的日志启动了自动压缩归档功能,默认情况下,当日志大小超过30MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.
Action”栏,可创建Topic与分区迁移,具体操作请参考增加Kafka Topic分区。 在“Topic Rank”栏,可查看当前集群Topic日志条数、数据体积大小、数据流入量、数据流出量前十名的Topic。 单击“TopicName”可进入到该Topic的详情页面中,在该页面的具体操作请参考查看Kafka数据生产消费详情。
17:10:17:449 100% /test_input.txt 输出显示test_input.txt文件在Alluxio中,各参数含义为文件的大小、是否被持久化、创建日期、Alluxio中这个文件的缓存占比、文件名。 使用cat命令打印文件的内容。 alluxio fs cat /test_input
Bigdata/audit/hdfs/httpfs”(审计日志)。 日志归档规则:HDFS的日志启动了自动压缩归档功能,默认情况下,当日志大小超过100MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log
返回:从wal日志读取的总编辑数 getSizeOfLogToReplicate() 返回类型:long 返回:在队列中等待replicate的总wal日志大小 getTimeForLogToReplicate() 返回类型:long 返回:在队列中replicate wal日志需要花的秒数 getShippedHFiles()
dit/hbase/ts2”(审计日志,ts2为具体实例名称)。 日志归档规则:HBase的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.