检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OpenTSDB OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB由时间序列守护进程（TSD）和一组命令
API使用样例 Kafka 多线程Consumer API 使用样例 Kafka SimpleConsumer API使用样例 Kafka 样例工程配置文件说明 父主题： Kafka开发指南
选择“MetaStore（角色） > 自定义”，对参数文件“hivemetastore-site.xml”添加自定义参数，设置“名称”为“hive.supports.over.32.roles”，“值”为“true”。 选择“HiveServer（角色） > 自定义”，对参数文件“hive-site.xml
ClickHouse > 实例”，单击任意ClickHouseServer角色名称。进入ClickHouseServer“概览”页面，单击“配置文件”中的users.xml文件，查看ClickHouse用户密码。 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。
Maven”打开“Maven”工具窗口。 图1 打开Maven工具窗口 若项目未通过maven导入，需要执行以下步骤： 右键选择单击样例代码项目中的pom文件，选择“Add as Maven Project”，添加Maven项目 图2 添加Maven项目 通过Maven生成Jar包。 在Mave
指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综合性能表现比SequenceFile更优。 set hive.exec
指定表的格式为RCFile(推荐使用)或SequenceFile，加密算法为ARC4Codec。SequenceFile是Hadoop特有的文件格式，RCFile是Hive优化的文件格式。RCFile优化了列存储，在对大表进行查询时，综合性能表现比SequenceFile更优。 set hive.exec
dynamic.partition.mode=nonstrict; 动态分区可能导致一个DML语句创建大量的分区，对应创建大量新文件夹，对系统性能可能带来影响。 在文件数量大的情况下，执行一个SQL语句启动时间较长，可以在执行SQL语句之前执行“set mapreduce.input.fileinputformat
Execution特性后，Spark SQL能自动处理数据倾斜场景，对倾斜的分区，启动多个task进行处理，每个task读取若干个shuffle输出文件，再对这部分任务的Join结果进行Union操作，以达到消除数据倾斜的效果 配置参数 登录FusionInsight Manager系统，选择“集群
Execution特性后，Spark SQL能自动处理数据倾斜场景，对倾斜的分区，启动多个task进行处理，每个task读取部分shuffle输出文件，再对这部分任务的Join结果进行Union操作，以达到消除数据倾斜的效果。 配置参数 登录FusionInsight Manager系统，选择“集群
压缩归档功能，缺省情况下，当日志大小超过30MB的时候，会自动压缩。最多保留20个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表 日志类型 日志文件名 描述 运行日志 zookeeper-<SSH_USER>-<process_name>-<hostname>
apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”放置到"src/main/resources"的目录下。
全认证。执行kinit hdfs命令，按提示输入密码。向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令，确认删除无用的文件。 检查本告警是否恢复。 是，处理完毕。 否，执行9。 对系统进行扩容。 对磁盘进行扩容。 检查本告警是否恢复。 是，处理完毕。
de节点上读取数据。 数据保密性 MRS分布式文件系统在Apache Hadoop版本基础上，提供对文件内容的加密存储功能，避免敏感数据明文存储，提升数据安全性。业务应用只需对指定的敏感数据进行加密，加解密过程业务完全不感知。在文件系统数据加密基础上，Hive实现表级加密，HBa
上传“JDBCExample-1.0-SNAPSHOT.jar”包到Linux环境“/opt/hetuclient”目录下。 参考准备运行环境下载并解压客户端文件“FusionInsight_Cluster_集群ID_ HetuEngine_Client.tar”获取jdbc驱动包，并上传到Linu
OCC不会保证所有参与并发写入的任务都执行成功;当出现多个写任务更新同一个文件时，只有一个任务可以成功，其余失败。 并发场景下，需要设置cleaner policy为Lazy，因此无法自动清理垃圾文件。 父主题： Spark on Hudi开发规范
ALM-50217 FE节点堆内存的使用率超过阈值 告警解释 系统每30秒周期性检查FE节点堆内存的使用率，当检查到该值超出阈值（默认值为95%）时产生该告警。 当FE节点堆内存的使用率低于阈值时，告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50217 紧急 是 告警参数
FlinkServer作业对接DWS表 FlinkServer作业对接JDBC FlinkServer作业对接HBase表 FlinkServer作业对接HDFS文件系统 FlinkServer作业对接Hive表 FlinkServer作业对接Hudi表 创建FlinkServer作业对接Kafka消息队列
Windows->Maven”打开“Maven”工具窗口。 图1 打开Maven工具窗口 若项目未通过maven导入，需要执行以下操作： 右键选择单击样例代码项目中的pom文件，选择“Add as Maven Project”，添加Maven项目。 图2 添加Maven项目 通过Maven生成Jar包。 在Mav
ClickHouse > 实例”，单击任意ClickHouseServer角色名称。进入ClickHouseServer“概览”页面，单击“配置文件”中的users.xml文件，查看ClickHouse用户密码。 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
