检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Storm-HBase开发指引 操作场景 本章节只适用于Storm和HBase交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HBase组件已经安装,并正常运行。 将storm-examples导入到IntelliJ IDEA开
ALM-50232 Doris中存在较大的Tablet 告警解释 告警模块按5分钟周期检查Doris集群中是否存在大于3GB(可通过“alarm_tablet_max_size”参数修改该值)的Tablet,如果存在则产生此告警。 当检测到Doris集群中不存在大于3GB的Tablet时,告警恢复。
HBase应用开发建议 不要调用Admin的closeRegion方法关闭一个Region Admin中,提供了关闭一个Region的接口: public void closeRegion(final String regionname, final String serverName)
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后,可在Sqoop客户端导入关系型数据库的表到OBS中,或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
hive_sync.enable 是否同步Hudi表信息到Hive Metastore。 注意: 建议该值设置为true,统一使用Hive管理Hudi表。 false hoodie.datasource.hive_sync.database 要同步给Hive的数据库名。 default
Edit Configurations”,在弹出的会话框中设置运行用户。 -DHADOOP_USER_NAME=test 图1 参数配置 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属于supergroup用户组。 若已按
Spark客户端使用实践 本章节提供从零开始使用Spark,提交Spark应用程序,包括Spark Core及Spark SQL。其中,Spark Core为Spark的内核模块,主要负责任务的执行,用于编写Spark应用程序;Spark SQL为执行SQL的模块。 场景说明 假
配置ClickHouse对接RDS MySQL数据库 ClickHouse面向OLAP场景提供高效的数据分析能力,支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中,后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse
MapReduce日志介绍 日志描述 日志默认存储路径: JobhistoryServer:“/var/log/Bigdata/mapreduce/jobhistory”(运行日志),“/var/log/Bigdata/audit/mapreduce/jobhistory”(审计日志)
MapReduce日志介绍 日志描述 日志默认存储路径: JobhistoryServer:“/var/log/Bigdata/mapreduce/jobhistory”(运行日志),“/var/log/Bigdata/audit/mapreduce/jobhistory”(审计日志)
Sqoop客户端使用实践 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL...)间进行数据的传递,可以将一个关系型数据库(例如:MySQL、Oracle、PostgreSQL等)中的数据导进到Hadoop的HDFS中
ALM-45440 ClickHouse副本间不一致 告警解释 当ClickHouse副本数大于1时,系统周期性对复制表进行检查,若数据不同步,则发送告警。副本间所有复制表数据同步后,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45440 次要 是 告警参数 参数名称
配置Hive通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source
开发和部署HetuEngine UDF 用户可以自定义一些函数,用于扩展SQL以满足个性化的需求,这类函数称为UDF。 本章节主要介绍开发和应用HetuEngine UDF。 MRS 3.2.1及以后版本,需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3.0版本为例。
从零开始使用Sqoop Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(MySQL、PostgreSQL等)间进行数据的传递,可以将一个关系型数据库(例如:MySQL、Oracle、PostgreSQL等)中的数据导进到Hadoop的HDFS中,也可
插入HBase数据 功能简介 HBase是一个面向列的数据库,一行数据,可能对应多个列族,而一个列族又可以对应多个列。通常,写入数据的时候,需要指定要写入的列(含列族名称和列名称)。HBase通过HTable的put方法来Put数据,可以是一行数据也可以是数据集。 代码样例 以下代码片段在com
查看Flink应用调测结果 操作场景 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。
查看Flink应用调测结果 操作场景 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。
Kafka基本原理 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据
HDFS Colocation 功能简介 同分布(Colocation)功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性,将那些需进行关联操作的文件存放在相同数据节点上,在进行关联操作计算时避免了到别的数据节点上获取数据,大大降低网络带宽的占用。