检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发和部署HetuEngine UDF 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。 本章节主要介绍开发和应用HetuEngine UDF。 MRS 3.2.1及以后版本，需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3.0版本为例。
使用MRS Spark SQL访问DWS表 应用场景 华为云提供MapReduce服务（MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark S
Spark2x日志介绍 日志描述 日志存储路径： Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 问题 在父目录中创建大量的znode之后，当ZooKeeper客户端尝试在单个请求中获取该父目录中的所有子节点时，将返回失败。 客户端日志，如下所示： 2017-07-11 13:17:19
MRS集群版本生命周期 版本号说明 MRS当前提供两种版本集群的创建：普通版和LTS版。 MRS普通版集群版本号：格式为a.b.c.d，其中a.b为大版本号，c为小版本号，d为补丁版本，例如 MRS 3.1.5.1。 a：代表了版本有较大的变动。 b：代表了版本有一些组件的变动。
ALM-45440 ClickHouse副本间不一致 告警解释 当ClickHouse副本数大于1时，系统周期性对复制表进行检查，若数据不同步，则发送告警。副本间所有复制表数据同步后，告警清除。 告警属性 告警ID 告警级别 是否可自动清除 45440 次要 是 告警参数 参数名称
ALM-18016 ResourceManager非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Yarn ResourceManager非堆内存使用率，并把实际的Yarn ResourceManager非堆内存使用率和阈值相比较。当Yarn ResourceManage
Spark日志介绍 日志描述 日志存储路径： Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}” 运行中的任务日
Impala客户端使用实践 Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它拥有高性能和低延迟的特点。 背景信息 假定用户开发一个应用程序，用于管
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 问题 在父目录中创建大量的znode之后，当ZooKeeper客户端尝试在单个请求中获取该父目录中的所有子节点时，将返回失败。 客户端日志，如下所示： 2017-07-11 13:17:19
使用CDL同步openGauss数据到Hudi（ThirdKafka） 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从ThirdKafka导入openGauss数据到Hudi。 前提条件 集群已安装CDL、Hudi服务且运行正常。
使用CDL同步drs-oracle-avro数据到Hudi（ThirdKafka） 操作场景 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从ThirdKafka导入drs-avro-oracle数据库数据到Hudi。 该章节内容适用于MRS
查看MapReduce应用调测结果 MapReduce应用程序运行完成后，可以通过WebUI查看应用程序运行情况，也可以通过MapReduce日志获取应用运行情况。 通过MapReduce服务的WebUI进行查看 登录MRS Manager，单击“服务管理 > MapReduce
ALM-18008 ResourceManager堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Yarn ResourceManager堆内存使用率，并把实际的Yarn ResourceManager堆内存使用率和阈值相比较。当Yarn ResourceManager堆内
ClickHouse SQL调优 规则 合理使用数据表的分区字段和索引字段。 MergeTree引擎，数据是以分区目录的形式进行组织存储的，在进行的数据查询时，使用分区可以有效跳过无用的数据文件，减少数据的读取。 MergeTree引擎会根据索引字段进行数据排序，并且根据inde
快速创建和使用Kafka流式数据处理集群 操作场景 本入门提供从零开始创建流式分析集群并在Kafka主题中产生和消费消息的操作指导。 Kafka集群提供一个高吞吐量、可扩展性的消息系统，广泛用于日志收集、监控数据聚合等场景。Kafka可实现高效的流式数据采集、实时数据处理存储等。
MapReduce统计样例代码 功能介绍 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 主要分为三个部分： 从原文件中筛选女性网民上网时间数据信息，通过类CollectionMapper继承Mapper抽象类实现。 汇总每个女性上网时间，并输出时间大于两个小时的
配置FlinkServer UDF安全沙箱 本章节适用于MRS 3.3.1及以后版本。 用户可以根据作业需要，通过Flink Web UI界面上传UDF、依赖等第三方Jar包，并在SQL作业校验、运行作业时调用相关依赖。为了确保上传的Jar是安全的，Flink默认开启了沙箱功能，
CarbonData表空间索引语法说明 快速示例 create table IF NOT EXISTS carbonTable ( COLUMN1 BIGINT, LONGITUDE BIGINT, LATITUDE BIGINT, COLUMN2 BIGINT
Hive日志介绍 日志描述 日志路径：Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”，Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”，以此类推。 HiveServer：“/var/log/Bigd
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
