检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因
Flink开启Checkpoint样例程序（Java） 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 下面代码片段仅为演示，完整代码参见FlinkCheckp
配置Hive Python3样例工程 操作场景 为了运行MRS产品Hive组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6，最高不能超过3.8。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
CREATE TABLE 本章节主要介绍Doris创建表的SQL基本语法和使用说明。 基本语法 CREATE TABLE [IF NOT EXISTS] [database.]table ( column_definition_list, [index_definition_list]
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置HTTPS SSL证书。 登录集群任意节点，进入如下目录下载ca
文件输出 概述 “文件输出”算子，用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入：需要输出的字段 输出：文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况，填写字
Flink Stream SQL Join应用开发思路 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程
Spark SQL样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object
Impala常见配置参数 本章节适用于MRS 3.x及后续版本。 参数入口 在Manager系统中，选择“集群 > 服务 > Impala > 配置”，选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数，实际参数以Manager页面为准，参数详情请参见官网https://docs
FlinkSQL Kafka表开发建议 Kafka作为source表时应设置限流 本章节适用于MRS 3.3.0及以后版本。 防止上限超过流量峰值，导致作业异常带来不稳定因素。因此建议设置限流，限流上限应该为业务上线压测的峰值。 【示例】 #如下参数作用在每个并行度 'scan.records-per-second
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录，消息记录某个用户的基本信息，包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录，消息记录该用户的名字、职业信息。 基于某些业务要求，开发的Flink应用程序实现功
Spark SQL样例程序（Scala） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object
ClickHouse物化视图设计 ClickHouse物化视图概述 ClickHouse普通物化视图设计 ClickHouse Projection设计 父主题： ClickHouse应用开发规范
字符串逆序转换 概述 “字符串逆序转换”算子，用于配置已生成的字段通过逆序，转换出新的字段。 输入与输出 输入：需要逆序的字段 输出：逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息： 输入字段名
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode（例如删除100万个文件），NameNode启动慢。 回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有
Spark SQL样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： public
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
字符串逆序转换 概述 “字符串逆序转换”算子，用于配置已生成的字段通过逆序，转换出新的字段。 输入与输出 输入：需要逆序的字段 输出：逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息： 输入字段名
提交Storm拓扑后Worker运行异常，日志提示Failed to bind to XXX 现象描述 提交业务拓扑后，发现Worker无法正常启动。查看Worker日志，日志提示Failed to bind to: Host_ip:Port。 可能原因 随机端口范围配置错误。 定位思路
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
