检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录Manager界面后页面空白无内容 用户问题 登录到FusionInsight Manager界面后,页面空白不显示。 问题现象 登录到FusionInsight Manager界面后,页面空白不显示。 原因分析 Manager无法登录,需要清除浏览器缓存。 Master节点
字符串空格清除转换 概述 “字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息:
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析 由于窗口使用自定义窗口,这时窗口
过滤行转换 概述 “过滤行转换”算子,用于配置逻辑条件过滤掉含触发条件的行。 输入与输出 输入:用来做过滤条件的字段 输出:无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。 enum 是 AND
如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别? 处理步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。
字符串空格清除转换 概述 “字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息:
过滤行转换 概述 “过滤行转换”算子,用于配置逻辑条件过滤掉含触发条件的行。 输入与输出 输入:用来做过滤条件的字段 输出:无 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 条件逻辑连接符 配置条件逻辑连接符,可配置“AND”或“OR”。 enum 是 AND
在Linux环境中调测HBase应用 操作场景 HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装客户端时: 已安装HBase客户端。 当客户端所在主机不是集群中的节
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见Impala样例程序指导。
使用Hue提交Oozie Shell作业 操作场景 该任务指导用户通过Hue界面提交Shell类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Shell”按钮,将其拖到操作区中。 在弹出的“Shell”窗口中配置“Shell c
使用Hue提交Oozie Shell作业 操作场景 该任务指导用户通过Hue界面提交Shell类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Shell”按钮,将其拖到操作区中。 在弹出的“Shell”窗口中配置“Shell c
MapReduce基本原理 如需使用MapReduce,请确保MRS集群内已安装Hadoop服务。 MapReduce是Hadoop的核心,是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(化简)”及其主要思想,均取自于函数式编程语言及矢量编程语言。
HBase HA方案介绍 HBase HA原理与实现方案 HBase中的HMaster负责Region分配,当RegionServer服务停止后,HMaster会把相应Region迁移到其他RegionServer。为了解决HMaster单点故障导致HBase正常功能受到影响的问题,引入HMaster
FlinkSQL HBase数据表开发建议 客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业,如SQL client提交,在建表语句中添加如下配置: 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection'
如何对insert overwrite自读自写场景进行优化 场景说明 对于需要使用动态分区插入(使用历史分区更新)数据到目的表中,且和数据源表是同一张表时,由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险,建议先使用一个临时表来处理数据,再执行insert
ResourceManager持续主备倒换 问题 RM(ResourceManager)在多个任务(比如2000个任务)正常并发运行时出现持续的主备倒换,导致YARN服务不可用。 回答 产生上述问题的原因是,full GC(GabageCollection)时间过长,超出了RM与
如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 问题 如何处理checkpoint设置RocksDBStateBackend方式,且当数据量大时,执行checkpoint会很慢的问题? 原因分析
Flink Kafka样例程序开发思路 场景说明 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求,开发的Flink应用程序实现功能:实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafk
SELECT查询表数据 本章节主要介绍ClickHouse查询表数据的SQL基本语法和使用说明。 基本语法 SELECT [DISTINCT] expr_list [FROM [database_name.]table | (subquery) | table_function]