正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS是否支持同时运行多个Flume任务? Flume客户端可以包含多个独立的数据流,即在一个配置文件properties.properties中配置多个Source、Channel、Sink。这些组件可以链接以形成多个流。 例如在一个配置中配置两个数据流,示例如下: server
HBase表如何设置和修改数据保留期? 创建表时指定 创建t_task_log表,列族f, TTL设置86400秒过期 create 't_task_log',{NAME => 'f', TTL=>'86400'} 在已有表的基础上指定: alter "t_task_log",NAME=>'data'
DistCP作业导入导出数据常见问题 问:DistCP类型作业导入导出数据时,是否会对比数据的一致性? 答:DistCP类型作业导入导出数据时不会对比数据的一致性,只是对数据进行复制,不会修改数据。 问:DistCP类型作业在导出时,遇到OBS里已经存在的文件是如何处理的? 答:
如何查询MRS节点的启动时间? 登录当前节点,执行如下命令查询节点启动时间: date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y-%m-%d %H:%M:%S" 父主题: 节点管理类
运行Spark作业前,调整hbase.client.scanner.timeout.period参数(例如从60秒调高到120秒)。 登录Manage界面,选择“集群 > 服务 > HBase > 配置 > 全部配置”,搜索参数“hbase.client.scanner.timeout.period”,并修改参数
MRS集群内节点的操作系统是什么? 问: MRS集群内节点的操作系统是什么? 答: 不同版本的集群对应的主机操作系统不同,具体对应关系如表1所示。 表1 MRS集群版本与主机操作系统对应关系 MRS集群版本 x86计算 鲲鹏计算(ARM) MRS 3.2.0-LTS.1 EulerOS
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色,其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 Ka
HBase应用开发概述 HBase应用开发简介 HBase应用开发常用概念 HBase应用开发流程介绍 父主题: HBase开发指南
HDFS应用开发概述 HDFS应用开发简介 HDFS应用开发常用概念 HDFS应用开发流程介绍 父主题: HDFS开发指南
Spark应用开发概述 Spark应用开发简介 Spark应用开发常用概念 Spark应用开发流程介绍 父主题: Spark开发指南
调测Storm应用 生成Storm应用Jar包 在Linux环境中调测Storm应用 查看Storm应用调测结果 父主题: Storm开发指南
Kafka应用开发概述 Kafka应用开发简介 Kafka应用开发常用概念 Kafka应用开发流程介绍 父主题: Kafka开发指南
Flink应用开发概述 Flink应用开发简介 Flink应用开发常用概念 Flink应用开发流程介绍 父主题: Flink开发指南
调测Flink应用 编译并运行Flink应用 查看Flink应用运行结果 父主题: Flink开发指南
Impala应用开发概述 Impala应用开发简介 Impala应用开发常用概念 Impala应用开发流程介绍 父主题: Impala开发指南
Hudi表分区设计规范 规则 分区键不可以被更新: Hudi具有主键唯一性机制,但在分区表的场景下通常只能保证分区内主键唯一,因此如果分区键的值发生变更后,会导致相同主键的行记录出现多条的情况。在以日期分区的场景,可采用数据的创建时间为分区字段,切记不要采用数据更新时间做分区。
Hudi数据表Clean规范 Clean也是Hudi表的维护操作之一,该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件(Hudi不再使用的数据文件),这不但可以节省Hudi表List过程的时间,也可以缓解存储压力。 规则 Hudi表必须执行Clean。
Flink客户端执行命令报错“Could not connect to the leading JobManager” 问题背景与现象 创建Fllink集群,执行yarn-session.sh命令卡住一段时间后报错: 2018-09-20 22:51:16,842 | WARN
集群外节点提交Spark作业时报错无法连接Driver 问题现象 集群外节点和集群各个节点网络已经互通,在集群外节点使用client模式提交Spark任务到Yarn上,任务失败,报错信息为无法连接Driver。 原因分析 使用client模式提交Spark任务的时候,Spark的
参考“添加租户”章节新建一个队列给oozie使用,也可以直接使用创建MRS集群时生成的launcher-job队列。 在Manager页面选择“集群 > 服务 > Oozie > 配置”,搜索参数“oozie.site.configs”,在值列添加名称“oozie.launcher.default