检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与其他Hadoop的SQL引擎相比,它拥有高性能和低延迟的特点。 背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用Impala客户端实现A业务操作流程如下: 普通表的操作: 创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。 根据用户编号查询用户姓名和地址。 A业务结束后,删除用户信息表。
Loader使用简介 本章节适用于MRS 3.x之前版本。 使用流程 通过Loader迁移用户数据时,基本流程如下所示。 访问Hue WebUI的Loader页面。 管理Loader连接。 创建作业,选择数据源的连接以及保存数据的连接。 运行作业,完成数据迁移。 Loader页面介绍
开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20-29]之间的用户信息。
随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Master节点规格已经不满足用户需求时,则需要升级Master节点规格。本章节介绍Master节点规格升级的操作流程。 升级MRS集群Master节点规格前提条件 确认是否开启了主机安全服务(Host Security Service,简称HSS),如果
HBase常见问题 结束BulkLoad客户端程序,导致作业执行失败 如何修复长时间处于RIT状态的Region HMaster等待NameSpace表上线时超时退出 客户端查询HBase出现SocketTimeoutException异常 在启动HBase shell时报错“java
HBase数据读写样例程序开发思路 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20-29]之间的用户信息。
HBase数据读写样例程序开发思路 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20-29]之间的用户信息。
apache.org/releases/1.9.0.html。 Flume原理 Agent之间的可靠性 Agent之间数据交换流程如图4所示。 图4 Agent数据传输流程 Flume采用基于Transactions的方式保证数据传输的可靠性,当数据从一个Agent流向另外一个Agent时
除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用HBase客户端实现A业务操作流程如下: 创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。
提交流程,启动流程,运行流程,终止流程,恢复流程等操作。 SDK 软件开发工具包SDK(SoftwareDevelopmentKit)是被软件工程师用于为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件的开发工具的集合。 Database pg数据库。 WebApp(Oozie)
以统计源数据中的单词出现次数。 当然您也可以获取MRS服务样例代码工程,参考Flink开发指南开发其他Flink流作业程序。 操作流程 本实践操作流程如下所示: 步骤1:创建MRS集群:创建一个包含有Flink组件的MRS集群。 步骤2:准备测试数据:准备用于进行分析的源数据及程序,并上传至OBS。
除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用HBase客户端实现A业务操作流程如下: 创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。
Sink必须作用于一个确切的Channel。 Flume也可以配置成多个Source、Channel、Sink,如图2所示: 图2 Flume结构图 操作流程 本实践操作流程如下所示: 步骤1:创建MRS集群:创建一个包含有Flume组件的MRS集群。 步骤2:生成Flume配置文件:根据业务场景配置Flume服务端和客户端侧配置文件。
进入用户中心,选择续费时长后单击“提交”,提交订单。 订单提交完成后,集群状态由“运行中”更新为“转包周期中”。 订单支付成功后,集群开始进行转包周期流程,待集群转包周期成功后,集群状态更新为“运行中”。 转包周期后集群原有Task节点计费类型保持按需计费,集群在转包周期过程中已配置的弹性伸
性伸缩,并且MRS Manager上没有正在运行的任务。 安装补丁过程中,不允许在作业管理页面提交作业。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS 3.3.1-LTS.1.1补丁说明
“oozie-client-*”涉及的版本号以实际版本号为准。 编写流程任务属性文件(job.properties)。 请参见job.properties。 编写Workflow任务文件“workflow.xml”。 表1 流程Action 编号 步骤 描述 1 定义startaction
安装补丁过程中,不允许在作业管理页面提交作业。 安装补丁过程包括组件重启,该补丁只支持离线重启,重启过程不能省略。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS 3.3.0.3.1补丁说明
影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS 3.2.0-LTS.1.8补丁说明
影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS 3.2.0-LTS.1.10补丁说明
闭弹性伸缩,并且MRS Manager上没有正在运行的任务。 升级过程中,不允许在作业管理页面提交作业。 安装补丁流程 补丁安装流程如图1所示。 图1 安装补丁流程 父主题: MRS 3.1.0 运维通道补丁说明