检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置HetuEngine Python3样例工程 本章节适用于MRS 3.3.0及以后版本。 操作场景 为了运行FusionInsight MRS产品HetuEngine组件的Python3样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3
通过JDBC访问Spark SQL样例程序(Java) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>();
快速使用HBase进行离线数据分析 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导,通过客户端实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具,可将结构化的数据文件映射成一张数据库表,并提供类SQL的功能对数据进行分析处理,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 背景信息
CarbonData数据类型概述 简介 CarbonData中的数据存储在table实体中。CarbonData table与RDBMS中的表类似。RDBMS数据存储在由行和列构成的表中。CarbonData table存储的也是结构化的数据,拥有固定列和数据类型。 支持数据类型
快速使用HBase进行离线数据分析 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导,通过客户端实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理
配置Hive Python3样例工程 操作场景 为了运行MRS产品Hive组件的Python3接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.8。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
添加Yarn的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Yarn用户配置Yarn管理员权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight
HMaster日志中频繁打印出FileNotFoundException信息 问题 当集群重启后会进行split WAL操作,在splitWAL期间,HMaster出现不能close log,日志中频繁打印出FileNotFoundException及no lease信息。 2017-06-10
手动导出IoTDB数据 操作场景 该任务指导用户使用“export-csv.sh”将数据从IoTDB导出为CSV格式的文件。 导出CSV格式的数据文件,可能存在注入风险,请谨慎使用。 前提条件 已安装客户端,请参见。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
IoTDB客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用IoTDB客户端。 前提条件 已安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,
安装客户端时编译并运行HBase应用 HBase应用程序支持在安装HBase客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装HBase客户端。 Linux环境已安装JDK,版本号需要和Eclipse导出Jar包使用的JDK版本一致。
ALM-38001 Kafka磁盘容量不足 告警解释 系统按60秒周期检测Kafka磁盘空间使用率,并把实际磁盘使用率和阈值相比较。磁盘使用率默认提供一个阈值范围。当检测到磁盘使用率高于阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置”,在服务列表下面,选择“Kafka
配置Flume加密传输 操作场景 该操作指导安装工程师在集群安装完成后,设置Flume服务(Flume角色)的服务端和客户端参数,使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群及Flume服务。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标,提供用户一种更简单的方法去创建新的展示和监控的工具,并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Sta
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后,可在Sqoop客户端导入关系型数据库的表到OBS中,或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
添加Yarn的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Yarn用户配置Yarn管理员权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight
HMaster日志中频繁打印出FileNotFoundException信息 问题 当集群重启后会进行split WAL操作,在splitWAL期间,HMaster出现不能close log,日志中频繁打印出FileNotFoundException及no lease信息。 2017-06-10
运行HadoopStream作业 用户可将自己开发的程序提交到MRS中,执行程序并获取结果,本章节指导您如何在MRS集群中提交一个HadoopStream作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文
编译并调测Flink应用 操作场景 在程序代码完成开发后,编译jar包并上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是相同的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。