检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
s”。 步骤三:在Tableau配置访问HetuEngine参数 打开Tableau。 选择“到服务器 > 其他数据库(JDBC)”,输入URL和已创建的“人机”用户的用户名及密码,单击“登录”。 支持HSFabric方式和HSBroker方式连接,URL格式详情可参考表1。 图2
通过打印HiveServer进程jstack,查看相关线程是否卡顿在访问HDFS部分,是的话则表示访问HDFS变慢。 方法三: 查看HDFS RPC监控,看是否在SQL运行变慢期间HDFS RPC异常升高,是的话则大概率是访问HDFS变慢。 访问Yarn变慢 查看HiveServer运行日志“/v
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
Spark Scala API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的开源API。 Spark Core常用接口 Spark主要使用到如下这几个类: SparkContext:是Spark的对外接口,负责向调用该类的scal
中已添加支持。若不支持,可采用如下两种方案解决: 修改集群中配置的SSL协议。例如,若curl仅支持TLSv1协议(TLSv1协议存在安全漏洞,请谨慎使用),修改方法如下: 登录FusionInsight Manager页面,单击“集群 > 待操作集群的名称 > 服务 > Spark2x
应用示例 创建MRS集群 扩容集群 缩容集群 新增作业 终止作业 删除集群
MRS集群节点规格说明 MRS节点规格 MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。 弹性云服务器由多个租户共享物理资源,而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务(如大数据集群、企业中间件系统),并且要求安全可靠的运行环境,使用裸金属服务器更合适。
使用创建的用户第一次登录Hue WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue WebUI。 在Hue的WebUI操作但不操作Manager页面,重新访问Manager时需要输入已登录的账号密码。 父主题: 使用Hue(MRS
访问Kudu的WebUI 用户可以通过Kudu的WebUI,在图形化界面查看Kudu作业的相关信息。 前提条件 已安装Kudu服务的集群。 访问KuduMaster WebUI(MRS 3.x及之后版本) 登录Manager页面,请参见访问FusionInsight Manager(MRS
访问Spark Web UI界面 Spark Web UI界面主要用于查看Spark应用程序运行情况,推荐使用Google chrome浏览器以获得更好的体验。 Spark主要有两个Web页面。 Spark UI页面,用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、S
使用FineBI访问MRS HetuEngine 应用场景 FineBI是一款商业智能产品,针对企业信息化遇到的困难,为企业提供专业的商业智能解决方案。 本章节以FineBI 5.1.9版本为例,讲解如何使用FineBI访问安全模式MRS集群的HetuEngine。 方案架构 出
使用Kafka Token认证 操作场景 Token认证机制是一种轻量级身份认证机制,无需访问Kerberos认证,可在API中使用。 代码样例 Token认证机制支持API,用户可在二次开发样例的Producer()和Consumer()中对其进行配置。 Producer()配置的样例代码如下:
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在
通过JDBC访问Spark SQL样例程序(Java) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>();
通过JDBC访问Spark SQL样例程序(Java) 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>();
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1
Spark同时访问两个HBase样例程序(Scala) 以下为Spark同时访问两个HBase样例程序的Scala示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.SparkOnMultiHbase def main(args: Array[String]):
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
Flink Java API接口介绍 由于Flink开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Flink常用接口 Flink主要使用到如下这几个类: StreamExecutionEnvironment:是Flink流处理的基础,提供了程序的执行环境。
创建Phoenix表 功能简介 Phoenix依赖HBase作为其后备存储,支持标准SQL和JDBC API的强大功能,使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSampl