检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为了运行MRS产品Hive组件的SpringBoot接口样例代码,需要完成下面的操作。 该章节以在Windows环境下开发SpringBoot方式连接Hive服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目
用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.jar,该jar包可在Kafka客户端目录下获取。下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 每秒钟往
Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session.sh yarn-session
操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。 Python
操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码,需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3,其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。 Python
Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session.sh yarn-session
com/2013/03/02/hbase-shell-commands/ Shell命令执行方法: 进入HBase客户端任意目录,执行以下命令。 hbase shell 进入HBase命令行运行模式(也称为CLI客户端连接),如下所示。 hbase(main):001:0> 您可以在命令行运行模式中运行he
在程序代码完成开发后,可以把代码编译成jar包,上传到Linux环境进行程序功能调试。 在Linux环境上调测程序前,需在Linux节点预安装客户端。 操作步骤 在Windows环境的开发环境IntelliJ IDEA中,在“Maven Projects > JDBCExample >
Flink常用的CLI如下所示: yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session.sh yarn-session
statementSet.execute(); } } 需将当前样例需要的依赖包,即编译之后lib文件下面的jar包复制到客户端的lib文件夹内。 以对接普通模式Kafka提交SQL为例: create table kafka_sink ( uuid varchar(20)
ClickHouse数据导入导出 使用ClickHouse客户端导入导出数据 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 CSV格式数据导入 clickhouse client --host 主机名/ClickHouse实例IP地址 --database
所需配置文件。 登录FusionInsight Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端文件压缩包为“FusionInsi
系统管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/kafkaclient”。 cd /opt/kafkaclient 执行以下命令,配置环境变量。
停止”,停止CDL作业。 使用客户端安装用户登录安装了客户端的节点,并执行以下命令: cd 客户端安装目录 source bigdata_env source Hudi/component_env kinit 组件业务用户(如果集群未开启Kerberos认证,请跳过该操作) 执行以下命令登录spark-sql命令行:
C”退出spark beeline。 集群安装后使用spark sql 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 修改配置文件: vim 客户端安装目录/Spark2x/spark/conf/hdfs-site.xml
程的端口为29122。 通过lsof -i:<port>命令,查看连接详细信息。其中port为实际端口号。 发现29101端口连接对端端口为21005,而21005为Kafka服务端端口。 说明业务层作为客户端连接Kafka获取消息,业务端口分配通过OS的随机端口分配范围来确定。
node may have crashed or be under too much load,具体如下图所示: 图1 报错信息 问题分析 登录集群Master节点,进入“/var/log/Bigdata”目录下的presto日志进行查找。 根据报错信息在到对应节点去查看presto
Tez WebUI界面无法展示Tez任务详情 问题 登录Manager界面,跳转Tez WebUI界面,已经提交的Tez任务未展示,如何解决。 回答 Tez WebUI展示的Tez任务数据,需要Yarn的TimelineServer支持,确认提交任务之前TimelineServer已经开启且正常运行。
n,如何修复? 回答 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,查看是否有处于Waiting状态的process id。如果有,需要执行以下命令将procedure lock释放: hbase hbck -j 客户端安装目录/HBase/
TezUI无法展示Tez任务执行细节 问题 登录Manager界面,跳转Tez WebUI界面,已经提交的Tez任务未展示,如何解决。 回答 Tez WebUI展示的Tez任务数据,需要Yarn的TimelineServer支持,确认提交任务之前TimelineServer已经开启且正常运行。