检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-zip 16.04版本。 准备运行环境 进行应用开发时,需
执行和写权限。 使用WinSCP工具,以客户端安装用户将压缩文件保存到客户端安装的目录,例如“/opt/hadoopclient”。 解压软件包。 例如下载的客户端文件为“FusionInsight_Cluster_1_Services_Client.tar”执行如下命令进入客户端所在目录,解压文件到本地目录。
Flume_Client.tar”为例进行描述。 上传软件包。 以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client”。 user用户为安装和运行Flume客户端的用户。 解压软件包。 以user用户登录将要安装Flume服务客户端的
不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*
MapReduce是Hadoop的核心,是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。 概念“Map(映射)”和“Reduce(化简)”都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射
试连接成功后单击“确定”,完成集群连接创建。 表1 创建集群连接信息 参数名称 参数描述 取值样例 集群连接名称 集群连接的名称,只能包含英文字母、数字和下划线,且不能多于100个字符。 flink_hive 描述 集群连接名称描述信息。 - 版本 选择集群版本。 MRS 3 是否安全版本
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数
然后执行4。 使用WinSCP工具,以客户端安装用户将压缩文件保存到客户端安装的目录,例如“/opt/hadoopclient”。 解压软件包。 例如下载的客户端文件为“FusionInsight_Cluster_1_Services_Client.tar”执行如下命令进入客户端所在目录,解压文件到本地目录。
口号/数据库名 --username 数据库用户名 --password 密码 --table 表名 --columns 列字段(多个列用英文逗号分开) -export-dir 导出地址 --fields-terminated-by 分隔符 --input-null-string
查找配置项“sasl.enabled.mechanisms”,配置为“GSSAPI,SCRAM-SHA-256,SCRAM-SHA-512”(使用英文逗号将这三项分隔)。 使用Scram登录组件。 查找自定义配置项“kafka.config.expandor”,配置名称为listener
只能由英文字母和数字组成,且长度为[1-64]个字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数
限。 客户端软件包下载完成后,以root用户登录集群的主OMS节点,复制安装包到指定节点。 客户端软件包默认下载至集群的主OMS节点(可通过FusionInsight Manager的“主机”界面查看带有标识的节点),如需要在集群内其他节点上安装,执行以下命令将软件包传输至其他节点,否则本步骤可忽略。
ight-Client/”),解压软件包后获取“*\Spark\config”路径下的配置文件。并将所有的配置文件放置到与准备放置编译出的jar包同目录的“conf”目录下,用于后续调测,例如“/opt/client/conf”。 例如客户端软件包为“FusionInsight_
查找配置项“sasl.enabled.mechanisms”,配置为“GSSAPI,SCRAM-SHA-256,SCRAM-SHA-512”(使用英文逗号将这三项分隔)。 使用Scram登录组件。 查找自定义配置项“kafka.config.expandor”,配置名称为listener
若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 表2 Python开发环境 准备项
如果观察到个别节点占用资源较高,需要针对占用资源较高的节点分析,分析当前的SQL语句是什么原因导致部分节点占用比其他节点更多资源,是计算还是数据存储倾斜导致,或者是软件bug导致。 每个节点资源占用都比较高 如果集群所有节点资源占用都比较高,说明集群整体比较忙,需要单独确认需要调优的SQL语句,单独调优。
11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 Python3 用于运行Flink
HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 约束与限制 已安装DBeaver 6.3.5版本,DBeaver软件下载链接为:https://dbeaver.io/files/6.3.5/dbeaver-ce-6.3.5-x86_64-setup.exe。
以root登录主OMS节点,进入客户端配置文件所在路径(默认为“/tmp/FusionInsight-Client/”),解压软件包后获取“Kafka/config”路径下的表1中相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下
若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*