检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
StateStore 负责检查Impala的所有进程健康状态管理进程,进程名为statestored,当有Impalad的进程因硬件失败、网络错误、软件原因或者其他原因下线时,StateStore负责通知到其他的Impalad进程,避免请求分发到不可用的节点上。 Impala Catalog
户操作步骤。 MRS提供了自定义引导操作,用户可以以此为入口灵活配置自己的集群,通过引导操作用户可以自动化地完成安装MRS还没支持的第三方软件,修改集群运行环境等自定义操作。 MRS支持WrapperFS特性,提供OBS的翻译能力,兼容HDFS到OBS的平滑迁移,解决用户将HDF
"license" for more information. 客户端机器必须安装有setuptools,版本可取47.3.1。 具体软件,请到对应的官方网站获取。 https://pypi.org/project/setuptools/#files 将下载的setuptoo
SparkLauncher程序的编译依赖包为spark-launcher_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar,请从软件发布包中Software文件夹下“FusionInsight_Spark2x_8.1.0.1.tar.gz”压缩包中的“jars”目录中获取。
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 执行以下命令创建数据库并切换: create database if not exists testdb;
系统管理员可以通过FusionInsight Manager创建备份Hive任务。支持创建任务自动或手动备份数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时,需要根据业务场景管理统一的恢复点,防止影响业务正常运行。
SparkLauncher程序的编译依赖包为spark-launcher_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar,请从软件发布包中Software文件夹下“FusionInsight_Spark2x_8.1.0.1.tar.gz”压缩包中的“jars”目录中获取。
本必然会在应用运行过程时发生改变。在滚动升级过程中,首先只会对少数NodeManager进行升级,这些NodeManager会获得新版本的软件。这导致了行为的不一致,并可能发生运行时错误。 同时存在多个Yarn版本 集群管理员可能会在一个集群内运行使用多个版本Yarn及Hadoop
SparkLauncher程序的编译依赖包为spark-launcher_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar,请从软件发布包中Software文件夹下“FusionInsight_Spark2x_8.1.0.1.tar.gz”压缩包中的“jars”目录中获取。
以root用户登录主OMS节点,进入客户端配置文件所在路径(默认为“/tmp/FusionInsight-Client/”),解压软件包后获取“Hive/config”路径下的表1中相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载
客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd
SparkLauncher程序的编译依赖包为spark-launcher_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar,请从软件发布包中Software文件夹下“FusionInsight_Spark2x_8.1.0.1.tar.gz”压缩包中的“jars”目录中获取。
本必然会在应用运行过程时发生改变。在滚动升级过程中,首先只会对少数NodeManager进行升级,这些NodeManager会获得新版本的软件。这导致了行为的不一致,并可能发生运行时错误。 同时存在多个Yarn版本 集群管理员可能会在一个集群内运行使用多个版本Yarn及Hadoop
kinit命令。 执行spark-shell --master yarn-client命令进入spark-shell,然后引入Hudi相关软件包并生成测试数据。 引入需要的包。 import org.apache.hudi.QuickstartUtils._ import scala
客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd
不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 准备用于应用开发的ClickHouse集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip
不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*
生命周期常用术语 术语 定义 停止销售(EOM) 指停止云服务版本的部署,现网中不再部署该云服务版本。 停止全面支持(EOFS) 指定云服务版本停止普通软件BUG修复工作,仅执行致命问题修复、安全类问题修复以及升级等操作。 停止服务(EOS) 指停止云服务版本的使用,现网版本需要升级到新的云服务版本。
步骤4:将原始数据导入Hive并进行分析 步骤1:创建MRS离线查询集群 进入购买MRS集群页面。 选择“快速购买”,填写软件配置参数,以“按需计费”为例。 表1 软件配置(以下参数仅供参考,可根据实际情况调整) 参数名称 参数说明 取值样例 计费模式 选择待创建的MRS集群的计费模式。
flag IN ('wap', 'other'))AS web_uv FROM T GROUP BY day Flink SQL优化器可以识别相同的distinct key上的不同过滤器参数。例如示例中三个COUNT DISTINCT都在user_id列上。Flink可以只使用一