检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。
参数 是否必选 参数类型 描述 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
步骤1:创建MRS集群 创建并购买一个包含有Flume、HDFS组件的MRS集群,详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 集群购买成功后,登录集群的FusionInsight Manager界面,下载集群客户端并解压。
WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。
REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询,FusionInsight版本中添加了查询SQL、JDBC Server和Streaming的信息的REST接口。开源REST接口完整和详细的描述请参考官网上的文档以了
直接转换为byte数组,会先被转为String,再存储到HBase中,可能会导致无法还原数据。 该章节内容仅适用于MRS 3.5.0及之后版本。 表1 数据类型转换对应关系 Hive/Spark表 HBase表 解析方式 TINYINT Byte byte[]取第一个值 SMALLINT
字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
truststore-password”的值设置为调用“generate_keystore.sh”脚本时输入的密码。 MRS 3.x及之后版本,如果需要使用密文时,设置“flink-conf.yaml”中“security.ssl.encrypt.enabled: true”,“generate_keystore
字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
创建集群所需费用,系统自动计算。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 hadoopVersion String 参数解释: Hadoop组件版本信息。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 componentList Array of ComponentAmb
树形结构实现多级租户的管理和操作,将当前租户的基本信息和资源配额集成在一个界面中,方便运维和管理,如图3所示。 图3 多租户管理(以3.x版本Manager页面为例) 层级式的租户管理:MRS支持层级式的租户管理,可以为租户进一步添加子租户,实现资源的再次配置。一级租户下一级的子
字符。 默认取值: 不涉及 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。
支持两种方式选择备份数据: 添加备份数据文件 单击导航中某个数据库的名称,将展开显示此数据库中的所有表,勾选指定的表。 MRS 3.2.0及之后版本: 单击“添加”。 在“文件目录”框内选择要备份的表,单击“添加”添加到“备份文件”框内。 单击“确定”添加备份数据文件。 正则表达式筛选
大,一旦操作失误会导致数据丢失,不推荐使用此功能。 使用BulkLoad批量导入的数据不支持加密。 本章节内容仅适用于MRS 3.x及之后版本。 加密HFile和WAL内容 在任一安装HBase服务节点,使用omm用户执行如下命令创建密钥。 sh ${BIGDATA_HOME}/FusionInsight_HD_8
FS的数据导进到关系型数据库中。 前提条件 创建集群时已勾选Sqoop组件以及依赖的服务。 安装客户端,具体请参考安装客户端(3.x及之后版本)。例如安装目录为“/opt/client”,请根据实际安装目录修改。为使用Sqoop时简单方便,使用Sqoop时需要安装全量客户端。 如
处理数据的方式。有两种实现方式可用:sort和hash。sort shuffle对内存的使用率更高,是Spark 1.2及后续版本的默认选项。Spark2.x及后续版本不支持hash。 SORT spark.shuffle.consolidateFiles (仅hash方式)如果要合并在
创建一个包含有HBase、HetuEngine、Hive、IoTDB组件的MRS集群,详情请参见购买自定义集群。 本文以自定义购买的MRS 3.2.0-LTS.1版本的集群为例,集群已开启Kerberos认证。 集群购买成功后,在MRS集群的任一节点内,安装集群客户端,具体操作可参考安装并使用集群客户端。