检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<jobid>”)中。 /taskmanagers 任务管理员信息。 /taskmanagers/<taskmanagerid>/metrics 任务管理员的度量信息。 /taskmanagers/<taskmanagerid>/log 任务管理员的日志信息。 /taskmanagers/<
能力。MRS可以直接处理OBS中的数据,客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用,同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS:数据存储和计算分离,集群存储成本低,存储量不受限制,并且集群可以随时删
oTDB配置“udf_root_dir”来指定UDF加载Jar的根路径。 IoTDBServer所在节点的IP地址可在MRS集群管理控制台的“组件管理”界面,单击“IoTDB”,选择“实例”页签查看。 使用SQL语句注册该UDF,语法如下: CREATE FUNCTION <UDF-NAME>
Manager(首次登录需要修改密码),选择“集群 > 服务 > CDL”,在CDL“概览”界面单击“CDLService UI”右侧的超链接,进入CDL原生界面。 选择“连接管理 > 新增连接”,进入“新增连接”参数配置窗口,参考下表,分别新增“pgsql”和“kafka”连接,相关数据连接参数介绍请参见创建CDL数据库连接。
在Hue WebUI使用作业浏览器 操作场景 用户需要使用图形化界面查看集群中所有作业时,可以通过Hue完成任务。 访问“Job Browser” 访问Hue WebUI,请参考访问Hue WebUI界面。 单击“Job Browser”。 默认显示当前集群的所有作业。 “Job
Hive应用开发简介 Hive简介 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HiveQL语言操作结构化数据,其基本原理是将HiveQL语言自动转换成MapReduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。
HCatalog建立在Hive Metastore之上,具有Hive的DDL能力。从另外一种意义上说,HCatalog还是Hadoop的表和存储管理层,它使用户能够通过使用不同的数据处理工具(比如MapReduce),更轻松地在网格上读写HDFS上的数据,HCatalog还能为这些数据
op-common/FileSystemShell.html 表1 透明加密相关命令 场景 操作 命令 描述 hadoop shell命令管理密钥 创建密钥 hadoop key create <keyname> [-cipher <cipher>] [-size <size>]
群。 表1 MRS集群类型 集群类型 场景介绍 核心组件 Hadoop分析集群 Hadoop集群完全使用开源Hadoop生态,采用YARN管理集群资源,提供Hive、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink流式数据计算、Tez有向无环图的
ClickHouse > 查询管理”,单击“正在进行的慢查询”页签。 MRS 3.2.0及之后版本:登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 逻辑集群”,单击逻辑集群名称。进入该逻辑集群页面,选择“查询管理 > 正在进行的慢查询”页签。
按订单的购买周期计费,最短时长为1个月,最长时长为1年。 秒级计费,按小时结算。 - 适用计费项 MRS服务管理费用、IaaS基础设施资源费用(弹性云服务器,云硬盘)。 MRS服务管理费用、IaaS基础设施资源费用(弹性云服务器,云硬盘)。 计费项 变更计费模式 - 支持变更为包年/包月计费模式。
继续参考购买自定义集群配置其他参数并创建集群。 在集群创建完成后,此时Ranger不会对用户访问Hive和HBase组件的权限进行控制。 使用Ranger管理各组件权限时,如管理hive表权限,在管理控制台或者客户端提交hive作业(操作hive数据表),可能会提示当前用户没有权限,需要在Ranger中给提交作业的用
待创建的表的名称。该表用于加载数据进行分析。 表名由字母、数字、下划线组成。 productdb 数据库名称。该数据库将与其中的表保持逻辑连接以便于识别和管理。 数据库名称由字母、数字、下划线组成。 productName storeCity storeProvince procuctCategory
Job Manager 管理Loader作业,包括创建作业、查询作业、更新作业、删除作业、激活作业、去激活作业、启动作业、停止作业。 Metadata Repository 元数据仓库,存储和管理Loader的连接器、转换步骤、作业等数据。 HA Manager 管理Loader Server进程的主备状态,Loader
ve和HDFS客户端的节点。 执行以下命令认证用户。 cd 客户端安装目录 source bigdata_env kinit 具有Hive管理员权限的用户(未开启Kerberos认证的集群跳过此操作) 执行以下命令在HDFS上创建Jar包存放目录。 hdfs dfs -mkdir
online的异常。 处理步骤 进入HBase服务页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > HBase”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
ClickHouse企业级能力增强 ClickHouse多租户管理 查看ClickHouse慢查询语句 查看ClickHouse复制表数据同步监控 配置ClickHouse副本间数据强一致 配置ClickHouse支持事务能力 配置通过ELB访问ClickHouse 配置ClickHouse冷热分离
装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluster_1_Services_ClientC
待创建的表的名称。该表用于加载数据进行分析。 表名由字母、数字、下划线组成。 productdb 数据库名称。该数据库将与其中的表保持逻辑连接以便于识别和管理。 数据库名称由字母、数字、下划线组成。 productName storeCity storeProvince procuctCategory
Manager(首次登录需要修改密码),选择“集群 > 服务 > CDL”,在CDL“概览”界面单击“CDLService UI”右侧的超链接,进入CDL原生界面。 选择“连接管理 > 新增连接”,进入“新增连接”参数配置窗口,参考下表,分别新增“pgsql”和“kafka”连接,相关数据连接参数介绍请参见创建CDL数据库连接。