检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive角色管理支持授予管理员权限、访问库、表和视图的权限。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一段时间。例如表的文件数量为1万时,可能需要等待2分钟。
图1 Hive结构 约束与限制 需要在Manager的“系统 > 权限 > 用户”界面上创建一个LDAP中已存在的同名用户,并添加“hive”和“hadoop”用户组,该用户用于HiveServer的健康检查。 本章节配置说明适用于MRS 3.1.0及之后版本。
Hive角色管理支持授予Hive管理员权限、访问表和视图的权限,不支持数据库的授权。 Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一段时间。例如表的文件数量为1万时,可能需要等待2分钟。
图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多个Agent组成,而每个Agent是由Source、Channel、Sink三个模块组成,数据先进入Source然后传递到Channel,最后由Sink发送到下一个Agent或目的地(客户端外部)。
DDL (数据定义语言):可以动态地创建、修改或删除数据库、表和视图,而无须重启服务。 DML(数据操作语言):可以动态查询、插入、修改或删除数据。 权限控制:可以按照用户粒度设置数据库或者表的操作权限,保障数据的安全性。
则上图中svctm值为: (19571460 - 19569526) / (1101553 + 28747977 - 1101553 - 28744856) = 0.6197 父主题: MRS集群告警处理参考
如果设置了客户端参数topology.worker.childopts,则该参数会与服务端参数worker.gc.childopts共同配置,但是后面的相同参数会将前面的覆盖掉,如上面图有两个-Xmx,-Xmx1G会覆盖掉-Xmx4096m。
勾选“确认授权” 图1 创建HBase查询集群 单击“立即购买”,等待MRS集群创建成功。
所示,则表示缺少MySQL驱动包,需在MySQL官网下载对应MySQL驱动包,解压并上传至“客户端安装目录/Sqoop/sqoop/lib”目录下,再执行Sqoop导入或导出数据命令即可 图1 缺少MySQL驱动包报错 父主题: 使用Sqoop
CDL支持在CDLService WebUI界面创建数据同步任务和数据比较任务,使用流程如图1所示。
策略配置方式:选择“JSON视图”。
$BIGDATA_HOME/components/current/服务名/configurations.xml 查询“healthMonitor.properties”关键字,找到该告警上报实例对应的健康检查配置项,记录“monitor.info”参数配置的接口或者脚本路径,如下图所示
执行以下命令登录spark-sql客户端: cd Spark客户端安装目录 source bigdata_env kinit 组件业务用户(如果集群未启用Kerberos认证(普通模式)请跳过该操作) spark-sql --master yarn 执行以下命令创建临时视图: CREATE
HDFS文件数可以通单击“集群 > 待操作集群的名称 > 服务 > HDFS”,单击图表区域右上角的下拉菜单,选择“定制 > 文件和块”,勾选“HDFS文件”和“HDFS块数”监控项查看。
图1 执行Hive SQL CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`.
例如当前用户访问集群的地址为10.x.x.x,则添加的安全组规则为: 图1 配置安全组 关于安全组的具体配置可参考:配置安全组规则。 安全组中需要放开的IP地址为用户访问MRS集群的公网IP地址,如果当前网络为内部局域网环境,请务必确认安全组中配置的IP地址是否为公网出口IP。
Hadoop分析集群:Hadoop分析集群完全使用开源Hadoop生态,采用YARN管理集群资源,提供Hive、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框等Hadoop生态圈的组件
表结构包括:表名、列、分区、物化视图等。 在“保持原数据表的所有配置”选择“true”,表示将沿用备份数据的配置,如表副本数。选择“false”表示使用默认配置创建表。 单击“确定”保存。 在恢复任务列表已创建任务的“操作”列,单击“执行”,开始执行恢复任务。
// 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,
图1 下载客户端 选择“Flume”服务,单击“实例”,查看任意一个Flume实例和两个MonitorServer实例的“业务IP”。 使用VNC方式,登录弹性云服务器。参见远程登录(VNC方式)。 所有镜像均支持Cloud-init特性。