检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
勾选确认信息后,单击“确定”,进入Manager登录页面。 输入默认用户名“admin”及创建集群时设置的密码,单击“登录”进入Manager页面。 如需给其他网络段用户开通访问Manager的权限,可手动修改安全组,添加对应用户访问公网的IP地址范围。 在集群信息页面单击弹性公网IP后的“添加安全组规则”如图2所示。
有资源。 每个团队分配一个指定的资源组;重要任务分配到资源较多的资源组;保证子资源组的占比和小于等于100%时,可保证某一个队列的资源不被其他资源组抢占,类似于静态化分资源。 当实例资源负载很高时,两个用户同时提交一个查询。一开始,两个查询都在排队。当有空闲资源时,可以调度特定用户的查询首先获取到资源。
职称信息为例,其他用户类似。 alter table user_info add columns(education string,technical string); 根据用户编号查询用户姓名和地址。 以查询编号为12005000201的用户姓名和地址为例,其他用户类似。 select
本地提交仅支持普通安全模式 * * 用户同时只能选择一种任务提交方式,默认命令行方式提交,如果是其他方式,请删除代码注释即可 */ submitTopology(builder
user用户将对Hive的“default”数据库中的表“dataorigin”的“name”列有Create和select的权限,而对于其他列则没有任何的访问权限。 登录Impala客户端,验证Ranger是否已经完成集成Impala。 以客户端安装用户登录客户端安装节点,执行如下命令,初始化环境变量。
有对HBase中“default”namespace下的“test1”表中“cf1:name”列有Create和select的权限,而对于其他列则没有任何的访问权限。 参见快速使用HBase进行离线数据分析更新并登录HBase客户端,验证Ranger是否已经完成集成HBase。
待操作集群的名称 > 服务 > HDFS”。 在“基本信息”区域,单击“NameNode(主)”,显示HDFS WebUI页面。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 在HDFS
务、健康检查等来指定操作类型查询对应的审计日志。 在“服务”中,用户可选择相应的服务来查询审计日志。 在服务中选择“--”,表示除服务以外其他类型的审计日志。 在“操作结果”中,用户可选择所有、成功、失败和未知来查询审计日志。 单击手动刷新当前页面,也可在修改审计表格显示的列。
用户可以方便地创建、管理、执行SQL,并且能够以Excel的形式下载执行的结果。 通过Hue可以在界面针对组件进行以下操作: HDFS: 查看、创建、管理、重命名、移动、删除文件/目录。 上传、下载文件。 搜索文件、目录、文件所有人、所属用户组;修改文件以及目录的属主和权限。 手动配置HDFS目录存储策略,配置动态存储策略等操作。
如果使用SSH登录ECS的默认端口“22”被修改,请将“主机端口”设置为新端口。 “存放路径”最多可以包含256个字符。 “登录用户”设置为“root”。 如果使用其他用户,请确保该用户对保存目录拥有读取、写入和执行权限。 在“登录方式”选择“密码”或“SSH私钥”。 密码:输入创建集群时设置的root用户密码。
滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。 直接重启耗时约5分钟。 滚动重启 重启时客户端重试连接其他节点,不影响整体服务。 滚动重启10个节点耗时约30分钟。 Hive 直接重启 重启期间无法运行HiveSQL。 直接重启耗时约5分钟。 滚动重启
基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 安装和配置IntelliJ IDEA 开发环境的基本配置,建议使用2019.1或其他兼容版本。 说明: 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK,请确保IntelliJ
rver连接到Spark SQL。 CarbonData结构 CarbonData作为Spark内部数据源运行,不需要额外启动集群节点中的其他进程,CarbonData Engine在Spark Executor进程之中运行。 图2 CarbonData结构 存储在CarbonData
户端配置、用户认证密钥文件。 快速建立数据连接:通过数据连接功能配置访问一个组件。创建“数据连接类型”为“HDFS”类型时需创建集群连接,其他数据连接类型的“认证类型”为“KERBEROS”需创建集群连接,“认证类型”为“SIMPLE”不需创建集群连接。 “数据连接类型”为“Ka
待操作集群的名称 > 服务 > HDFS”。 在“基本信息”区域,单击“NameNode(主)”,显示HDFS WebUI页面。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 在HDFS
户端配置、用户认证密钥文件。 快速建立数据连接:通过数据连接功能配置访问一个组件。创建“数据连接类型”为“HDFS”类型时需创建集群连接,其他数据连接类型的“认证类型”为“KERBEROS”需创建集群连接,“认证类型”为“SIMPLE”不需创建集群连接。 “数据连接类型”为“Ka
当前实例中正在RUNNING的DRIVERS数量 BYTES/SEC 当前实例中每秒读取的数据量 Blocked Queries 当前实例中由于资源或其他原因被阻塞的任务数 RESERVED MEMORY (B) 当前实例中使用正在RUNNING状态的任务占用的内存 WORKER PARALLEISM
Join数据倾斜问题 执行任务的时候,任务进度长时间维持在99%,这种现象叫数据倾斜。 数据倾斜是经常存在的,因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大,导致大部分Reduce都已完成任务,但少量Reduce任务还没完成的情况。 解决数据倾斜的问题,可通过设置“set hive
指定业务用户名,则输入“yes”,并根据提示输入业务用户名和对应的业务用户密码: 不指定业务用户名,则输入“no”;此时,则使用5中的用户执行后续操作: 输入其他,则退出登录: 集群未启用Kerberos认证(普通模式)使用root用户登录。 登录客户端时可以通过-maxRPC参数,控制执行结果一次
#拓扑名可随意指定 topologySource: className: "custom-class" #请指定客户端类 当然,仍然可以指定其他方法名来获得StormTopology(非getTopology()方法),yaml文件示例如下: name: "existing-topology"