检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GROUP BY type ) ) ENGINE = MergeTree() ORDER BY (name, level, type) 通过表属性修改方式创建projection 在创建好projection后还可以对projection进行修改,具体语句如下: ALTER TABLE
WebUI界面。 在Ranger首页的“Service Manager”区域内,单击组件名称下的权限插件名称,即可进入组件安全访问策略列表页面。 各组件的策略列表中,系统默认会生成部分条目,用于保证集群内的部分默认用户或用户组的权限(例如supergroup用户组),请勿删除,否则系统默认用户或用户组的权限会受影响。
WebUI界面。 在Ranger首页的“Service Manager”区域内,单击组件名称下的权限插件名称,即可进入组件安全访问策略列表页面。 各组件的策略列表中,系统默认会生成若干条目,用于保证集群内的部分默认用户或用户组的权限(例如supergroup用户组),请勿删除,否则系统默认用户或用户组的权限会受影响。
并删除本地日志。详情请参见配置Container日志聚合功能。 然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获取HDFS文件来查看日志。开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 因此,Spark在此基础上进行了功能增
Manager最大支持1000个用户。 创建用户(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“系统 > 权限 > 用户”。 在用户列表上方,单击“添加用户”。 填写“用户名”。用户名由数字、字母、下划线、中划线(-)或空格组成,不区分大小写,不能与系统或操作系统中已有的用户名相同。
每个SQL语句的信息如下表3。 表3 SQL的常用信息 参数 描述 id SQL语句的ID status SQL语句的执行状态,有RUNNING、COMPLETED、FAILED三种 runningJobs SQL语句产生的job中,正在执行的job列表 successedJobs
overwrite directory "/path1" ...,写成功之后,会将旧数据移除到回收站,并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服
UDF),如何在多个HiveServer之间同步删除? 回答 因为多个HiveServer之间共用一个MetaStore存储数据库,所以MetaStore存储数据库和HiveServer的内存之间数据同步有延迟。如果在单个HiveServer上删除永久函数,操作结果将无法同步到其他HiveServer上。
本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.txt加载进employees_info表中. LOAD DATA
本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.txt加载进employees_info表中. LOAD DATA
本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.txt加载进employees_info表中. LOAD DATA
告警”,查看该告警的详细信息,在附加信息中查看发生该告警的主机IP。 停止上报告警的主机上的DataNode进程。 如果附加信息中发生该告警的主机IP有多个,每次只能停止一个DataNode进程,且“待复制副本的块数”变为“0”后才能停止下一个DataNode进程。 以root用户登录发生该告警的主机I
使用具有IAM委托操作权限的用户登录管理控制台。 在服务列表中选择“大数据 > MapReduce服务”,进入“服务授权”页面。 单击“变更权限委托”,在右侧单击,关闭委托或权限策略。 如果委托存在其他Region的授权时,委托开关处于状态,不能直接删除委托,只能取消当委托的相关策略。 如果委托仅存在
acls 逗号分隔的有权限修改Spark job的用户列表。默认情况下只有开启Spark job的用户才有修改列表的权限(例如删除列表)。 - spark.ui.view.acls 逗号分隔的有权限访问Spark web ui的用户列表。默认情况下只有开启Spark job的用户才有访问权限。
可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 图1 Kerberos原理架构 表1 Kerberos模块说明 模块 说明 Application Client 应用客户端,通常是需要提交任务(或者作业)的应用程序。 Application
Language)编译和解析,生成并执行相应的MapReduce任务或者HDFS操作。 图1 Hive结构 Metastore:对表,列和Partition等的元数据进行读写及更新操作,其下层为关系型数据库。 Driver:管理HQL执行的生命周期并贯穿Hive任务整个执行期间。 Compiler:编译HQ
此处kerberos安全认证需要使用到的keytab文件,请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs-example”工程的“conf”目录。 表1 配置文件 文件名称 作用 获取地址 core-site.xml 配置HDFS详细参数。 M
acls 逗号分隔的有权限修改Spark job的用户列表。默认情况下只有开启Spark job的用户才有修改列表的权限(例如删除列表)。 - spark.ui.view.acls 逗号分隔的有权限访问Spark web ui的用户列表。默认情况下只有开启Spark job的用户才有访问权限。
执行任务时AppAttempts重试次数超过2次还没有运行失败 问题 系统默认的AppAttempts运行失败的次数为2,为什么在执行任务时,AppAttempts重试次数超过2次还没有运行失败? 回答 在执行任务过程中,若ContainerExitStatus的返回值为ABOR
是,执行2。 否,执行1.f。 修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行1.f。 联系运维人员查看是否节点硬件故障(CPU或者内存等)。 是,执行1.g。 否,执行2。 维修故障部件,并重启节点。查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行2。