检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参数指定HDFS的地址。格式为hdfs://{NAMESERVICE}。其中{NAMESERVICE}为hdfs nameservice名称。
-Dmapreduce.job.hdfs-servers 如果对接了OBS,而服务端依然使用HDFS,那么需要显式在命令行使用该参数指定HDFS的地址。格式为hdfs://{NAMESERVICE}。其中{NAMESERVICE}为hdfs nameservice名称。
将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
说明: 如果是在Manager上新建的用户,首次使用前需要修改初始密码。 isMachineUser false 使用机机用户认证时,参数值修改为true。 如果配置为true,则user和password参数为机机用户的用户名和密码。
安全模式下hbase需要用户有相应表甚至列族和列的访问权限,因此首先需要在hbase所在集群上使用hbase管理员用户登录,之后在hbase shell中使用grant命令给提交用户申请相应表的权限,如示例中的WordCount,成功之后再使用提交用户登录并提交拓扑。
使用重置后的admin用户及密码(例如Admin@123Admin@123)登录FusionInsight Manager,单击主页上的或者“更多”,单击“重启”,重启集群。 在弹出窗口中输入当前登录的用户密码确认身份,然后单击“确定”。
同时也补齐了基于存算分离授权功能缺陷,可以在Ranger上实现对存算分离表的授权鉴权。Hive表的级联授权功能主要体现为: 开启Ranger级联授权后,Ranger中创建策略对表授权时,只需创建表的Hive策略,无需对表存储源进行二次授权。
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
50% broker上用户连接数使用率 38011 Broker上用户连接数使用率超过设定阈值 当同一个用户连接数太多时,产生告警的用户将无法与Broker建立新的连接。
将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
如果要使用其他用户在节点上读取已提交的作业相关文件,需确保该用户与提交作业的用户具有相同的用户组和具有对应的FlinkServer应用管理权限角色,如参考创建FlinkServer权限角色勾选“应用查看”。 作业状态为“运行中”的作业可以查看作业详情。
运行日志默认单个文件最大值为100MB,日志归档文件最大数目为20,其中HetuEngine计算实例运行日志单个文件最大值为100MB,归档在HDFS上的日志默认保留30天。
通过将BulkLoad操作记录在WAL上,同步至备集群,备集群通过WAL读取BulkLoad操作记录,将对应的主集群的HFile加载到备集群,完成数据的备份。
物化视图改写场景示例 物化视图的改写的核心原理是逻辑上创建的物化视图的数据要包含未来的查询语句要查询的数据,也可以是未来查询中的子查询要包含的全部数据。
将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
获取“user.keytab”、“krb5.conf”、“hbase-site.xml”、“hiveclient.properties”和“hive-site.xml”文件,并在Linux环境上创建文件夹保存这些配置文件,例如/opt/client/conf。
存储策略定义在Hue的WebUI界面上分为两大类: 静态存储策略 当前存储策略 根据HDFS的文档访问频率、重要性,为HDFS目录指定存储策略,例如ONE_SSD、ALL_SSD等,此目录下的文件可被迁移到相应存储介质上保存。
Storm-JDBC开发指引 操作场景 本文档主要说明如何使用开源Storm-JDBC工具包,完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt:JdbcInsertBolt和JdbcLookupBolt。其中,JdbcLookupBolt主要负责从数据库中查数据
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
约束限制: 不涉及 active_master 否 Boolean 参数解释: 自定义自动化脚本是否只运行在主Master节点上。 约束限制: 不涉及 取值范围: true:自定义自动化脚本只运行在主Master节点上。