检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
enabled.mechanisms”,将参数值改为“GSSAPI,PLAIN”。单击“保存”。 单击“概览”,选择“更多 > 重启服务”使配置生效。 Kafka客户端配置Sasl Plain认证。 Kafka客户端只需要配置动态jaas.conf并设置相关认证属性即可。详情可参考样例工程com
当前Impala使用OBS存储时,同一张表中,不支持分区和表存储位置处于不同的桶中。 例如:创建分区表指定存储位置为OBS桶1下的文件夹,此时修改表分区存储位置的操作将不会生效,在实际插入数据时以表存储位置为准。 创建分区表并指定表存储路径。 create table table_name(id int,name
点的SSSD(System Security Services Daemon)缓存刷新需要时间,因此用户同步完成后,请等待5分钟,待新策略生效之后,再进行提交作业,否则会出现提交作业失败的情况。 当前IAM用户名中存在空格时(例如admin 01),不支持添加作业。 单击“作业管理”,在作业列表界面单击“添加”。
的值。 ProxyHTMLEnable On SetEnv PROXY_PREFIX=https://[proxy_ip]:[proxy_port] ProxyHTMLURLMap (https?:\/\/[^:]*:[0-9]*.*) ${PROXY_PREFIX}/proxyRedirect=$1
Spark2x样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程:
LTS版本对应样例工程下载地址: MRS 3.3.0-LTS版本:https://github.com/huaweicloud/huaweicloud-mrs-example/tree/mrs-3.3.0。 MRS 3.2.0-LTS.1版本:https://github.com/huaweiclo
custom:根据实际数据量大小在GC_OPTS中设置内存大小。 custom GC_OPTS JVM用于gc的参数。仅当GC_PROFILE设置为custom时该配置才会生效。需确保GC_OPT参数设置正确,否则进程启动会失败。 须知: 请谨慎修改该项。如果配置不当,将造成服务不可用。 -Xms2G -Xmx4G
audit”目录下查看各组件的审计日志,日志中主要字段含义如下: result:策略校验结果,0表示拒绝,1表示允许。 policy:匹配生效的策略ID,对应页面中策略的“Policy ID”,若为-1表示未匹配到策略。 action:表示执行的操作权限,对应策略中的“Permissions”中勾选的操作权限。
行SQL的解析和生成执行计划,然后分发到多个Worker进程上执行。 有关Presto的详细信息,请参见:https://prestodb.github.io/或https://prestosql.io/。 Presto多实例 MRS支持为大规格的集群默认安装Presto多实例,
list”配置项的值,否则以HTTPS访问不了Yarn。单击“保存”,单击“确定”,保存完成后重启该服务。 TLSv1协议存在安全漏洞,请谨慎使用。 操作步骤 获取运行在Yarn上的任务的具体信息。 命令: curl -k -i --negotiate -u : "https://10-12
doop、supergroup组,主组为hive,角色绑定sparkstatic1。 配置Spark SQL防御使用约束 防御规则默认动态生效时间为6分钟。 仅支持SQL类型作业。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。 静态规则static_0007,因S
置参数。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 MapReduce日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd
在左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存配置”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 Yarn的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd
滚动重启实例”,等待滚动重启完成生效。 (可选)如果需要关闭此配置,将“enable.advertised.listener”设置为“false”,单击“保存”。在Kafka“实例”界面,勾选Broker实例,选择“更多 > 滚动重启实例”,等待滚动重启完成生效。 开启Kerberos认证集群开启“enable
${BIGDATA_HOME}/om-server/om/sbin/get_reset_pwd.sh 密码后缀 user_name 密码后缀为用户设置的参数,如果不指定,则填充为默认值,默认值为“Admin@123”。 user_name为可选参数,默认取值为“admin”。 命令中如果携带认证密码信息
级联授权生成的HDFS/OBS存储源端的权限弱于HDFS Ranger策略的权限,即如果已经对表的HDFS存储源设置了HDFS Ranger权限,则级联权限将不会生效。 不支持对存储源为OBS的表级联授权后直接进行alter操作,需要给对应用户组额外授予OBS表路径的父目录的“Read”和“Write”
-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty 如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 查看运行结果获取应用运行情况 如下所示,通过控制台输出结果查看应用运行情况。 1848 [main]
当前Impala使用OBS存储时,同一张表中,不支持分区和表存储位置处于不同的桶中。 例如:创建分区表指定存储位置为OBS桶1下的文件夹,此时修改表分区存储位置的操作将不会生效,在实际插入数据时以表存储位置为准。 创建分区表并指定表存储路径。 create table table_name(id int,name
当前Impala使用OBS存储时,同一张表中,不支持分区和表存储位置处于不同的桶中。 例如:创建分区表指定存储位置为OBS桶1下的文件夹,此时修改表分区存储位置的操作将不会生效,在实际插入数据时以表存储位置为准。 创建分区表并指定表存储路径。 create table table_name(id int,name
选择“更多 > 滚动重启 ”,在弹出的界面中输入用户和密码,单击“确定”,在“滚动重启实例”界面单击“确定”,等待滚动重启完成,使其生效。 配置生效后,在告警列表中,查看本告警是否清除。 是,处理完毕。 否,执行5。 检查集群是否存在热点问题 在FusionInsight Manager首页,选择“集群