检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Spark连接集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群,需提前准备具有相关组件操作权限的用户用于程序认证。 以下Spark2x权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
- krb5文件 开启安全模式时填写此参数。 Kerberos认证用到的配置文件,在本地选择2获取的“krb5.conf”文件。 krb5.conf 开启数据源鉴权 是否同时使用Hive数据源的权限策略进行鉴权。 HetuEngine服务Ranger不启用时必须选“是”,Ranger启用后选“否”。
参数类型 描述 auto_scaling_enable Boolean 参数解释: 当前自动伸缩规则是否开启。 约束限制: 不涉及 取值范围: true:开启自动伸缩规则 false:不开启自动伸缩规则 默认取值: 不涉及 min_capacity Integer 参数解释: 指定该节点组的最小保留节点数。
为什么在Zookeeper服务器上启用安全的netty配置时,四个字母的命令不能与linux的netcat命令一起使用? 例如: echo stat |netcat host port 回答 Linux的netcat命令没有与Zookeeper服务器安全通信的选项,所以当启用安全的netty配置
日志聚合下如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。 日志聚合功能是指:
为“true”时,就开启了container日志聚合功能。日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能。 然而,开启container日志
配置跨集群互信下Hive on HBase 两个开启Kerberos认证的互信集群中,使用Hive集群操作HBase集群,将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。 前提条件 两个开启Kerberos认证的安全集群已完成跨集群互信配置。
日志聚合下,如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。日志聚合功能是指:当
准备Impala应用开发用户 开发用户用于运行样例工程。用户需要有Impala权限,才能运行Impala样例工程。 前提条件 MRS服务集群开启了Kerberos认证时请执行该步骤,没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager。 单击“系统设置 > 用户管理 > 添加用户”,为样例工程创建一个用户。
为“true”时,就开启了container日志聚合功能。日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能。 然而,开启container日志
如果当前集群未启用Kerberos认证,执行如下命令连接ClickHouse服务端: clickhouse client --host ClickHouse实例的IP地址 --port 9000 --user 用户名 --password 如果当前集群启用Kerberos认证
jar拷贝到“/opt/hive_examples”下。 将客户端下的配置文件拷贝到“conf”下,开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/opt/hive_examples/conf下,未开启Kerberos认证集群可不必拷贝user.keytab和krb5
在已有弹性伸缩策略右边单击“删除”按钮,在弹出的对话框中单击“确定”。 开启或关闭已有弹性伸缩策略 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称。进入集群详情页面。 选择“弹性伸缩”页签。 在已有弹性伸缩策略上单击“启用/关闭弹性伸缩策略”。 父主题: MRS集群Task节点弹性伸缩
Chrome浏览器。 对系统的影响 第一次访问Manager和Hue WebUI,需要在浏览器中添加站点信任以继续打开Hue WebUI。 前提条件 启用Kerberos认证时,MRS集群管理员已分配用户使用Hive的权限,具体操作请参见创建MRS集群用户。例如创建一个“人机”用户“hueu
x及后续版本适用于Hive,Spark2x。 开启此功能后,在创建Hive内部表时,不能指定location。即表创建成功之后,表的location路径会被创建在当前默认warehouse目录下,不能被指定到其他目录。如果创建内部表时指定location,则创建失败。 开启本功能之后,创建Hive内
配置跨集群互信下Hive on HBase 本章节指导在两个开启Kerberos认证的互信集群中,使用Hive集群操作HBase集群,将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。 前提条件 两个开启Kerberos认证的安全集群已完成跨集群互信配置。
当IoTDB所在集群为非安全模式时,请咨询IoTDB所在集群的集群管理员获取用户“root”的密码。 开启ssl IoTDB服务是否开启了SSL,安全集群默认开启。 是 truststore文件 IoTDB开启SSL后需上传“truststore.jks”文件。 - IoTDBServer业务IP:
rd)”。 keystore-type JKS SSL启用后密钥存储类型。 keystore - SSL启用后密钥存储文件路径,开启SSL后,该参数必填。 keystore-password - SSL启用后密钥存储密码,开启ssl后,该参数必填。 truststore-type
如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(开启kerberos认证模式端口),那么修改该端口为9092(没有开启kerberos认证模式端口)。 检查网络是否正常,确保当前机器能够正常访问Kafka集群。 父主题: Kafka应用开发常见问题
准备Presto应用开发用户 开发用户用于运行样例工程。用户需要有Presto权限,才能运行Presto样例工程。若MRS集群开启了Kerberos认证需要执行该步骤,没有开启Kerberos认证的集群请忽略该步骤。 操作步骤 登录MRS Manager页面。 单击“系统设置 > 用户管理 >