检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后,不支持修改。 开启 用户名 默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。
如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Spark2x的Ranger访问权限策略。 Spark2x开启或关闭Ranger鉴权后,需要重启Spark2x服务,并重新下载客户端,或刷新客户端配置文件spark/conf/spark-defaults.conf:
failnodes=true 运行Oozie任务: oozie job -oozie https://oozie角色的主机名:21003/oozie/ -config job.properties -run “21003”为Oozie HTTPS请求的运行端口,可在FusionInsight Manager,选择“集群
编译并调测Flink应用 操作场景 在程序代码完成开发后,建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。
以omm用户登录主管理节点,执行如下命令,获取launcher-Job租户的tenantID。 curl -ki -L -u 用户名:密码 "https://$(hostname -i):9022/mrsmanager/api/v2/clusters/1/tenants/resource
Manager,修改该用户初始密码。 配置MRS Hive集群与Doris集群互信。 配置MRS Hive集群与Doris集群互信,详细操作请参考集群互信管理。 配置后验证。 以root用户登录Doris集群客户端,执行以下命令加载环境变量。 source 客户端安装路径/bigdata_env 执行以下命令认证Hive集群用户。
--server https://ip:port --krb5-remote-service-name Presto Server name 使用原生客户端 Presto原生客户端为客户端目录下的Presto/presto/bin/presto,使用方式参见https://prestodb
切换为HTTP后,需要在创建表的with子句中删除如下配置参数: 'doris.enable.https' = 'true' 'doris.ignore.https.ca' = 'true' 端口号为FE服务的HTTPS端口(开启Kerberos认证的集群)或HTTP端口(未开启Kerberos认
disk.balancer.auto.enabled 是否开启自动执行HDFS DiskBalancer特性。默认值为“false”,表示关闭该特性。 false dfs.disk.balancer.auto.cron.expression HDFS 磁盘均衡操作的CRON表达式
groupId,String locatorId)相同,只是允许用户自定义checksum选项。 public void close() 使用完毕后关闭连接。 表5 HDFS客户端WebHdfsFileSystem接口说明 接口 说明 public RemoteIterator<FileStatus>
选择引导操作脚本所执行的节点类型。 Active Master - 仅在选中Master作为执行节点时有意义,表示是否只在Active Master节点上执行。默认关闭,即在所有Master节点执行。 参数 - 可选,引导操作脚本参数。 执行时机 组件首次启动后 选择引导操作脚本执行的时间。 组件首次启动前
如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn
clickhouseuser。 连接ClickHouse客户端,可参考ClickHouse客户端使用实践。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 普通模式: clickhouse client --host ClickHouse的实例IP
job命令,运行工作流文件。 oozie job -oozie https://oozie角色的主机名:21003/oozie -config job.properties文件所在路径 -run 例如: oozie job -oozie https://10-1-130-10:21003/oozie
则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中,打开浏览器访问Manager。 Manager访问地址为https://OMS浮动IP地址:28443/web地址。访问时需要输入集群的用户名和密码,例如“admin”用户。 OMS浮动IP地址:远程登
则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中,打开浏览器访问Manager。 Manager访问地址为https://OMS浮动IP地址:28443/web地址。访问时需要输入集群的用户名和密码,例如“admin”用户。 OMS浮动IP地址:远程登
27 16/02/24 15:45:42 INFO mapreduce.Job: The url to track the job: https://linux1:8090/proxy/application_1455853029114_0027/ 16/02/24 15:45:42
failnodes=true 运行Oozie任务: oozie job -oozie https://oozie角色的主机名:21003/oozie/ -config job.properties -run “21003”为Oozie HTTPS请求的运行端口,可在FusionInsight Manager,选择“集群
YARN REST API接口介绍 功能简介 通过HTTP REST API来查看更多Yarn任务的信息。目前Yarn的REST接口只能进行一些资源或者任务的查询。完整和详细的接口请直接参考官网上的描述以了解其使用:http://hadoop.apache.org/docs/r3
示例中的IP为WebHCat所在节点的业务IP,端口为安装时设置的WebHCat端口。 示例中的协议类型在普通集群中为“http”,安全集群为“https”。详见MRS Manager管理界面“服务管理 > Hive > 服务配置”中“templeton.protocol.type”配置。