检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce和Presto)访问Alluxio。 使用Alluxio作为Spark应用程序的输入和输出 以root用户登录集群的Master节点,密码为用户创建集群时设置的root密码。 执行如下命令,配置环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerb
访问KafkaManager的WebUI 用户可以通过KafkaManager的WebUI,在图形化界面监控管理Kafka集群。 前提条件 已安装KafkaManager服务的集群。 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 访问KafkaManager的WebUI
Kafka支持的访问协议类型有哪些? 问: Kafka支持的访问协议类型有哪些? 答: Kafka支持四种协议类型的访问,分别为:PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL。 父主题: 组件配置类
macOS使用浏览器访问MRS Manager 问题现象 在Mac电脑上无法使用Chrome浏览器访问MRS Manager。 原因分析 由于Mac电脑的证书限制导致无法访问。 处理步骤 复制MRS Manager的登录链接,使用Chrome浏览器访问。 显示MRS Manager登录页面,此
执行如下命令获取“HUE_FLOAT_IP”的地址: grep "HUE_FLOAT_IP" ${BIGDATA_HOME}/MRS_Current/1_*/etc*/ENV_VARS, 其中MRS以实际文件名为准。 比较本机IP和“HUE_FLOAT_IP”的值是否相同,若不相同,请修改
Manager页面,看到Yarn服务的业务IP地址为192网段。 从Yarn的日志看到,Yarn读取的Spark Web UI地址为http://10.10.169.53:23011,是10网段的IP地址。由于192网段的IP和10网段的IP不能互通,所以导致访问Spark Web UI界面失败。
Kafka安全接口介绍 访问开启Kerberos认证模式Kafka集群端口默认为21007,访问没有开启Kerberos认证模式集群端口默认为21005。 旧API仅支持访问9092端口;新API兼容访问没有开启Kerberos模式集群端口9092和开启Kerberos认证模式集群端口21007。
量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据,客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用,同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS:数据存储和计算分离,集群存储成本低,
通过专线访问Manager页面方式出现503报错 问题现象 通过专线方式访问Manager界面,出现503报错:当前无法使用此页面”。 原因分析 随着任务量的增大或者任务并发较高,有可能会导致Executor内存不足,进而导致访问Manager异常。 处理步骤 通过root用户登录M
admin 操作才可使用。 其他用户库表操作 参照表格上述相关操作添加对应权限。 给用户添加其他用户库表的HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权限策略。 如果用户在执行命令时指定了HDFS路径,需要给该用户添加HDFS路径的读、写、执行权限,详情请参
组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。
访问Spark应用的聚合日志页面报“DNS查找失败”错误 问题 采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时,如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面(
使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx.xxx.xxx.xxx”修改为需要连接的开源的ZooKeeper的IP,端口号按照实际情况修改。如果仅需运行访问第三方Zookeeper的样例,需注释掉main函数中的“testConnectHive”方法。
访问MRS集群上托管的开源组件Web页面 如果组件支持开源WebUI,则在组件基本信息区域可通过WebUI的链接访问开源WebUI。 对于开启Kerberos认证的集群,admin用户不具备各组件的管理权限,如需正常访问各组件的Web UI界面,请提前参考创建MRS集群用户创建具有对应组件管理权限的用户。
ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx.xxx.xxx.xxx”修改为需要连接的开源的ZooKeeper的IP,端口号按照实际情况修改。如果仅需运行访问第三方Z
admin操作才可使用。 其他用户库表操作 参照表格上述相关操作添加对应权限。 给用户添加其他用户库表的HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权限策略。 如果用户在执行命令时指定了HDFS路径,需要给该用户添加HDFS路径的读、写、执行权限,详情请参
在文件中搜索21201,并删除文件中的如下内容。proxy_ip和proxy_port对应实际环境中的值。 ProxyHTMLEnable On SetEnv PROXY_PREFIX=https://[proxy_ip]:[proxy_port] ProxyHTMLURLMap (https
如何处理无法直接通过URL访问Flink Web 问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过修改客户端的配置文件“conf/flink-conf
如何处理无法直接通过URL访问Flink Web 问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过修改客户端的配置文件“conf/flink-conf
broker.id.port.map Kafka对外发布的端口,默认值为空。 格式为:Broker ID:Port。“Port”为将要绑定的端口,此端口为自定义端口,配置的端口必须为可用的端口。配置多个映射时,使用英文半角逗号分隔。 将2中记录的每个Broker实例的Broker I