检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
【HDFS WebUI】访问HDFS WebUI页面报错“重定向次数过多” 问题现象 通过Manager页面跳转HDFS WebUI页面偶现失败,报错“重定向次数过多”,此时其他组件的WebUI能正常访问。 原因分析 Knox为双活组件,运行过程中出现主备之间数据不同步问题导致。
行环境准备。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发运行调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。 弹性云服务器的网卡需要与MRS集群在同一个网段中。
则”。 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP,并允许从该IP访问MRS Manager页面。”
1,执行该步骤无法通过EIP访问Kafka时,可以参考如下操作进行处理: 登录到FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 实例”,勾选所有Broker实例,选择“更多 > 停止实例”验证管理员密码后停止所有Broker实例。 (该操作对业务有影响,请在业务低峰期操作)
1,执行该步骤无法通过EIP访问Kafka时,可以参考如下操作进行处理: 登录到FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 实例”,勾选所有Broker实例,选择“更多 > 停止实例”验证管理员密码后停止所有Broker实例。 (该操作对业务有影响,请在业务低峰期操作)
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在JDBCServer节点上分别
Flink中用了foreignObject元素来代理绘制svg矢量图,但是IE 10/11不支持foreignObject导致算子显示异常。推荐使用chrome浏览器。 父主题: Flink应用开发常见问题
步骤三:在Yonghong配置访问HetuEngine参数 打开Yonghong Desktop,选择“添加数据源 > presto”。 在数据源配置页面参考下图完成参数配置,“用户名”和“密码”为已创建的“人机”用户的用户名和用户密码。配置完成后可以单击“测试连接”测试。 图2 数据源配置
true kinit 组件业务用户 例如,kinit clickhouseuser。 执行以下命令连接到要导入数据的ClickHouse实例节点。 clickhouse client --host ClickHouse的实例IP --user 登录名 --password --port
Web页面访问类 无法访问MRS集群Manager页面如何处理? 登录集群Manager常见异常问题 访问MRS组件Web UI界面常见异常问题
在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 402 Payment Required 保留请求。 403 Forbidden 请求被拒绝访问。 返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。
如果MRS集群开启了Kerberos认证,登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加一个人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 参考添加Spark2x的Ranger访问权限策略章节,添加“ADD JAR操作”权限。
true kinit 组件业务用户 例如,kinit clickhouseuser。 执行以下命令连接到要导入数据的ClickHouse实例节点。 clickhouse client --host ClickHouse的实例IP --user 登录名 --password --port
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 将数据文件上传至HDFS中。 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在L
组件WebUI便捷访问 大数据组件都有自己的WebUI页面管理自身系统,但是由于网络隔离的原因,用户并不能很简便地访问到该页面。 例如访问HDFS的WebUI页面,传统的操作方法是需要用户创建ECS,使用ECS远程登录组件的UI,这使得组件的页面UI访问很是繁琐,对于很多初次接触大数据的用户很不友好。
MRS导入数据至HDFS MapReduce服务 MRS 配置存算分离并使用Hive访问OBS 05:47 配置存算分离并使用Hive访问OBS MapReduce服务 MRS 登录MRS集群节点 04:08 登录MRS集群节点 MapReduce服务 MRS 在MRS管理控制台提交Flink作业
les/output-data/map-reduce”,包括如下两个文件: _SUCCESS part-00000 可以通过Hue的文件浏览器或者通过HDFS如下命令行查看: hdfs dfs -ls /user/developuser/examples/output-data/map-reduce
les/output-data/map-reduce”,包括如下两个文件: _SUCCESS part-00000 可以通过Hue的文件浏览器或者通过HDFS如下命令行查看: hdfs dfs -ls /user/developuser/examples/output-data/map-reduce
les/output-data/map-reduce”,包括如下两个文件: _SUCCESS part-00000 可以通过Hue的文件浏览器或者通过HDFS如下命令行查看: hdfs dfs -ls /user/developuser/examples/output-data/map-reduce
Loader每个作业都需要关联一个连接器,连接器主要作用:对于数据导入到集群的场景来说,就是从外部数据源读取数据;对于数据从集群导出去的场景来说,就是将数据写入到外部数据源。上述示例配置的是一个SFTP数据源连接器。配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下: