检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口(21351),其余的可根据业务需求配置。 10.0.0.1:21351
在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。
添加网络ACL规则,其中“策略”选择“允许”,“源地址”填入4中获取的“虚拟私有云”对应的“IPv4网段”,其他值保持默认即可。 单击“确定”完成网络ACL规则添加。 如果您不想放开VPC对应的全部IPv4网段的规则,请继续参考9~13添加切换前后两个子网对应的IPv4网段地址。若已完成VPC对应IPv4网段的规则添加,则无需执行操作。
py”中的host的值修改为安装HiveServer的节点的业务平面IP,port的值修改为Hive提供Thrift服务的端口。 HiveServer业务平面IP地址可登录FusionInsight Manager,选择“集群 > 服务 > Hive > 实例”查看。 port可在FusionInsight
接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息,以便NettySource连接使用。为用户提供以下接口: public interface RegisterServerHandler { /** * 启动注册服务器 * @param
Web页面无法直接连接? 问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过以下步骤来解决问题。 查看客户端的配置文件“conf/flink-conf.yaml”。 确认配置项“jobmanager
在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。
使用Loader导入数据至MRS集群 使用Loader从SFTP服务器导入数据到HDFS/OBS 使用Loader从SFTP服务器导入数据到HBase 使用Loader从SFTP服务器导入数据到Hive 使用Loader从FTP服务器导入数据到HBase 使用Loader从关系型数据库导入数据到HDFS/OBS
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印,该如何查看此调试日志?避免与运行日志混在一起打印,如何将业务日志单独输出至指定文件? 回答 Flink所有的运行
如何使用PySpark连接MRS Spark? 问: 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群? 答: 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印,该如何查看此调试日志?避免与运行日志混在一起打印,如何将业务日志单独输出至指定文件? 回答 Flink所有的运行
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印,该如何查看此调试日志?避免与运行日志混在一起打印,如何将业务日志单独输出至指定文件? 回答 Flink所有的运行
其存在。 Job Pipeline流图结构 Pipeline是由Flink的多个Job通过TCP连接起来,上游Job可以直接向下游Job发送数据。这种发送数据的流图称为Job Pipeline,如图1所示。 图1 Job Pipeline流图 Job Pipeline原理介绍 图2
接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息,以便NettySource连接使用。为用户提供以下接口: public interface RegisterServerHandler { /** * 启动注册服务器 * @param
定制、查看组件级别监控图表。 在“图表”区域框中,单击“定制”自定义服务监控指标。 在“时间区间”选择查询时间,单击“查看”显示该时间段内的监控数据。 查看角色实例监控。 在组件列表中单击服务指定名称。 单击“实例”,查看组件内的各角色实例状态。 支持在列表右上角筛选相同角色
Manager平台,无法进行正常运维操作。 floatip进程持续重启,可能引起无法访问服务原生UI界面。 可能原因 浮动IP地址异常。 处理步骤 检查主管理节点的浮动IP地址状态。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址及资源名称。 以roo
接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息,以便NettySource连接使用。为用户提供以下接口: public interface RegisterServerHandler { /** * 启动注册服务器 * @param
在虚拟私有云管理控制台,申请弹性公网IP(集群有几个节点就买几个),并分别单击MRS集群的节点名称,在节点的“弹性公网IP”页面绑定弹性公网IP。 具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器,如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。