检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI页面中events超链接地址无效 用户问题 Storm组件的Storm UI页面中events超链接地址无效。 问题现象 用户提交拓扑后无法查看拓扑数据处理日志,按钮events地址无效。 原因分析 MRS集群提交拓扑时默认不开启拓扑数据处理日志查看功能。 处理步骤 进入服务页面:
操作场景 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行打包Strom应用业务步骤,打出source
如果创建MRS集群时暂未绑定弹性公网IP,在“弹性公网IP”下拉框中选择可用的弹性公网IP。如果用户创建集群时已经绑定弹性公网IP,直接执行3.b。 如果没有弹性公网IP,可先单击“管理弹性公网IP”创建弹性公网IP,然后在弹性公网IP下拉框中选择创建的弹性公网IP。 如果在使用完后需要解绑或释放弹
择需要查看的时间)。 单击“查看”可以查看相应时间区间的监控数据。 MRS Manager在“服务概览”显示各个服务的“健康状态”和“角色数”。 单击曲线图表上侧的图标,可显示具体的指标说明信息。 自定义监控指标报表。 单击“定制”,勾选需要在MRS Manager显示的监控指标
如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试? 回答 以调试SparkPi程序为例,演示如何进行IDEA的远程调试。 打开工程,在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”
erver的地址。 server master1_ip prefer server master2_ip 图1 增加Master节点的IP 执行service ntpd stop命令关闭NTP服务。 执行/usr/sbin/ntpdate 主Master节点的IP地址 命令手动同步一次时间。
数据操作 操作IP 记录执行操作的IP地址。 说明: 当MRS集群部署失败时,集群会被自动删除,并且自动删除集群的操作日志中不包含用户的“操作IP”信息。 用户 执行操作的用户。 操作内容 记录实际操作内容,不超过2048字符。 时间 记录操作的时间。对于已删除的集群,界面只显示
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 系统本地最多只能保存50个转储文件,如果该故障持续存在于转储服务器,会导致本地历史审计日志丢失,查询超过当前时间点的前50条审计日志时无法查询。 可能原因
用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“新建作业”。 单击“连接”后的下拉列表框,可以查看已创建的连接。 编辑连接 在Loader页面,单击“新建作业”。 单击“连接”后的下拉列表框,选择待编辑的连接名称。 在“连接”后单击“编辑”,进入编辑页面。
执行gs_ctl -D $GAUSSDATA reload #命令使修改后的配置生效。 处理步骤2 DBservice的浮动IP配置需要同网段内没有被使用过的IP,也就是在配置前ping不通的IP,请修改DBService浮动IP配置。 父主题: 使用Hive
业。 查看MRS作业日志 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名,进入集群基本信息页面。 选择“作业管理”。 在需要查看作业对应的“操作”列中,单击“更多 > 查看详情”。 弹出“查看详情”窗口,显示该作业的配置信息。 选择一个运行中的作业,在
设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 按安装客户端时编译并运行HBase应用中的方式修改样例。 执行mvn package生成jar包,在工程目录target目录下获取,比如:hbase-examples-2.0.jar。 准备依赖的Jar包和配置文件。
“安全级别”:表示每条审计日志的安全级别,包含“高危”、“危险”、“一般”和“提示”四种。 “开始时间”:表示用户操作开始的时间,且时间为CET或CEST时间。 “结束时间”:表示用户操作结束的时间,且时间为CET或CEST时间。 “用户IP”:表示用户操作时所使用的IP地址。 “用户”:表示执行操作的用户名。
如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中? 处理步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户
日志聚合下,如何查看Spark已完成应用日志 问题 当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志? 回答 当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。日志聚合功能
删除不再使用的安全组规则。 在EIP管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见为弹性云服务器申请和绑定弹性公网IP。 登录弹性云服务器。 登录ECS需要Windows系统的账号、密码,弹性IP地址以及配置安全组规则。具体请参见Windows云服务器登录方式。
单击“确定”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“新建作业”。 单击“连接”后的下拉列表框,可以查看已创建的连接。 编辑连接 在Loader页面,单击“新建作业”。
进入“添加安全组规则”页面,添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的公网IP/端口号是可信任的公网访问IP范围,我了解使用0.0.0.0/0会带来安全风险”如图2所示。 图2 添加安全组规则 默认填充的是用户访问公网的IP地址,用户可根据需要修改IP地址段,如需开放多个IP段为可信范围,请重复
如何准备MRS的数据源? MRS既可以处理OBS中的数据,也可以处理HDFS中的数据。在使用MRS分析数据前,需要先准备数据。 将本地数据上传OBS。 登录OBS管理控制台。 在OBS上创建userdata并行文件系统,然后在userdata文件系统下创建program、input、output和log文件夹。
现象描述 Hue服务组件的Hue WebUI页面打不开。 原因分析 端口未对外开放。 浮动IP配置错误。 一次性查询大量的数据,导致查询耗时长,占用了Hue中Hive的链接,导致Hue访问出现异常。 排查思路 在浏览器所在的本地机器,通过命令行执行telnet指令,查看端口是否开放。 在