检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在运行样例程序时需要指定<brokers> <subscribe-type> <topic> <checkpointDir>。 <brokers>指获取元数据的Kafka地址。 <subscribe-type>指Kafka订阅类型(如subscribe)。 <topic>指读取Kafka上的topic名称。
图4 CPU配额 YARN开源增强特性:重启性能优化 一般情况下,RM恢复会获取正在运行和已完成的应用。而大量的已完成的应用可能导致RM启动过慢、HA切换/重启耗时过长等问题。 为了加速RM的启动,现在优先获取未完成的应用列表,再启动RM。此时,已完成的应用会在一个后台异步线程中继续恢复。下图展示了RM的启动恢复流程。
rap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修改该端口为9092(Kafka普通模式端口)。 检查网络是否正常,确保当前机器能够正常访问Kafka集群。
ery目录下获取)。 运行任务 在运行样例程序时需要指定<brokers> <subscribe-type> <topic> <protocol> <service> <domain><checkpointDir>,其中<brokers>指获取元数据的Kafka地址(需使用210
<topic> <protocol> <service> <domain><checkpointDir>。 <brokers>指获取元数据的Kafka地址。 <subscribe-type>指Kafka订阅类型(如subscribe)。 <topic>指读取Kafka上的topic名称。
FE实例IP地址 admin用户默认密码为空。 数据库连接端口为Doris FE的查询连接端口,默认为29982,也可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登
果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 前提条件 已安装客户端时: 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux
用户同时还需要至少manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如10
统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示,具体代码参见collectFemaleInfo.py。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: def contains(str, substr): if substr in str:
果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 前提条件 已安装客户端时: 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux
用户同时还需要至少manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如10
bigdata.hbase.examples包的“HIndexExample”类的scanDataByHIndex方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: public void scanDataByHIndex() { LOG.info("Entering
Manager”,弹出“访问MRS Manager页面”。 单击“管理安全组规则”,检查安全组规则配置。 检查入口方向Any协议的源地址是否为0.0.0.0/0。 如果是,修改入口方向Any协议的远端为指定IP地址。如果不是,则无需修改。 修改成功后,重启集群。 建议与总结 关闭入口方向的Any协议,或者指定入口方向的Any协议远端为指定IP。
用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如10
用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的Oozie服务器(任意实例)URL,如“https://10.1.130.10:21003/oozie”。 获取运行状态的Oozie服务器主机名,如“10-1-130-10”。 获取Yarn ResourceManager主节点IP,如10
果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 前提条件 已安装客户端时: 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux
<checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 * <brokers>为获取元数据的Kafka地址。 */ object DstreamKafkaWriterTest1 { def main(args: Array[String])
<checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 * <brokers>为获取元数据的Kafka地址。 */ object DstreamKafkaWriterTest1 { def main(args: Array[String])
Catalog等。 可能原因 获取的AK/SK失效。 连接OBS失败。 处理步骤 确认上报告警原因。 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,选中“告警ID”为“50229”的告警,查看“定位信息”中的角色名并确定实例的IP地址,查看“附加信息”中的CurrentValue值。
Catalog等。 可能原因 获取的AK/SK失效。 连接OBS失败。 处理步骤 确认上报告警原因。 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,选中“告警ID”为“50230”的告警,查看“定位信息”中的角色名并确定实例的IP地址,查看“附加信息”中的CurrentValue值。