检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Producer发送数据失败 可能原因 Kafka服务异常。 网络异常。 Kafka Topic异常。 原因分析 查看Kafka服务状态: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。
数。 MinHash用于估计两个集合的Jaccard相似系数。它通常用于数据挖掘,用于大规模检测近乎相同的网页。通过使用这些信息,搜索引擎有效地避免了在搜索结果中显示两个几乎相同的网页。 以下示例展示了如何使用Set Digest函数来简单估计文本之间的相似性。通过使用函数ngr
HetuEngine支持查询下推(pushdown),它能把查询,或者部分查询,下推到连接的数据源。这意味着特殊的谓词,聚合函数或者其他一些操作,可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处: 提升整体的查询性能。 减少HetuEngine和数据源之间的网络流量。 减少远端数据源的负载。
Bucket表,可以开启桶裁剪提升主键点查效率 示例: 业务经常使用主键id作为查询条件,执行点查;比如select xxx where id = idx ... 。 建表时,可以加入如下属性,提升查询效率。默认配置下属性值等于primaryKey,即主键。 hoodie.bucket
查看Storm拓扑日志 操作场景 用户需要查看Storm拓扑在worker进程中的执行情况时,需要查看worker中关于拓扑的日志。如果需要查询拓扑在运行时数据处理的日志,提交拓扑并启用“Debug”功能后可以查看日志。仅启用Kerberos认证的流集群支持该场景,且用户需要是拓
Gtidset”,单击“确定”,任务启动。 如果2查询到的“Executed_Gtid_Set”存在两个值且以逗号分隔,则记录第一个值,并将该值填入“Start Gtidset”,如下图所示,“Start Gtidset”值为“13a90ad1-1f02-11ee-9ba9-fa163e6190d3:1-2794”:
否,执行9。 检查与DBService连接的网络是否正常。 单击“组件管理 > Hue > 实例”,记录主Hue的IP地址。 使用PuTTY工具登录主Hue的IP地址。 执行ping命令,查看主Hue所在主机与DBService服务所在主机的网络连接是否正常。(获取DBService服务IP地址的方式和获取主Hue
mysql -u数据库登录用户 -p -PFE查询连接端口 -hDoris FE实例IP地址 执行命令后输入数据库登录用户密码。 Doris FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。
打开Hue页面的时候提示“Proxy Error”。 原因分析 网络故障(如:错包率高、高延迟等)导致Httpd没有接收到报文或者接收到了错误报文。 时钟跳变或其他因素的影响导致Httpd服务与Hue服务认证关系失效。 排查思路 排查是否发生过网络故障或时钟跳变。 排查当前是否发生过或仍存在Hue服务相关告警。
用于增加、删除、修改及查询Kerberos组件认证账户信息。 组件运行用户 hdfs Hdfs@123 HDFS系统管理员,用户权限: 文件系统操作权限: 查看、修改、创建文件 查看、创建目录 查看、修改文件属组 查看、设置用户磁盘配额 HDFS管理操作权限: 查看webUI页面状态 查看、设置HDFS主备状态
登录主Hue的IP地址。 执行ping命令,查看主Hue所在主机与DBService服务所在主机的网络连接是否正常。(获取DBService服务IP地址的方式和获取主Hue IP地址的方式相同。) 是,执行13。 否,执行11。 联系网络管理员恢复网络。 等待几分钟。检查“Hue服务不可用”告警是否恢复。
量,减少网络IO,从而提升查询效率。 比如在表join前先过滤数据比在ON和WHERE时过滤可以有效较少join数据量。因为执行顺序从发生shuffle再filter变成了先发生filter再shuffle。 【示例】优化后将谓词条件A.userid>10提前到了子查询语句中,减少了shuffle的数据量:
一般情况下,建议就近选择靠近您或者您的目标用户的区域,可以减少网络时延,提高访问速度。但在基础设施、BGP网络品质、资源的操作与配置等方面,同一个国家各个区域间区别不大,如果您或者您的目标用户在同一个国家,可以不用考虑不同区域造成的网络时延问题。 在除中国大陆以外的亚太地区的用户,可以选择
MRS集群节点所归属的虚拟私有云网络(VPC),如果没有可用的虚拟私有云,请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。 - 子网 虚拟私有云(VPC)网络内的子网信息,如果没有可用的子网,请单击“查看子网”进入网络控制台,创建一个新的子网。 通过子网提供与其他网络隔离的、可以独
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色,其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 Ka
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色,其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 在进
若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用
请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。 - 子网 虚拟私有云网络内的子网信息,如果没有可用的子网,请单击“查看子网”进入网络控制台,创建一个新的子网。 - 集群节点 MRS集群内节点的规格信息及数量配置。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。
处理步骤 查看服务器连接是否正常。 查看FusionInsight Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系网络管理员恢复网络连接,然后检查告警是否恢复。 是,执行完毕。 否,执行3。 选择“系统 > 对接 > 监控数据上传”,查看监控数据上
Topic分布信息和副本同步信息 检查客户端与Kafka集群网络是否连通,若网络不通协调网络组进行处理。 通过SSH登录Kafka Broker。 通过cd /var/log/Bigdata/kafka/broker命令进入日志目录。 查看server.log发现如下日志抛出java.lang