检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ser。 “用户组”需加入“kafkaadmin”用户组。 使用Ranger管理员用户rangeradmin登录Ranger管理页面。 在首页中单击“KAFKA”区域的组件插件名称如“Kafka”。 单击“Policy Name”名称为“all - topic”操作列的。 在“Allow
ms的设置时长,此时发生rebalance导致本次消费失败,已经消费数据的offset无法正常提交,所以下次重新消费时还是在旧的offset消费数据,从而导致消费数据重复。 解决办法 建议用户在Manager页面调整以下服务参数: request.timeout.ms=100000 session.timeout.ms=90000
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.1.0.0.16 发布时间 2024-11-25 解决的问题 提交Spark SQL作业,中文冒号被转换成英文冒号。 Spark SQL外表动态分区执行insert overwrite报错。 Spark JDBC产生空指针报错。
用root用户登录故障节点,在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是,执行6。 否,请联系网络管理员,解决网络故障。 检查Name Service服务是否异常。 用root用户登录故障节点,执行命令cat /etc/nsswitch.conf,
如果用户注册重复的Hive UDF,系统将只注册一次,并忽略重复的注册。 如果用户注册的Hive UDF与系统内部注册的相同,系统将会发生异常并无法正常启动。解决该异常需要用户删除对应的Hive UDF注册信息。 部署Hive UDF 要在HetuEngine中使用Hive UDF,需要用户将相应的UDF函数包、“udf
oker和Consumer Group数量。 单击“Brokers”、“Topics”、“Consumer Group”下方的数字,可自动跳转至对应页面,查看并操作对应信息。 在“Cluster Action”栏,可创建Topic与分区迁移,具体操作请参考增加Kafka Topic分区。
Streaming应用创建1个输入流,但该输入流无输出逻辑时,则不会给它设置context。所以在序列化时报“NullPointerException”。 解决办法:应用中如果有无输出逻辑的输入流,则在代码中删除该输入流,或添加该输入流的相关输出逻辑。 父主题: Spark Streaming
在“日志管理”页面中,可以查看日志组名称、日志存储时间、创建时间、创建类型和标签(支持修改)。单击日志组操作列的“修改”可修改日志组名称和日志存储时间。 单击日志组名称,可跳转到日志流详情页面。 创建日志流。 在云日志服务管理控制台,单击日志组名称对应的下拉按钮。 单击展开页面左上角的“创建日志流”,输入日志流名称,名称需要满足如下要求:
data/jdk1.8.0_232/jre/lib/security/cacerts)替换当前节点java jdk目录下的cacerts来解决。 父主题: Presto应用开发常见问题
用root用户登录故障节点,在这个节点上使用ping命令检查该节点与LdapServer节点的网络是否畅通。 是,执行6。 否,请联系网络管理员,解决网络故障。 检查Name Service服务是否异常。 用root用户登录故障节点,执行cat /etc/nsswitch.conf命令,
SON对象。 JSON数组可以具有混合元素类型,JSON Map可以有混合值类型。这使得在某些情况下无法将其转换为SQL数组和Map。为了解决该问题,HetuEngine支持对数组和Map进行部分转换: SELECT CAST(JSON'[[1, 23], 456]'AS ARRAY(JSON));--
等待5至10分钟后查看Broker实例的运行状态是否为“良好”。 是,修复完成后按照“ALM-38001 Kafka磁盘容量不足”告警指导彻底解决磁盘容量不足问题。 否,联系运维人员。 按照上述步骤将故障Broker进行恢复后,阻塞的均衡任务会继续执行,可使用--status命令来查看任务的执行进度。
需要对接Kafka,则需要添加kafkaadmin用户组。 使用Ranger管理员用户rangeradmin登录Ranger管理页面。 在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 单击“Policy Name”名称为“all - database, table
ZooKeeper开源增强特性:ZooKeeper SSL通信(Netty连接) ZooKeeper设计最初含有Nio包,且不能较好的支持3.5版本后的SSL。为了解决这个问题,Netty被加入到ZooKeeper中。所以如果用户需要使用SSL,启用Netty并设置Server端和Client端的以下参数。
Streaming应用创建1个输入流,但该输入流无输出逻辑时,则不会给它设置context。所以在序列化时报“NullPointerException”。 解决办法:应用中如果有无输出逻辑的输入流,则在代码中删除该输入流,或添加该输入流的相关输出逻辑。 父主题: Spark Streaming
步骤1:创建CDM集群并绑定EIP 步骤2:创建MRS HDFS连接 步骤3:创建OBS连接 步骤4:创建迁移作业 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 CD
的。bucket key充当附加group key的角色,以分担group key中热点的负担。bucket key使Job具有可伸缩性来解决不同聚合中的数据倾斜/热点。 【示例】 资源文件配置: table.optimizer.distinct-agg.split.enabled:
)制定的一种文本标记语言,用于表示矢量几何对象、空间参照系统及空间参照系统之间的转换。 WKB(well-known binary) 是WKT的二进制表示形式,解决了WKT表达方式冗余的问题,便于传输和在数据库中存储相同的信息。 GeoJSON一种JSON格式的Feature信息输出格式,它便于被Ja
布图。 鼠标停留在某个色块时,会显示处于当前区间的主机数量。单击色块,页面会显示处于当前区间的主机列表。 单击列表中某主机“主机名称”,会跳转至该主机的详细信息页面。 单击列表中某主机“查看趋势”,会显示当前指标项。当前集群中,当指标为“主机CPU-内存-磁盘使用率”时,不能进行“查看趋势”操作。
等待5至10分钟后查看Broker实例的运行状态是否为“良好”。 是,修复完成后按照“ALM-38001 Kafka磁盘容量不足”告警指导彻底解决磁盘容量不足问题。 否,联系运维人员。 按照上述步骤将故障Broker进行恢复后,阻塞的均衡任务会继续执行,可使用--status命令来查看任务的执行进度。