检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的字段名。 操作:配置操作符。 比较值:配置比较值,可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立,更新字段的值;如果不成立,则不更新。 当更新字段为数值类型时,更新值需要为数值。 当更新字段为字符串类型时,更新操作不能为“-”。
当大面积shuffle文件损坏后,会引起大批量task失败,然后进行job重试。重试前Spark会将写表分区文件的句柄关闭,大批量task关闭句柄时HDFS无法及时处理。在task进行下一次重试时,句柄在NameNode端未被及时释放,即会发生"Failed to CREATE_FILE"异常。 这种现象
Consumer$ConsumerThread.run(Consumer.java:40) 可能原因 客户端和服务端Jar版本不一致。 解决办法 修改Consumer应用程序中Kafka jar,确保和服务端保持一致。 父主题: 使用Kafka
Manager页面,请参考6~9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS Manager服务。 勾选“我确认xx.xx.xx
该例子有两种实现模式,其中实现1的逻辑如图1所示,实现2的逻辑如图2所示。 图1 实现1逻辑 实现1的逻辑说明 : 根据车牌号聚合该车通过的所有收费站并排序,处理后数据如下: 车牌号1,[(通过时间,收费站3),(通过时间,收费站2),(通过时间,收费站4),(通过时间,收费站5)] 标识该收费站是这辆车通过的第几个收费站。
${BIGDATA_HOME}/jdk/jre/lib/security. 原因分析 用户使用的JDK中的jar包与MRS服务认证的jar包版本不一致。 处理步骤 以root用户登录集群Master1节点。 执行如下命令,查看MRS服务认证的jar包。 ll /opt/share/local_policy/local_policy
程中因为未知原因丢失了,导致子Region找不到引用文件。 这种异常并不能通过简单的重试可解决,所以Region会长时间处于RIT状态。 处理步骤 在HDFS客户端执行以下命令删除2查看到的残留文件: hdfs dfs -rmr 残留文件所在的HDFS路径 例如: hdfs dfs
”参数导致FE启动时匹配了错误的IP地址。 集群内多数Follower FE节点未启动,例如有3个Follower FE,只启动了一个。 处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”。 搜索“priority_netw
当升级Manager所在的节点时,可能出现Manager无法登录问题,是Manager所在的节点在进行主备倒换的正常现象,请稍后重新登录即可。若长时间无法登录,请联系运维人员处理。 停止所有角色后,可能出现如下告警,Master节点规格升级完成并启动所有角色后,告警将自动恢复。 ALM-12006 节点故障 ALM-12010
增大这个值。单位:ms/s/m/h/d。 20s 否 akka.throughput Akka批量处理消息的数量,一次操作完后把处理线程归还线程池。较小的数值代表actor消息处理的公平调度,较大的值以牺牲调度公平的代价提高整体性能。 15 否 akka.log.lifecycle
uce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下: 通过HQL语言非常容易的完成数据提取、转换和加载(ETL)。 通过HQL完成海量结构化数据分析。 灵活的数据存储格式,支持JSON、CSV、TEXTFILE、RCFIL
使用AK/SK获取MRS集群主机列表时,请求头中未填充project_id等参数导致云服务解析token的project_id与集群的project_id不符合。 处理步骤 在使用AK/SK认证方式调用接口前,请参见表1收集对应信息,详细的签名方法和SDK使用方法请参见API签名指南。 在构造API请求前
ecutor日志默认50MB滚动存储一次,最多保留10个文件,不压缩。 JobHistory2x日志默认100MB滚动存储一次,最多保留100个文件,压缩存储。 JDBCServer2x日志默认100MB滚动存储一次,最多保留100个文件,压缩存储。 IndexServer2x日
ecutor日志默认50MB滚动存储一次,最多保留10个文件,不压缩。 JobHistory2x日志默认100MB滚动存储一次,最多保留100个文件,压缩存储。 JDBCServer2x日志默认100MB滚动存储一次,最多保留100个文件,压缩存储。 IndexServer2x日
se的数据目录下,如$rootDir/data/$nameSpace/$tableName/$tableName,那样创建表就会失败。 解决办法: 出现该问题时,请检查该表对应的HBase数据目录是否存在,如果存在请将该目录重命名。 HBase数据目录由$rootDir/data
Unreachable From 192.168.85.50 icmp_seq=4 Destination Host Unreachable 解决办法 设置为正确的IP,必须为本机的IP,如果端口被占用,重新配置一个空闲的端口。 配置正确的证书路径。 联系网络管理员,恢复网络。 父主题:
解决方法参考2。 如果不是上述原因,则请参考提交Storm拓扑失败,提示Failed to check principle for keytab。 解决办法 认证异常。 登录客户端节点,进入客户端目录。 执行以下命令重新提交任务。(业务jar包和Topology根据实际情况替换) source
经分析因为在读取数据时Kafka客户端会比较待读取数据大小和配置项“max.partition.fetch.bytes”值,若超过此配置项值,则抛出上述异常。 解决办法 在初始化建立Kafka消费者实例时,设置此配置项“max.partition.fetch.bytes”的值。 例如,参考本例,可以将此配置项设置为“5252880”:
column3,latitude,longitude'); SPATIAL_INDEX:自定义索引处理器。此处理程序允许用户从表结构列集合中创建新的列。新创建的列名与处理程序名相同。处理程序的type和sourcecolumns属性是必需的属性。目前,type属性只支持“geoha
应用开发样例代码。 本示例工程中,应用将数据实时写入HBase,用于点查业务。数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 sparknormal-examples/SparkHbasetoHbaseJavaExample Spark从HBase读取数