检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IntUDF 如果用户添加的Hive UDF注册信息有误,比如错误的格式或者不存在的类路径,系统将忽略这些错误的注册信息,并打印相应日志。 如果用户注册重复的Hive UDF,系统将只注册一次,并忽略重复的注册。 如果用户注册的Hive UDF与系统内部注册的相同,系统将会发生异常并无法正常
cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件的查询和计算都将失败。需要确保数据保留的时间超过最大查询执行时间。 KEEP_LATEST_COMMITS hoodie.cleaner.commits.retained
默认取值: default archive_path 否 String 参数解释: SQL执行结果的转储文件夹。只有select语句才会转储查询的结果。当前仅支持转储到OBS中。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数 状态码: 200 表3 响应Body参数
当集群中分析Core节点个数小于等于HDFS副本数时,为了保证数据的可靠性MRS不支持退订节点。HDFS副本数可通过HDFS参数配置中的“dfs.replication”参数查询。 MRS不支持退订部署了ZooKeeper、Kudu、Kafka及ClickHouse服务的节点。 MRS 3.1.2之前版本ClickHouse服务的节点不支持退订。
timestamp类型到hive元数据中。该值默认为false,默认将timestamp类型同步为bigInt,默认情况可能导致使用sql查询包含timestamp类型字段的hudi表出现错误。 true 父主题: Hudi常见配置参数
wordCounts = words.groupBy("word").count() # 开始运行将running counts打印到控制台的查询 query = wordCounts.writeStream\ .outputMode("complete")\
hive_sync.enable指定为false。 指定为false将导致新写入的分区无法同步到Hive Metastore中。由于缺失新写入的分区信息,查询引擎读取该时会丢数。 禁止指定Hudi的索引类型为INMEMORY类型。 该索引仅是为了测试使用。生产环境上使用该索引将导致数据重复。 建表示例
ResourceManager持续主备倒换 当一个NodeManager处于unhealthy的状态10分钟时,新应用程序失败 Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred Superior调度模式下,单个NodeManager故障可能导致MapReduce任务失败
ResourceManager持续主备倒换 当一个NodeManager处于unhealthy的状态10分钟时,新应用程序失败 Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred Superior调度模式下,单个NodeManager故障可能导致MapReduce任务失败
ar包并执行HDFS上更新了Oozie的share lib目录但没有生效。如果执行了更新“share lib”目录依然报找不到类,那么可以查看执行更新“share lib”的命令打印出来的路径“sharelibDirNew”是否是“ /user/oozie/share/lib”,
polygon连接查询 IN_POLYGON_JOIN(GEO_HASH_INDEX_COLUMN, POLYGON_COLUMN) 两张表做join查询,一张表为空间数据表(有经纬度列和GeoHashIndex列),另一张表为维度表,保存polygon数据。 查询使用IN_POLYGON_JOIN
相比滚动方式安装补丁耗时更短。 少于2个Master节点和少于3个Core节点的集群不支持滚动方式安装补丁。 单击“是”,安装目标补丁。 查看补丁安装进度。 访问集群对应的MRS Manager,详细操作请参见访问MRS集群Manager。 选择“系统设置 > 补丁管理”,进入补丁管理页面即可看到补丁安装进度。
等全流程的样例工程。 开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果 程序运行结果会根据结果解析部分的实现显示到期望显示的地方。 调测HetuEngine应用 父主题: HetuEngine开发指南(普通模式)
是,操作结束。 否,执行4。 修改“/opt/Bigdata/tmp”目录权限 以root用户依次登录Master1、Master2节点。 查看Master1、Master2节点的“/opt/Bigdata/tmp”路径权限是否被修改。(权限默认为770) 如果被修改请执行以下命令
密码。 执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。 检查本告警是否恢复。 是,处理完毕。 否,执行4。 查看DataNode JVM内存使用情况和当前配置。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务
polygon连接查询 IN_POLYGON_JOIN(GEO_HASH_INDEX_COLUMN, POLYGON_COLUMN) 两张表做join查询,一张表为空间数据表(有经纬度列和GeoHashIndex列),另一张表为维度表,保存polygon数据。 查询使用IN_POLYGON_JOIN
flatMap(_.split(" ")).groupBy("value").count() //开始运行将运行计数打印到控制台的查询。 val query = wordCounts.writeStream .outputMode("complete")
将被忽略。 如果未指定默认值,则新列的默认值将被视为null。 如果在该列上应用filter,则在排序期间不会考虑新增列,新增列可能会影响查询性能。 示例 ALTER TABLE carbon ADD COLUMNS (a1 INT, b1 STRING); ALTER TABLE
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目