检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
etu-examples”目录下的样例工程文件夹“python3-examples”。 进入“python3-examples”文件夹。 normal文件夹:普通模式下对接HetuEngine的python3样例代码 security文件夹:安全模式下对接HetuEngine的python3样例代码。
为什么INSERT INTO CARBON TABLE失败? 问题 为什么INSERT INTO CARBON TABLE命令无法在日志文件中记录以下信息? Data load failed due to bad record 回答 在以下场景中,INSERT INTO CARBON
Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的元数据(meta-data)写入到一个额外的持久化文件系统中。 如果
{ //用户更改了默认的keytab文件名,这里需要将新的keytab文件名通过参数传入 conf.put(Config.STORM_CLIENT_KEYTAB_FILE, args[1]); }
multiple storm.yaml resources。如下所示: 该错误是由于业务jar包中存在storm.yaml文件,和服务端的storm.yaml文件冲突导致的。 解决方法参考2。 如果不是上述原因,则请参考提交Storm拓扑失败,提示Failed to check principle
用户可以根据自己的需求,修改MRS的流式Core节点上的“/opt/Bigdata/MRS_XXX /1_XX _Supervisor/etc/worker.xml”文件,将标签filename的值设定为客户需要的路径,然后在Manager页面重启对应实例。 建议用户尽量不要修改MRS默认的日志配置,否则可能会造成日志系统异常。
),如果频繁出现Full GC,需要优化GC。把RDD做Cache操作,通过日志查看RDD在内存中的大小,如果数据太大,需要改变RDD的存储级别来优化。 操作步骤 优化GC,调整老年代和新生代的大小和比例。在客户端的“conf/spark-default.conf”配置文件中,在spark.driver
0MB的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyymmdd>.编号.log.gz”。最多保留最近的10个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 IoTDB日志列表 日志类型 日志文件名 描述 运行日志 log-all
hoodie_partition_metadata”文件中。 dryRun为false时不仅会打印出每个分区的最后修改时间,而且会把每个分区的最后修改时间写入每个分区下的“.hoodie_partition_metadata”文件中。 参数描述 参数 描述 是否必填 table String类型,表名或者库名
cookie认证。根据日志提示,发现配置文件中“security.kerberos.login.keytab :”配置项错误,未进行安全配置。 解决方法如下: 从MRS上下载用户的keytab认证文件,并放置到Flink客户端所在节点的某个目录下。 在“flink-conf.yaml”文件中配置: keytab路径。
回答 Impala默认将UDF对应的jar包缓存到“/tmp”目录下,由--local_library_dir配置项控制,“/tmp”目录下的文件保存一定时间后会被操作系统删除,导致Impala查询时出现缺类错误。 登录Manager界面,选择“集群 > 服务 > Impala > 配置
删除Hive on HBase表中的单行记录 操作场景 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS Hive提供了对HBase表的单条数据的删除功能,通过特定的语法,Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。
技能开发和查询设计上的投资,Impala提供了与Hive查询语言(HiveQL)的高度兼容性。 由于Impala使用与Hive相同的元数据存储来记录有关表结构和属性的信息,因此Impala可以访问通过本机Impala CREATE TABLE命令定义的表,也可以访问使用Hive数据定义语言(DDL)创建的表。
配置Doris对接Hudi数据源 在MRS集群元数据存储在Hive MetaStore的场景中,Doris 2.0.13版本支持通过Catalog的方式对接Hudi 0.15.0版本数据源,支持对接Hudi所有的数据字段类型。 该操作适用于MRS 3.5.0版本。 Doris支持查询的Hudi表类型
本章节适用于MRS 3.5.0及以后版本。 当使用Flink的Full outer Join算子实现宽表拼接功能时,由于状态会被多次重复存储导致状态后端压力大,计算性能差。使用MultiJoin算子进行宽表拼接计算性能可以提升1倍。 FlinkSQL支持MultiJoin算子使用限制
ot.vehicle”指定为一个存储组,这将使得IoTDB将其下的所有设备的数据存储在同一个文件夹下。如果以后“root.vehicle”路径下增加了新的设备,也将属于该存储组。 设置合理数量的存储组可以带来性能的提升。既不会因为产生过多的存储文件(夹)导致频繁切换IO降低系统速
如果使用keytab登录方式,按3获取keytab文件;如果使用票据方式,则无需获取额外的配置文件。 获取到的keytab文件默认文件名为user.keytab,若用户需要修改,可直接修改文件名,但在提交任务时需要额外上传修改后的文件名作为参数。 获取相关jar包。获取方式如下: 在安装好的HB
初始入库BULK_INSET方式会使用Spark内部parquet文件的写入类进行写入,Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时,Hudi使用Avro兼容的parquet文件写入类进行写入,这个和Spark的写入方式是不兼容的。 解决方案: 执
Savepoints在持久化存储中保存某个checkpoint,以便用户可以暂停自己的应用进行升级,并将状态设置为savepoint的状态,并继续运行。该机制利用了Flink的checkpoint机制创建流应用的快照,并将快照的元数据(meta-data)写入到一个额外的持久化文件系统中。 如果
),如果频繁出现Full GC,需要优化GC。把RDD做Cache操作,通过日志查看RDD在内存中的大小,如果数据太大,需要改变RDD的存储级别来优化。 操作步骤 优化GC,调整老年代和新生代的大小和比例。在客户端的conf/spark-default.conf配置文件中,在spark.driver.