检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
超时限制,默认是5分钟,用户可以通过java.sql.DriverManager.setLoginTimeout(int seconds)设置,seconds的单位为秒。 父主题: Impala开发规范
配置目录hdfs-site.xml文件,在配置文件中增加配置项dfs.client.use.datanode.hostname,并将该配置设置为true。 父主题: 使用HDFS
found”。该问题原因是操作系统的GLIBCXX版本较低,导致该特性依赖的libnativetask.so.1.0.0库无法加载,进而导致任务失败。 规避手段: 设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred
如何在不同的namespaces上逻辑地分割数据 为什么在Spark Shell中不能执行更新命令? 如何在CarbonData中配置非安全内存? 设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常? 开启防误删下,为什么Carbon表没有执行drop table命令,回收站中也会存在该表的文件?
对于数据量过大,需要调整executor的内存大小的,使用--executor-memory指定内存大小; 对于同时运行的task太多,主要看--executor-cores设置的vcore数量。 问题2: 需要在相应的task的日志里面查找异常原因。如果有OOM的情况,请参照问题1。 父主题: 使用Spark
source Spark2x/component_env kinit 组件业务用户(普通模式无需执行kinit) spark-sql 执行如下命令设置spark.sql.hive.convertMetastoreOrc=false。 set spark.sql.hive.convertMetastoreOrc=false;
mv_validity:物化视图生命周期。0表示永久有效,最短为1分钟。need_auto_refresh设置为false时,mv_validity默认值为0;设置为true时,默认值为24小时。 refresh_duration:物化视图自动刷新任务的最长等待时间。默认为5
Female Info"); job.setJarByClass(FemaleInfoCollector.class); // 设置运行时执行map,reduce的类,也可以通过配置文件指定。 job.setMapperClass(CollectionMapper
密性。 HBase支持将业务数据存储到HDFS前进行压缩处理,且用户可以配置AES和SMS4算法加密存储。 各组件支持本地数据目录访问权限设置,无权限用户禁止访问数据。 所有集群内部用户信息提供密文存储。 安全认证 基于用户和角色的认证统一体系,遵从账户/角色RBAC(Role-Based
SQLDefender: Distributed DDL ALTER UPDATE queries are undesirable. ... 如果防御规则设置的是拦截,则命令执行失败,系统回显信息如下: ... DB::Exception: Distributed DDL ALTER TABLE
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“NodeAgent”,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
precombine字段一致的场景。 DWS表中必须包含precombine字段与主键。 默认为Hudi内置字段_hoodie_event_time,如果不使用,需要设置“enable.sink.precombine”参数,例如: 单击“确定”,Hudi作业参数配置完成。 配置DWS作业参数。 在作业参数配
在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Yarn”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
操作步骤 根据业务情况,准备好客户端,登录安装客户端的节点。 请根据客户端所在位置,参考安装客户端章节,登录安装客户端的节点。 执行以下命令,设置拓扑的jar包权限。 例如修改“/opt/storm/topology.jar”的权限: chmod 600 /opt/storm/topology
口: 方法 说明 public void setFileColumn() 设置这个列族为存储文件的列族。 public void setFileThreshold(int fileThreshold) 设置存储文件大小的阈值。 org.apache.hadoop.hbase.filestream
hdfs colocationadmin -listGroups 列出所有组及其创建时间。 设置colocation根目录的acl权限 hdfs colocationadmin -setAcl 设置ZooKeeper中colocation根目录的ACL权限。 colocation在Zo
compaction阈值。 配置示例和预期输出: 用户将所有历史数据加载到CarbonData,此数据的一个segment的大小假定为500GB。 用户设置major compaction参数的阈值:“carbon.major.compaction.size” = “491520(480gb *
split(",").map(_.trim) assert(filePaths.length > 0) // windowTime设置窗口时间大小,默认2分钟一个窗口足够读取文本内的所有数据了 val windowTime = ParameterTool.fromArgs(args)
t env = StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool
hdfs colocationadmin -listGroups 列出所有组及其创建时间。 设置colocation根目录的acl权限 hdfs colocationadmin -setAcl 设置zookeeper中colocation根目录的acl权限。 colocation在zo