检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与Session程序一样。 前提条件 已安装IoTDB客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 导出Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven
为空。 配置输入字段,子标签用于精确定位字段所在的标签,相同的标签再通过关键字来精确匹配。 关键字用于匹配字段的内容,配置方法类似于“输入设置”中的“文件过滤器”字段,支持“*”通配符,提供三种标记用于辅助定位,分别为: “#PART”标记,表示取被通配符“*”所匹配的值,如果存
SparkSQL建表时的目录权限 问题 新建的用户,使用SparkSQL建表时出现类似如下错误: 0: jdbc:hive2://192.168.169.84:22550/default> create table testACL(c string); Error: org.apache
任务提交方式变更 问题 用户提交结构流任务时,通常需要通过--jars命令指定kafka相关jar包的路径,例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x.x.x.jar。当前版本用户除了这一步外还需要额外的配置项,否则会报class
SparkSQL建表时的目录权限 问题 新建的用户,使用SparkSQL建表时出现类似如下错误: 0: jdbc:hive2://192.168.169.84:22550/default> create table testACL(c string); Error: org.apache
平均记录大小。如果指定,Hudi将使用它,并且不会基于最后24个提交的元数据动态地计算。 没有默认值设置。这对于计算插入并行度以及将插入打包到小文件中至关重要。 1024 hoodie.compact.inline 当设置为true时,紧接在插入或插入更新或批量插入的提交或增量提交操作之后由摄取本身触发压缩。
具体可以按照下面的计算公式来保留2个小时的历史版本数据: 版本数设置为3600*2/版本interval时间,版本interval时间来自于flink作业的checkpoint周期,或者上游批量写入的周期。 COW表如果业务没有历史版本数据保留的特殊要求,保留版本数设置为1。 COW表的每个版本都是表的全量
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务进程响应缓慢或不可用。 可能原因 告警阈值配置或者平滑次数配置不合理。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称
Encodings”,在“Project Encoding”和“Global Encoding”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图1所示。 图1 设置IntelliJ IDEA的编码格式 设置工程JDK。 在IntelliJ IDEA的菜单栏中,选择“File > S
sparknormal-examples/SparkThriftServerJavaExample 通过JDBC访问Spark SQL的Java/Scala示例程序。 本示例中,用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 sparkno
EXP EXP(-1) POWER POWER(2, 3) LN LN(3) LOG LOG(2, 3) 数组 ARRAY_ELEM 通过下标访问数组。 ARRAY_ELEM(ARRAY[1,2,3], 1) ARRAY_PREPEND 指定位置插入数据到数组。 ARRAY_APPEND(ARRAY[1
customer GROUP BY mktsegment; GROUPING SETS 可以指定多个列进行分组,结果列中不属于分组列的将被设置为NUll。具有复杂分组语法(GROUPING SETS、CUBE或ROLLUP)的查询只从基础数据源读取一次,而使用UNION ALL的
数,增加重试次数,可以防止资源不足导致的AM启动失败问题。适用于所有ApplicationMaster的全局设置。每个ApplicationMaster都可以使用API设置一个单独的最大尝试次数,但这个次数不能大于全局的最大次数。如果大于了,那ResourceManager将会覆
Encodings”,在“Project Encoding”和“Global Encoding”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图1所示。 图1 设置IntelliJ IDEA的编码格式 设置工程JDK。 在IntelliJ IDEA的菜单栏中,选择“File > S
审计日志 对于审计日志来说,记录了某个时间点某个用户从哪个IP发起对HiveServer或者MetaStore的请求以及记录执行的语句是什么。 如下的HiveServer审计日志,表示在2016-02-01 14:51:22 用户user_chen向HiveServer发起了show
'topic' = 'test_source', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup', 'scan.startup
系统当前指标取值满足自定义的告警设置条件 对系统的影响 后续新建立客户端连接可能会阻塞甚至失败。 可能原因 已经和Impala服务端建立的连接过多,或者阈值设定的太小。 处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 阈值设置 > Impala > 连接数
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 无法分配PID给新的业务进程,业务进程不可用。 可能原因 节点同时运行的进程过多,需要扩展“pid_max”值。 系统环境异常。
示,或者显示为null的情况。 增量视图,需设置set hoodie.hudicow.consume.mode = INCREMENTAL;,但该参数仅限于增量视图查询,不能用于Hudi表的其他类型查询,和其他表的查询。 恢复配置可设置set hoodie.hudicow.consume
参数“spark.eventLog.group.size”用来设置一个应用的JobHistory日志按照指定job个数分组,每个分组会单独创建一个文件记录日志,从而避免应用长期运行时形成单个过大日志造成JobHistory无法读取的问题,设置为“0”时表示不分组。 大部分Spark Stre