检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
subscribe(java.util.Collection<java.lang.String> topics) Topic订阅接口方法。 ConsumerRecords<K,V> poll(final Duration timeout) 请求获取消息接口方法。 父主题： Kafka常用API介绍
Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出
insertRecord(); insertTablet(); insertTablets(); insertRecords(); nonQuery(); query(); queryWithTimeout(); rawDataQuery();
html#matchsslcontext_tls。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 父主题： 准备Kafka应用开发环境
permissions.enabled”表示是否为HDFS启用权限检查，默认为“true”启用权限检查，请修改为“false”。修改后HDFS中的目录和文件的属主、属组以及权限信息保持不变。 单击“保存”，单击“确定”。 等待界面提示操作完成。 开启Yarn鉴权 登录FusionInsight
Spark2x无法访问Spark1.5创建的DataSource表 问题 在Spark2x中访问Spark1.5创建的DataSource表时，报无法获取schema信息，导致无法访问表。 回答 原因分析： 这是由于Spark2x与Spark1.5存储DataSoure表信息的格式不一致导致的。Spark1
TRUNCATE TABLE 语法 TRUNCATE [TABLE] table_name [PARTITION partition_spec]; partition_spec: : (partition_column = partition_col_value, partition_column
create database. | com.huawei.bigdata.doris.example.JDBCExample.main(JDBCExample.java:44) 2023-08-17 23:13:13,949 | INFO | main | Database created
导入导出FlinkServer作业信息 本章节适用于MRS 3.2.0及之后的版本。 导入导出作业介绍 FlinkServer WebUI页面支持作业、UDF、流表的导入导出，不支持集群管理、数据连接、应用管理、CheckPoint的导入导出。 当导入时，同一集群内不支持导入同名的作业、同名的流表、同名的UDF。
开发Hive用户自定义函数 当Hive的内置函数不能满足需要时，可以通过编写用户自定义函数UDF（User-Defined Functions）插入自己的处理代码并在查询中使用它们。 按实现方式，UDF分为有如下分类： 普通的UDF，用于操作单个数据行，且产生一个数据行作为输出。
t-8.5.63/webapps/cas/WEB-INF/classes/config/application.properties”文件，在文件中新增配置“ticket.tgt.timeToKillInSeconds=28800”，其中28800为认证中心的有效时长请根据需要修
LOAD 语法 LOAD DATA INPATH filepath [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=value1,partcol2=values2…)] 描述 LOAD DATA命令用于从文件或者文件夹加载数据到table。
put("device", "root.sg.d1"); tuple.put("timestamp", String.valueOf(System.currentTimeMillis())); tuple.put("measurements", "s1");
put("device", "root.sg.d1"); tuple.put("timestamp", String.valueOf(System.currentTimeMillis())); tuple.put("measurements", "s1");
务执行完成，查看告警是否清除。 SELECT query_id, user, FQDN(), elapsed, query FROM system.processes ORDER BY query_id; 是，操作结束。 否，执行9。 和用户确认是否有大批量数据写入，若是，请等待任务结束之后，查看告警是否消除。
Json函数和运算符 Cast to JSON SELECT CAST(9223372036854775807 AS JSON); -- JSON '9223372036854775807' Cast from JSON SELECT CAST(JSON '[1,23,456]'
Spark2x无法访问Spark1.5创建的DataSource表 问题 在Spark2x中访问Spark1.5创建的DataSource表时，报无法获取schema信息，导致无法访问表。 回答 原因分析： 这是由于Spark2x与Spark1.5存储DataSoure表信息的格式不一致导致的。Spark1
如何避免Kerberos认证过期？ 对于JAVA应用 在连接HBase、HDFS或者其他大数据组件前，先调用loginUserFromKeytab()创建UGI，然后启动一个定时线程进行检查是否过期并在过期前重新登录。 private static void startCheck
tlog/tomcat.log，查看ha的Tomcat资源日志，是否有如下关键字“Cannot find XXX”，根据如下关键字修复对应文件的权限。 等待5分钟，查看告警是否自动清除。 是，处理完毕。 否，执行6。 收集故障信息。 在FusionInsight Manager界面，选择“运维>日志>下载”。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
