检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置SpringBoot样例工程 操作场景 为了运行MRS产品Hive组件的SpringBoot接口样例代码,需要完成下面的操作。 该章节以在Windows环境下开发SpringBoot方式连接Hive服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。 操作步骤
配置并导入JDBC样例工程 操作场景 为了运行Doris组件的JDBC接口样例代码,需要完成下面的操作。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\doris-examples”目录下的样例工程文件夹“doris-jdbc-example”。 导入样例工程到IntelliJ
required useKeyTab=true keyTab = "{LocalPath}/user.keytab" principal="super@<系统域名>" useTicketCache=false debug=false; }; 配置描述 在Spark客户端的“spark-defaults
py中,修改“hadoop.hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备MRS应用开发用户章节中创建的开发用户执行以下命令运行客户端程序:
org.apache.hadoop.mapreduce.JobSubmitter - number of splits:2 12707 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting tokens
y,z); 过滤filter 使用filter关键字可以在聚合的过程中,通过使用where的条件表达式来过滤掉不需要的行。所有的聚合函数都支持这个功能。 aggregate_function(...) FILTER (WHERE <condition>) 示例: --建表 create
py”中,修改“hadoop.hadoop.com”为“hadoop.实际域名”。实际域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信 > 本端域” 查看。 先使用kinit命令获取kerberos认证的缓存。 使用准备集群认证用户信息中创建的开发用户执行以下命令运行客户端程序:
'\\N' --input-null-non-string '\\N' -m 1 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 样例: sqoop export --connect jdbc:mysql://192.168
名称配额(名称配额是对当前目录树中的文件和目录名称数量的硬性限制) space_quota 空间配额(空间配额是对当前目录树中的文件所使用的字节数量的硬性限制) 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
from productdb2.productSalesTable where c = 'aaa'; //可以发现该查询命令使用了索引表 系统响应 通过运行该命令,索引表会被注册到主表。 父主题: DDL
表的多个分区,如果不指定就一次清除分区表的所有分区。当表属性“auto.purge”采用默认值“false”时,被删除的数据行将保存到文件系统的回收站,否则,当“auto.purge”设置为“true”时,数据行将被直接删除。 限制 目标表必须是管控表(表属性external=false),否则执行语句将报错。
发现29101端口连接对端端口为21005,而21005为Kafka服务端端口。 说明业务层作为客户端连接Kafka获取消息,业务端口分配通过OS的随机端口分配范围来确定。 通过cat /proc/sys/net/ipv4/ip_local_port_range命令查看随机端口范围。
org.apache.hadoop.mapreduce.JobSubmitter - number of splits:2 12707 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting tokens
Array[String]) { val ssc = createContext(args) //启动Streaming系统。 ssc.start() ssc.awaitTermination() } def createContext(args
Hudi数据表Compaction规范 mor表更新数据以行存log的形式写入,log读取时需要按主键合并,并且是行存的,导致log读取效率比parquet低很多。为了解决log读取的性能问题,Hudi通过compaction将log压缩成parquet文件,大幅提升读取性能。 规则
from productdb2.productSalesTable where c = 'aaa'; //可以发现该查询命令使用了索引表 系统响应 通过运行该命令,索引表会被注册到主表。 父主题: CarbonData语法参考
图4 句柄数 排查业务代码,不停地创建新的Producer对象,未正常关闭。 解决办法 停止当前应用,保证服务端句柄不再疯狂增加影响服务正常运行。 优化应用代码,解决句柄泄露问题。 建议:全局尽量使用一个Producer对象,在使用完成之后主动调用close接口进行句柄关闭。 父主题:
Config/HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
ADD COLUMNS (a1 INT, b1 STRING) TBLPROPERTIES('DEFAULT.VALUE.a1'='10'); 系统响应 通过运行DESCRIBE命令,可显示新添加的列。 父主题: CarbonData语法参考
Array[String]) { val ssc = createContext(args) //启动Streaming系统。 ssc.start() ssc.awaitTermination() } def createContext(args