检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HetuEngine SQL函数和操作符说明 逻辑运算符 比较函数和运算符 条件表达式 Lambda表达式 转换函数 数学函数和运算符 Bitwise函数 十进制函数和操作符 字符串函数和运算符 正则表达式函数 二进制函数和运算符 Json函数和运算符 日期、时间函数及运算符 聚合函数
HDFS用户权限管理 创建HDFS权限角色 配置HDFS用户访问HDFS文件权限 父主题: 使用HDFS
getConnection(url, "", ""); // 建表 // 表建完之后,如果要往表中导数据,可以使用LOAD语句将数据导入表中,比如从HDFS上将数据导入表: //load data inpath '/tmp/employees
且Scala语言具有简洁易懂的特性,推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分,Spark的API接口如表1所示。 表1 Spark API接口 接口 说明 Scala API 提供Scala语言的API。由于Scala语言的简洁易懂,推荐用户使用Scala接口进行程序开发。
Loader用户权限管理 创建Loader角色 父主题: 使用Loader
S WebUI页面。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 在HDFS WebUI,单击“Datanodes”页签,在“In operation”区域,打开“F
-1.12/dev/table/index.html。 Stream SQL Join介绍 SQL Join用于根据两个或多个表中的列之间的关系,从这些表中查询数据。Flink Stream SQL Join允许对两个流式table进行Join,并从中查询结果。支持类似于以下内容的查询:
连接前,添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长,其中n表示等待服务返回的超时时长,单位为秒,类型为Int,默认为“0”(表示永不超时)。 def executeSql(url: String, sqls: Array[String]):
"userName", ""); // 建表 // 表建完之后,如果要往表中导数据,可以使用LOAD语句将数据导入表中,比如从HDFS上将数据导入表: //load data inpath '/tmp/employees
Kafka用户权限管理 Kafka用户权限说明 创建Kafka权限角色 配置Kafka用户Token认证信息 父主题: 使用Kafka
则可以使用MapPartitions,按每个分区计算结果,如: rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
ClickHouse用户权限管理 ClickHouse用户权限说明 创建ClickHouse角色 配置ClickHouse对接OpenLDAP认证系统 父主题: 使用ClickHouse
HetuEngine用户权限管理 HetuEngine用户权限说明 创建HetuEngine权限角色 配置HetuEngine使用代理用户鉴权 父主题: 使用HetuEngine
spark.examples.FemaleInfoCollection: object FemaleInfoCollection { //表结构,后面用来将文本数据映射为df case class FemaleInfo(name: String, gender: String
的返回而挂起。使用方式如下: 启动Beeline时,在后面追加“--socketTimeOut=n”,其中“n”表示等待服务返回的超时时长,单位为秒,默认为“0”(表示永不超时)。建议根据业务场景,设置为业务所能容忍的最大等待时长。 JDBC客户端代码 在网络拥塞的情况下,这个特
需要将ip:port替换为ha-cluster,使用到的其他参数见表1。 表1 客户端参数列表 参数名称 含义 默认值 spark.thriftserver.ha.enabled 是否启用HA模式,设置为true表示启用。如果启用了HA,需要在连接字符串中将host:port修改
HDFS用户权限管理 创建HDFS权限角色 配置HDFS用户访问HDFS文件权限 父主题: 使用HDFS
优化小文件场景下的Spark SQL性能 Spark INSERT SELECT语句调优 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优 父主题: 使用Spark2x(MRS 3.x及之后版本)
getConnection(url, "", ""); // 建表 // 表建完之后,如果要往表中导数据,可以使用LOAD语句将数据导入表中,比如从HDFS上将数据导入表: //load data inpath '/tmp/employees
使用Hue 访问Hue WebUI界面 创建Hue操作任务 配置HDFS冷热数据迁移 Hue常用配置参数 Hue日志介绍 Hue常见问题 Hue故障排除