检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
HetuEngine预留关键字 表1罗列了系统预留的关键字,以及它们在其他SQL标准中是否为预留关键字。如果需要使用这些关键字作为标识符,请加注双引号。 表1 关键字 Keyword SQL:2016 SQL-92 ALTER reserved reserved AND reserved
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
xml”中新增主备集群的相关配置。 将主备集群相关配置设置到HBaseMultiClusterConnection中(仅MRS 3.3.0及之后版本支持)。 在“hbase-dual.xml”中新增主备集群配置 参考准备HBase应用开发和运行环境章节,获取HBase主集群客户端配置文件“core-site
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的? 回答 目前已有的SQL语句无法满足用户场景时,用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏,SparkSQL的UDF功能只允许具备a
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的? 回答 目前已有的SQL语句无法满足用户场景时,用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏,SparkSQL的UDF功能只允许具备a
在Manager界面创建用户并添加hadoop和hive用户组,主组加入hadoop。 操作步骤 下载并安装Hudi客户端,具体请参考安装客户端(3.x及之后版本)章节。 目前Hudi集成在Spark2x中,用户从Manager页面下载Spark2x客户端即可,例如客户端安装目录为:“/opt/client”。
MRS 2.x及之前版本,选择“服务管理 > Yarn > 服务配置”,“参数类别”设置为“全部配置”。 MRS 3.x及之后版本,选择“集群 > 服务 > Yarn > 配置”,单击“全部配置”。 左边菜单栏中选择“Yarn > 集群间拷贝”,配置以下参数: MRS 2.x及之前版本,在“dfs
示例中的“ssl/”是Flink客户端目录下自定义的子目录,用来存放SSL keystore、truststore相关配置文件。 MRS 3.2.1及以后版本使用-tm指定taskmanager内存不能小于4096MB。 例如: cd /opt/hadoopclient/Flink/flink
将lines切分为word words = lines.select(explode(split(lines.value, " ")).alias("word")) # 生成正在运行的word count wordCounts = words.groupBy("word")
在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“告警ID”为“19013”的告警,查看“定位信息”中的主机名及角色名。 选择“集群 > 待操作集群的名称 > 服务 > HBase ”,单击图表区域右上角的下拉菜单,选择“定制 > 服务 > 处在RIT
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
执行analyze table语句,因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句,任务一直卡住,打印的信息如下: spark-sql> analyze table hivetable2 compute statistics; Query ID
Hive客户端执行SQL报错连接超时 WebHCat健康状态异常导致启动失败 mapred-default.xml文件解析异常导致WebHCat启动失败 Hive元数据使用RDS时创建视图表中文乱码 MetaStore动态分区数超出阈值导致SQL报错
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
据文件的标签表达式选择出DataNode节点范围,然后在这些DataNode节点范围内,选择出合适的存放节点。 本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实
DELETE 语法 DELETE FROM table_name [ WHERE condition ] 描述 从表中删除数据行。 当前版本,使用delete可以删除整个表的数据,或者分区表的指定分区。 对于事务表(指定了属性transactional = true),如果指定了
查看数据分布情况 select FQDN(), database, table, sum(data_compressed_bytes) from clusterAllReplicas(逻辑集群名称, system.parts) where database='库名' and table='表名'