检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业用于提交jar程序处理流式数据。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在未开启Kerberos认证的MRS 3.1.0版本集群的管理控制台上,提交用于处理OBS存储的数据的Flink作业为例进行说明。
描述 productSalesTable 待创建的表的名称。该表用于加载数据进行分析。 表名由字母、数字、下划线组成。 productdb 数据库名称。该数据库将与其中的表保持逻辑连接以便于识别和管理。 数据库名称由字母、数字、下划线组成。 productName storeCity
Oozie作业执行失败常用排查手段 根据任务在Yarn上的任务日志排查,首先把实际的运行任务,比如Hive SQL通过beeline运行一遍,确认Hive无问题。 出现“classnotfoundException”等报错,排查“/user/oozie/share/lib”路径下
ImportTsv工具执行失败报“Permission denied”异常 问题 当使用与Region Server相同的Linux用户(例如omm用户)但不同的kerberos用户(例如admin用户)时,为什么ImportTsv工具执行失败报“Permission denied”的异常?
访问HBase Phoenix提示权限不足如何处理 问题 使用租户访问Phoenix提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 租户要操作Phoenix还需要额外操作的权限,即Phoenix系统表的RWX权限。 例如: 创建好的租户为hbase,使用admin用户登录hbase
HDFS调用FileInputFormat的getsplit的时候出现数组越界 问题 HDFS调用FileInputFormat的getSplit方法的时候,出现ArrayIndexOutOfBoundsException: 0,日志如下: java.lang.ArrayInde
使用Hue提交Oozie Hive2作业 操作场景 该任务指导用户通过Hue界面提交Hive2类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“HiveServer2 脚本”按钮,将其拖到操作区中。 在弹出的“HiveServer2
HBase客户端命令繁多,例如:hbase shell、hbase hbck、hbase org.apache.hadoop.hbase.mapreduce.RowCounter等,且后续还会增加。部分命令的输出为INFO打印,如果直接把INFO关闭会导致部分命令输出结果丢失。例如:Ro
Spark作业的Client模式和Cluster模式有什么区别? 理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念:Application Master。 在YARN中,每个Application实例都有一个ApplicationMaster进程
REWRITE HINT 提示可以与SELECT语句一起提供,用于使用指定的物化视图重写查询,这将优化查询,并有助于更快地执行它们。必须在查询开始时给出提示。目前支持两种类型的提示,如下所示: NOREWRITE 不会进行查询重写。格式为:/*+ NOREWRITE */ REW
DESCRIBE INPUT 语法 DESCRIBE INPUT statement_name 描述 列举预编译语句(prepared statement)的输入参数,以及参数位置,每个输入参数的类型。对于未确定的参数类型,会显示为unknown。 示例 准备一个预编译的语句,且
DESCRIBE OUTPUT 语法 DESCRIBE OUTPUT statement_name 描述 列举预编译语句(prepared statement)的输出列。 包括列名(或者别名),catalog,schema,表名,类型,类型的大小(in bytes)。 以及一个boolean值标识是否为别名。
DROP VIEW 语法 DROP VIEW [ IF EXISTS ] view_name 描述 删除存在的视图,可选参数IF EXISTS指定时,如果删除的视图不存在,则不会报错。 示例 创建视图 create view orders_by_date as select * from
DROP FUNCTION 语法 DROP FUNCTION [ IF EXISTS ] qualified_function_name 描述 删除与给定函数名称匹配的现有函数。如果不存在匹配的函数,可选的“IF EXISTS”子句会导致“NOT_FOUND”错误被抑制。 示例 删除函数“example
VALUES 语法 VALUES row [, ...] where row is a single expression or ( column_expression [, ...] ) 描述 VALUES用于查询可以使用的任何地方(例如SELECT、INSERT的FROM子句
SHOW STATS 语法 SHOW STATS FOR table_name; SHOW STATS FOR (SELECT * FROM table [WHERE condition]); 限制 SHOW STATS首先会ANALYZE表,参考ANALYZE。在ANALYZE之前对目标表进行show
ADD COLUMNS 命令功能 ADD COLUMNS命令用于为现有表添加新列。 命令语法 ALTER TABLE tableName ADD COLUMNS(col_spec[, col_spec ...]) 参数描述 表1 ADD COLUMNS参数描述 参数 描述 tableName
ALTER RENAME TABLE 本章节内容仅适用于MRS 3.2.0-LTS至MRS 3.3.1-LTS版本。 命令功能 RENAME命令用于重命名现有表。 命令语法 ALTER TABLE oldTableName RENAME TO newTableName 参数描述 表1
HetuEngine计算实例启动失败报错Python不存在 问题 启动HetuEngine计算实例失败,查看coordinator Container下面的“stderr.txt”日志报错如下: /usr/bin/env: ‘python’: No such file or directory
SHOW_INVALID_PARQUET 本章节仅适用于MRS 3.3.0及之后版本。 命令功能 查看执行路径下损坏的parquet文件。 命令格式 call show_invalid_parquet(path => 'path') 参数描述 表1 参数描述 参数 描述 是否必填