检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Stream SQL Join Java样例代码 功能简介 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在MRS
接HDFS。 如果存在,请联系技术服务。 ${ port }:表示与组件版本相对应的组件默认端口号。 如果用户修改了默认端口号,请使用修改后的端口号连接HDFS。不建议修改默认端口号。 父主题: 使用HDFS
distinct值的个数)。 distribute by子句限制了Hive表的Partition数量。增加distribute by 子句后,最终的输出文件数取决于指定列的cardinality和“spark.sql.shuffle.partitions”参数值。但如果distribute
partition=true; set hive.exec.dynamic.partition.mode=nonstrict; 创建一个临时表存储去重后的数据。 CREATE TABLE temp_user_data AS SELECT * FROM ( SELECT *, ROW_NUMBER()
> HetuEngine”,进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 单击“数据源”,在待修改的Hive数据源所在行的“操作”列下单击“编辑”, 可参考6.g,在自定义参数中添加“hive
'KEEP_LATEST_FILE_VERSIONS', file_version_retained => 1); 注意事项 cleaning操作只有在满足触发条件后才会对分区的老版本数据文件进行清理,不满足触发条件虽然执行命令成功也不会执行清理。 系统响应 可在客户端中查看查询结果。 父主题: Hudi
表。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作,使用Hive客户端对Hive表进行操作。 父主题: 创建Hue操作任务
rk1.5表实际数据的表,这样可以实现在Spark2x中读取Spark1.5创建的DataSource表。同时,Spark1.5更新过数据后,Spark2x中访问也能感知到变化 ,反过来一样。这样即可实现Spark2x对Spark1.5创建的DataSource表的访问。 父主题:
(3 rows) 在Analyze nation表之后: Analyze nation; ANALYZE: 6 rows --查询分析后的结果 SHOW STATS FOR nation; column_name | data_size | distinct_values_count
表。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作,使用Hive客户端对Hive表进行操作。 父主题: 创建Hue操作任务
START_UP的打印,说明那段时间进程被停止过,后来又启动成功,提交的任务本来连接的是重启过的HiveServer实例,当这个实例被停止后,任务进程连接到另一个健康的HiveServer上导致报错。 2017-02-15 14:40:11,309 | INFO | main |
在MRS Manager界面选择“系统设置 > 用户管理”,在用户名中选择test,然后在右侧“操作”列中选择“更多 >下载认证凭据”下载,保存后解压得到用户的user.keytab文件与krb5.conf文件,用于在样例工程中进行安全认证,如5.2.6-准备kerberos认证所示。
Yarn服务不可用 ALM-16004 Hive服务不可用 是,执行1.c。 否,执行2。 根据对应服务不可用告警帮助提供的故障处理对应告警。 告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。
Yarn服务不可用 ALM-16004 Hive服务不可用 是,执行1.c 否,执行2 根据对应服务不可用告警帮助文档处理对应告警。 告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行2。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。
server”字样的报错(可以多试几次打开Hue页面以确认情况)。 是,通过FusionInsight Manager重启Hue服务,执行5。 否,执行6。 重启Hue服务后,再次打开Hue页面。 是,处理结束。 否,执行6。 联系运维。 父主题: 访问MRS组件Web UI界面常见异常问题
可以执行如下命令,收集系统所有进程信息,查看占用大量端口的进程。 ps -ef > $BIGDATA_HOME/tmp/ps_result.txt 请MRS集群管理员确认后,清除大量占用端口的进程,等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行10。 收集故障信息。 在主集群的FusionInsight
开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
rk1.5表实际数据的表,这样可以实现在Spark2x中读取Spark1.5创建的DataSource表。同时,Spark1.5更新过数据后,Spark2x中访问也能感知到变化 ,反过来一样。这样即可实现Spark2x对Spark1.5创建的DataSource表的访问。 父主题:
修改上图中红框中,蓝色下划线的内容,也即将蓝色下划线部分if (h.lastValue === e) 修改为if (true) 。 修改后如下: 保存修改。 Hue的所有实例节点均需要执行1~8进行修改。 刷新页面,重新输入中文。 父主题: 使用Hue
test_db.carbon CHANGE a1 a1 DECIMAL(18,2); 系统响应 通过运行DESCRIBE命令,将显示被修改列变更后的数据类型。 父主题: DDL