检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图5 Build 当Event log中出现如下类似日志时,表示Jar包生成成功,您可以从1.c中配置的路径下获取到Jar包。
ctlg_dest为在哪个数据源创建virtual schema,参数可选,如果不指定则取当前Session中的catalog,如果当前Session中也未指定catalog则会创建失败。
执行命令vi $BIGDATA_LOG_HOME/omm/oms/ha/scriptlog/tomcat.log,查看ha的Tomcat资源日志,是否有如下关键字“Cannot find XXX”,根据如下关键字修复对应文件的权限。 等待5分钟,查看告警是否自动清除。
Flink HBase样例程序(Java) 功能介绍 通过调用Flink API读写HBase数据。 代码样例 下面列出WriteHBase和ReadHBase主要逻辑代码作为演示。
原因分析 Knox为双活组件,运行过程中出现主备之间数据不同步问题导致。 处理步骤 任意通过其他组件页面跳转对应WebUI页面,等待跳转成功。 然后重新访问HDFS WebUI页面。 父主题: 访问MRS组件Web UI界面常见异常问题
Spark中对join语句重名字段做了判断,需要修改代码保证保存的数据中无重复字段。 父主题: Spark故障排除
通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志文件:clickhouse-example.log。
通过ClickHouse日志获取应用运行情况,即logs目录下的日志文件:clickhouse-example.log。
通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志文件:clickhouse-example.log。
已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 已参考管理驱动,上传了MySQL数据库驱动。
步骤2:将本地数据导入到HDFS中 在本地已获取某图书网站后台图书点评记录的原始数据文件“book_score.txt”,例如内容如下。 字段信息依次为:用户ID、图书ID、图书评分、备注信息。 例如部分数据节选如下: 202001,242,3,Good!
Topic名称 --producer.config /opt/hadoopclient/Kafka/kafka/config/producer.properties Kafka Broker角色实例所在节点IP地址及端口信息可参考步骤三:使用Kafka客户端创建Topic的6和7获取
Sqlline接口介绍 用户可以直接使用sqlline.py在服务端对HBase进行SQL操作。 Phoenix的sqlline接口与开源社区保持一致。 详情请参见http://phoenix.apache.org/。 此版本不包含开源社区中Phoenix二级索引特性。
修改方案: 登录10.120.169.53客户端机器,修改/etc/hosts文件,将10.120.169.53更改为相对应的192网段的IP地址。再重新运行Spark应用,这时就可以打开Spark Web UI界面。 父主题: Spark2x常见问题
提交作业前,需配置“客户端安装路径/Flink/flink/conf/flink-conf.yaml”文件,开启作业注册到FlinkServer功能和作业告警功能,参数设置如下: 表1 开启作业注册和作业告警功能 参数 值 描述 job.register.enable true 是否开启作业注册到
原因分析 Hive在执行join操作,数据量小时会生成MapJoin,执行MapJoin时会生成localtask任务,localtask启动的jvm内存继承了父进程的内存。
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务(如100T的TPCDS测试套)过程中,有时会出现Executor丢失从而导致Stage重试的现象。
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务,用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色,且角色运行正常。
答: ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式。 具体详细请参考https://github.com/L-Angel/compress-demo。 父主题: 产品咨询类
SHOW MATERIALIZED VIEWS 语法 SHOW MATERIALIZED VIEWS [IN/FROM schema_name] [WITH TABLES LIKE pattern] 描述 列出catalogName为mv中的所有物化视图以及对应的数据表。