检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
【Spark WebUI】使用IE浏览器访问Spark2x WebUI界面失败 用户问题 通过IE浏览器访问Spark的WebUI界面,偶尔出现访问失败情况。 问题现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因分析 部分低版本IE浏览器处理SSL握手有问题导致访问失败。
Hive使用colocation。 假设table_name1和table_name2是相关联的两张表,创建两表的语句如下: CREATE TABLE <[db_name.]table_name1>[(col_name data_type , ...)] [ROW FORMAT <row_format>]
Hive表上原始数据,因为保留一张未加密的表存在安全风险。 操作步骤 在创建表时指定相应的加密列和加密算法: create table<[db_name.]table_name> (<col_name1> <data_type> ,<col_name2> <data_type>,<col_name3>
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务(如100T的TPCDS测试套)过程中,有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志,出现“Executor 532 is lost rpc with driver
1:8042/api/_load_error_log?file=__shard_0/error_log_insert_stmt_db18266d4d9b4ee5-abb00ddd64bdf005_db18266d4d9b4ee5_abb00ddd64bdf005" } 导入结果参数介绍如表2所示。 表2
然后执行如下SQL命令为该数据库用户进行赋权,其中${db_name}与${db_user}为MRS待连接的数据库名和新建的用户名。 grant all privileges on ${db_name}.* to '${db_user}'@'%' with grant option;
esult.txt”中,并指定导出格式为CSV。 集群已启用Kerberos认证(安全模式) SELECT * FROM example_db.test_export_tbl INTO OUTFILE "hdfs://192.168.67.78:25000/tmp/result_"
Spark yarn-client模式下如何修改日志级别为INFO 问题 Spark yarn-client模式下如何修改日志级别为INFO? 回答 登录Spark客户端节点,修改“{客户端安装目录}Spark/spark/conf/log4j.properties”配置文件,修改参数“Log4j
使用辅助Zookeeper或者副本数据同步表数据时,日志报错 问题 使用辅助Zookeeper或者副本数据同步表数据时,日志报错: DB::Exception: Cannot parse input: expected 'quorum:' before: 'merge_type:
使用辅助Zookeeper或者副本数据同步表数据时,日志报错 问题 使用辅助Zookeeper或者副本数据同步表数据时,日志报错: DB::Exception: Cannot parse input: expected 'quorum:' before: 'merge_type:
访问Spark Web UI界面 Spark Web UI界面主要用于查看Spark应用程序运行情况,推荐使用Google chrome浏览器以获得更好的体验。 Spark主要有两个Web页面。 Spark UI页面,用于展示正在执行的应用的运行情况。 页面主要包括了Jobs、S
【HDFS WebUI】使用IE浏览器访问HDFS WebUI界面失败 用户问题 通过IE浏览器访问HDFS的WebUI界面,偶尔出现访问失败情况。 问题现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因分析 部分低版本IE浏览器处理SSL握手有问题导致访问失败。 处理步骤
: Primary STATIC_CONNECTIONS : 1 DB_STATE : Normal DETAIL_INFORMATION
Truststore Password - Datastore Type opengauss Host 11.11.xxx.xxx,12.12.xxx.xxx Port 8000 DB Name opengaussdb User opengaussuser DB Password opengaussuser用户密码
query命令。查看回显是否显示以下信息。 主管理节点的回显: Ha state: LOCAL_ROLE: Primary STATIC_CONNECTIONS: 1 DB_STATE: Normal DETAIL_INFORMATION: user/password invalid Senders info:
证,请跳过该操作) 执行以下命令登录Hive客户端。 beeline 在创建表时指定相应的加密列和加密算法: create table<[db_name.]table_name> (<col_name1> <data_type> ,<col_name2> <data_type>,<col_name3>
使用IE浏览器在Hue中执行HQL失败 问题 遇到使用IE浏览器在Hue中访问Hive Editor并执行所有HQL失败,界面提示“There was an error with your query.”,如何解决并正常执行HQL? 回答 IE浏览器存在功能问题,不支持在307重定向中处理含有form
使用IE浏览器在Hue中执行HQL失败 问题 遇到使用IE浏览器在Hue中访问Hive Editor并执行所有HQL失败,界面提示“There was an error with your query.”,如何解决并正常执行HQL? 回答 IE浏览器存在功能问题,不支持在307重定向中处理含有form
DataStream<Row> messageStream = env.addSource(new SimpleStringGenerator()); messageStream.addSink( new HBaseWriteSink(paraTool
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间,并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC(Lempel-Ziv Compression)提供配置方法。这种压缩格