检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
【Tez WebUI】访问Tez WebUI界面报错404 用户问题 登录Manager界面,跳转Tez WebUI界面,显示404异常或503异常: 回答 Tez WebUI依赖Yarn的TimelineServer实例,需要预先安装TimelineServer,且处于良好状态。
WebUI登录界面,MRS 1.9.2版本集群默认用户名/密码为admin/admin@12345,MRS 1.9.3及之后版本集群默认用户名/密码为admin/ranger@A1!。 首次登录Ranger WebUI界面后请修改用户密码并妥善保存。 分别登录集群RangerAdmin实例所在的节点,删除临时文件。
MR分布式缓存功能无法使用 /user/hive 固定目录 Hive相关数据存储的默认路径,包含依赖的spark lib包和用户默认表数据存储位置等 否 用户数据丢失 /user/omm-bulkload 临时目录 HBase批量导入工具临时目录 否 HBase批量导入任务失败 /user/hbase
如果使用Linux环境调测程序,需准备安装集群客户端的Linux节点并获取相关配置文件。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 父主题: 准备Impala应用开发环境
如何关闭MRS集群内节点的防火墙服务? 问: 如何关闭MRS集群内节点的防火墙服务? 答: 以root用户登录集群的各个节点。 检查防火墙服务是否启动。 例如,EulerOS环境下执行systemctl status firewalld.service命令。 关闭防火墙服务。 例
所以建议新创建一个MySQL用户专门用来给Maxwell使用。使用root登录MySQL之后,执行如下命令创建maxwell用户(其中XXXXXX是密码,请修改为实际值)。 若Maxwell程序部署在非MySQL机器上,则创建的maxwell用户需要有远程登录数据库的权限,此时创建命令为
again later. 如果该文件的释放时间没有超过默认设置60s,原有客户端会继续持有该租约,则会发生AlreadyBeingCreatedException异常,实际上向客户端返回的是null,导致客户端出现如下异常: java.io.IOException: Cannot create
在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-env.sh”配置文件中进行设置。 X86平台参数如下: export LD_PRELOAD="{客户端安装目录}/Spark/spark/native/libch.so {客户端安装目录}/JDK/jdk1
方法一:在指定的“database_name”数据库中创建一个名为“table_name ”的表。 如果建表语句中没有包含“database_name”,则默认使用客户端登录时选择的数据库作为数据库名称。 CREATE TABLE [IF NOT EXISTS] [database_name.]table_name
方法一:在指定的“database_name”数据库中创建一个名为“table_name ”的表。 如果建表语句中没有包含“database_name”,则默认使用客户端登录时选择的数据库作为数据库名称。 CREATE TABLE [IF NOT EXISTS] [database_name.]table_name
C(Garbage Collection),评估内存中RDD的大小来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的GC情况(在客户端的conf/spark-default.conf配置文件中,在spark.driver.extraJavaOptions和spark.executor
导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程,帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程,获取样例
数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 数据规划 运行样例程序前,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase
OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下,可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics.switch 上报OBS监控指标开关:
TD压缩的存储格式有常见的ORC、RCFile、TextFile、JsonFile、Parquet、Squence和CSV。 可在Hive客户端创建ZSTD压缩格式的表,命令如下: ORC存储格式建表时可指定TBLPROPERTIES("orc.compress"="zstd"):
服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,然后选择“集群
设置Eclipse的编码格式 修改样例(未开启Kerberos认证集群可跳过此步骤)。 在5获取新建开发用户的krb5.conf和user.keytab文件后,修改ExampleMain.java中的userName为对应的新建用户,例如hiveuser。 /** * Other
设置一个超时时间,在此期间保持活动的客户端连接将在服务器端保持打开状态。零值禁用保持活动的客户端连接。单位:秒。 默认值:75 取值范围:[0,86400] large_client_header_buffers.size 设置用于读取大型客户端请求标头的缓冲区的最大数量(lar
对于占用存储资源(本地磁盘或者关键HDFS目录)过大的作业上报事件。 本章节内容仅适用于MRS 3.5.0及之后版本。 监控的HDFS目录请参见表1。 表1 监控HDFS目录 组件 监控HDFS目录 阈值 Hive hdfs://hacluster/tmp/hive-scratch/*/
PASSWORD,建议密文存放,使用时解密,确保安全。其中: DORIS_MY_USER为访问Doris的用户名。 DORIS_MY_PASSWORD为访问Doris的用户密码。 导入“doris-rest-client-example”样例工程之后,运行时需修改以下参数: 将代码中HOST