检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例”,选择相应的Flume角色实例,单击“实例配置”页面“flume.config.file”参数后的“下载文件”,可获取已有的服务端参数配置文件。然后选择“ 服务 > Flume > 导入”,将该文件导入后再修改加密传输的相关配置项即可。 导入配置文件时,建议配置Source/Channel/
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Flume证书文件已经非法或损坏,功能受限,Flume客户端将无法访问Flume服务端。 可能原因 Flume证书文件非法或损坏。 处理步骤 查看告警信息。 登录FusionInsight Manager首页,选择“运维
WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装HttpFS实例,需手动安装并重启Hue服务。 父主题: Hue常见问题
下载认证凭据”下载认证凭据文件,保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 生成IoTDB客户端SSL证书 若集群开启了SSL加密传输且本地Windows或Linux环境首次运行IoTDB样例代码,需执行以下操作生成客户端SSL证书。 以客户端安装用户,登录安装客户端的节点。
WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装HttpFS实例,需手动安装并重启Hue服务。 父主题: Hue故障排除
Syslog”。 开启“Syslog服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,开启“Syslog配置”开关。 根据表1所示的说明填写北向参数。 表1 Syslog对接参数 参数区域 参数 示例 参数说明 Syslog协议
Yarn > 配置 > 全部配置”,搜索并修改“alarm.resource.lack.enable”参数值为“false”,保存配置。 仅部分队列需要上报告警:登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn > 配置 > 全部配置”,搜索并修改“alarm
登录Manager页面,选择“集群 > 服务 > Yarn > 配置 > 全部配置”。 在搜索框搜索“yarn.resourcemanager.webapp.pagination.enable”。 如果该参数值为“true”(默认为“true”),请修改为“false”,并保存配置。 在Yarn服务页面选择“实例
配置Hudi通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
配置Yarn通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在集群客户端执行Yarn任务访问OBS。 Yarn对接OBS 以客户端安装用户登录安装了Yarn客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录
配置HDFS通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录
配置流式读取Spark Driver执行结果 配置场景 在执行查询语句时,返回结果有可能会很大(10万数量以上),此时很容易导致JDBCServer OOM(Out of Memory)。因此,提供数据汇聚功能特性,在基本不牺牲性能的情况下尽力避免OOM。 配置描述 提供两种不同
访问Impala WebUI界面 使用Impala操作Kudu表 Impala对接外部LDAP Impala启用并配置动态资源池 使用Impala查询管理界面 Impala常见配置参数 Impala常见问题
Metastore方式对接OBS 已参考配置Hive基于MetaStore方式对接OBS完成相关配置操作。 登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine > 更多 > 同步配置”,同步配置完成后,再选择“更多 > 同步配置”,根据提示重启HetuEngine服务。
重启服务”,输入密码,单击“确定”后再次单击“确定”,重启Spark服务。 Spark重启成功后,选择“更多 > 下载客户端”,重新下载并安装Spark客户端,详细操作请参考安装客户端章节,并执行7。 如果不重新下载并安装客户端,则直接执行以下步骤更新Spark客户端配置文件(例如:客户端目录
监控节点进程的GC情况(在客户端的conf/spark-default.conf配置文件中,在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数:"-verbose:gc -XX:+PrintGCDetails
如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Kafka的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 日志格式 Kafka的日志格式如下所示 表4 日志格式
场景说明 HBase服务安装时可选部署RESTServer实例,可通过访问HBase REST服务的形式调用HBase相关操作,包括对Namespace、table的操作等。访问HBase REST服务同样需要进行Kerberos认证。 该场景下不需要进行初始化配置,仅需要用于Kerb
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
warehouse.dir配置 保存配置,然后单击“集群 > 服务”,在服务列表中重启Hive服务。 更新客户端配置文件。 登录Hive客户端所在的节点,执行以下命令修改Hive客户端配置文件目录下的“hivemetastore-site.xml”。 vi 客户端安装目录/Hive/co