检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调整DataNode磁盘坏卷信息 配置场景 在开源版本中,如果为DataNode配置多个数据存放卷,默认情况下其中一个卷损坏,则DataNode将不再提供服务。用户可以通过修改配置项“dfs.datanode.failed.volumes.tolerated”的值,指定失败的个数
使用REST接口查询HBase集群信息 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTPS协议,获取集群版本与状态信息。 代码样例 获取集群版本信息 以下代码片段在“hbase-rest-example\src\main\java\com\huaw
N需要获取机架信息,在可允许的范围内将任务分配给不同的NodeManager执行。 当集群网络拓扑发生变化时,需要使用FusionInsight Manager为主机重新分配机架,相关服务才会自动调整。 本章节仅适用于MRS 3.x及以后版本。 修改集群节点机架信息对系统的影响
SHOW显示数据库和表信息 本章节主要介绍ClickHouse显示数据库和表信息的SQL基本语法和使用说明。 基本语法 show databases show tables 使用示例 --查询数据库 show databases; ┌─name────┐ │ default
配置Ranger安全区信息 Ranger支持配置安全区,Ranger管理员可将各组件的资源切分为多个安全区,由对应Ranger管理员用户为区域的指定资源设置安全策略,以便更好的细分资源管理。安全区中定义的策略仅适用于区域中的资源,服务的资源被划分到安全区后,非安全区针对该资源的访
使用REST接口查询HBase集群信息 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTP协议,获取集群版本与状态信息。 代码样例 连接RestServer服务 普通模式下,用户不需要登录即可连接RestServer服务。所以请将“hbase-res
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群,业务平台主要使用的语言是Python,提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题: PyFlink样例程序
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群,业务平台主要使用的语言是Python,提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题: PyFlink样例程序
使用REST接口查询HBase集群信息 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTPS协议,获取集群版本与状态信息。 代码样例 获取集群版本信息 以下代码片段在“hbase-rest-example\src\main\java\com\huaw
配置Spark任务不获取HBase Token信息 配置场景 使用Spark提交任务时,Driver默认会去HBase获取Token,访问HBase则需要配置文件“jaas.conf”进行安全认证。此时如果用户未配置“jaas.conf”文件,会导致应用运行失败。 因此,根据应用是否涉及HBase进行以下处理:
SHOW显示数据库和表信息 本章节主要介绍ClickHouse显示数据库和表信息的SQL基本语法和使用说明。 基本语法 show databases show tables 使用示例 --查询数据库 show databases; ┌─name────┐ │ default
使用REST接口查询HBase集群信息 功能简介 使用REST服务,传入对应host与port组成的url,通过HTTP协议,获取集群版本与状态信息。 代码样例 连接RestServer服务 普通模式下,用户不需要登录即可连接RestServer服务。所以请将“hbase-res
关联、编辑、导入、导出算子的字段配置信息 操作场景 该任务指导用户在创建或编辑Loader作业时关联、导入或导出算子的字段配置信息。 关联操作 将输入算子的字段配置信息关联到输出算子中。 编辑操作 编辑算子配置参数中的字段信息。 导入操作 通过算子导出文件或算子模板文件将字段配置信息导入到算子中。 导出操作
查看HBase慢请求和超大请求信息 操作场景 该章节主要介绍如何在HBase Shell命令行查询慢请求或超大请求信息。慢请求是指通过hbase shell命令查询服务端时,RPC请求响应时长超过阈值(即HBase服务端配置参数“hbase.ipc.warn.response.t
通过Yarn WebUI查看队列信息时提示“ERROR 500”错误 问题背景与现象 在Yarn使用Capacity调度器时,单击Yarn WebUI页面的队列名称时,系统上报“ERROR 500”的错误。 HTTP ERROR 500 javax.servlet.ServletException:
配置Oozie作业异常结束打印信息 功能描述 流程任务运行期间发生异常后,流程的异常结束节点。 参数解释 Kill Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name kill活动的名称 message 根据业务需要,自定义的流程异常打印信息 ${wf:e
WebUI无法正常刷新损坏数据的信息 问题 当DataNode的“dfs.datanode.data.dir”所配置的目录因权限或者磁盘损坏发生错误时,HDFS Web UI没有显示损坏数据的信息。 当此错误被修复后,HDFS Web UI没有及时移除损坏数据的相关信息。 回答 DataNo
MRS组件应用开发简介 MRS是企业级大数据存储、查询、分析的统一平台,能够帮助企业快速构建海量数据信息处理系统,通过对海量信息数据的分析挖掘,发现全新价值点和企业商机。 MRS提供了各组件的常见业务场景样例程序,开发者用户可基于样例工程进行相关数据应用的开发与编译,样例工程依赖
查看Flume客户端监控信息 集群外的Flume客户端也是端到端数据采集的一环,与集群内Flume服务端一起都需要监控,用户通过FusionInsight Manager可以对Flume客户端进行监控,可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。
查看Flume客户端监控信息 操作场景 集群外的Flume客户端也是端到端数据采集的一环,与集群内Flume服务端一起都需要监控,用户通过FusionInsight Manager可以对Flume客户端进行监控,可以查看客户端的Source、Sink、Channel的监控指标以及客户端的进程状态。