检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
有视图。匹配的视图会按字母顺序排列。 目前规则运算表达式支持“*”或“%”用于匹配任何字符,下划线“_”用于匹配一个字符,或“|”用于条件连接两个或多个条件。 示例 SHOW MATERIALIZED VIEWS; hetuengine:tpcds_2gb> SHOW MATERIALIZED
具体请参考准备MRS应用开发用户。 使用新创建的用户登录Manager页面,选择“系统 > 权限 > 用户”,在已增加用户所在行的“操作”列,选择“更多 > 下载认证凭据”。 将下载的认证凭据压缩包解压缩,并将得到的“user.keytab”文件复制到客户端节点中,例如客户端节点的“/op
Web页面访问类 如何修改开源组件Web页面会话超时时间? MRS租户管理中的动态资源计划页面无法刷新怎么办? Kafka Topic监控页签在Manager页面不显示如何处理? 访问HDFS、Hue、Yarn、Flink、HetuEngine等组件的WebUI界面报错或部分页面不可用如何处理?
MRS集群是租户完全可控的大数据应用开发平台,用户基于平台开发业务后,将业务程序部署到大数据平台运行。由于需要具备开发调测能力,因此要在MRS集群中保留JDK。 此外,MRS集群功能中如下关键特性也强依赖JDK。 HBase BulkLoad HBase BulkLoad支持用户自定义proto文件将数
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
创建HDFS目录 功能简介 创建目录过程为: 调用FileSystem实例的exists方法查看该目录是否存在。 如果存在,则直接返回。 如果不存在,则调用FileSystem实例的mkdirs方法创建该目录。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei
该章节内容仅适用MRS 3.2.0及之后版本。 创建ZSTD_JNI压缩表示例 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,例如安装目录为“/opt/client”,请用户根据实际情况修改。 cd /opt/client 执行以下命令配置环境变量。 source
如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别? 处理步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。
yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取: bin/yarn-session
yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取: bin/yarn-session
yarn-session.sh 可以使用yarn-session.sh启动一个常驻的Flink集群,接受来自客户端提交的任务。启动一个有3个TaskManager实例的Flink集群示例如下: bin/yarn-session.sh yarn-session.sh的其他参数可以通过以下命令获取: bin/yarn-session
业务选型 MRS集群类型介绍 MRS集群节点类型说明 MRS集群节点规格说明 父主题: MRS集群规划
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发MapReduce应用程序实现如下功能。 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
Yarn队列资源不足”告警时,正在运行的资源队列可以在哪查看? 答: Yarn资源队列可以登录Manager界面,选择“集群 > 服务 > Yarn > ResourceManager(主)”,登录Yarn的原生页面进行查看。 具体的告警处理方法可查看该告警的联机帮助文档进行处理。 父主题:
恢复ClickHouse元数据 操作场景 在用户意外修改、删除或需要找回数据时,集群用户需要对ClickHouse进行重大操作(如升级或迁移等)后,系统数据出现异常或未达到预期结果,导致ClickHouse组件全部故障无法使用,或者迁移数据到新集群的场景中,需要对ClickHouse元数据进行恢复数据操作。
Kafka生产者写入单条记录过长问题 问题背景与现象 用户在开发一个Kafka应用,作为一个生产者调用新接口(org.apache.kafka.clients.producer.*)往Kafka写数据,单条记录大小为1100055,超过了kafka配置文件server.properties中message
Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark2x(MRS 3.x及之后版本)
Kafka用户权限管理 Kafka用户权限说明 创建Kafka权限角色 配置Kafka用户Token认证信息 父主题: 使用Kafka
Yarn用户权限管理 创建Yarn角色 父主题: 使用Yarn
HetuEngine用户权限管理 HetuEngine用户权限说明 创建HetuEngine权限角色 配置HetuEngine使用代理用户鉴权 父主题: 使用HetuEngine