检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”,搜索“dfs.namenode.fs-limits.max-directory-items”参数,确定当前值配置是否合理。 是,执行9。 否,执行6。 增大该参数值。 保存配置,选择“概览 > 更多 > 重启服务”。 服务在重启
列表请参考补丁基本信息。 安装补丁前提条件 集群有以下要求: 请保持网络畅通,请勿随意拔插网线,避免因网络问题导致升级失败。 集群中各组件服务正常、各实例正常、无故障、无退服的实例。 安装补丁过程中对现行系统的影响 升级过程中会重启OMS,会导致MRS Manager页面无法访问,预计持续3-5分钟。
清除MRS租户队列配置 当队列不再需要某个资源池的资源,或资源池需要与队列取消关联关系时,用户可以在MRS清除队列配置。清除队列配置即取消队列在此资源池中的资源容量策略。 前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用
锁定MRS集群用户 由于业务变化,用户可能长期暂停使用,为了保证安全,管理员可以锁定用户。锁定用户的方法包含以下两种方式: 自动锁定:通过设置密码策略中的“密码连续错误次数”,将超过登录失败次数的用户自动锁定。具体操作请参见配置MRS集群用户密码策略。 手动锁定:由管理员通过手动的方式将用户锁定。
登录FusionInsight Manager。 选择“集群 > 服务”。 单击服务视图中指定的服务名称。 在服务详情页面单击“更多”,选择“启用Ranger鉴权”。 输入当前登录的用户密码确认身份,单击“确定”。 在服务列表,重启配置过期的服务。 停用Ranger鉴权 登录FusionInsight
字符串空格清除转换 概述 “字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息:
CREATE TABLE创建表 本章节主要介绍ClickHouse创建表的SQL基本语法和使用说明。 基本语法 方法一:在指定的“database_name”数据库中创建一个名为“table_name ”的表。 如果建表语句中没有包含“database_name”,则默认使用客户端登录时选择的数据库作为数据库名称。
建议慎用delete、update的mutation操作 标准SQL的更新、删除操作是同步的,即客户端要等服务端返回执行结果(通常是int值);而ClickHouse的update、delete是通过异步方式实现的,当执行update语句时,服务端立即返回执行成功还是失败结果,但是实际上此时数据还没有修改完成,而是
使用distcp命令跨集群复制HDFS数据 操作场景 distcp是一种在集群间或集群内部拷贝大量数据的工具。它利用MapReduce任务实现大量数据的分布式拷贝。 前提条件 已安装Yarn客户端或者包括Yarn的客户端。例如安装目录为“/opt/client”。 各组件业务用户
删除Hive on HBase表中的单行记录 操作场景 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS Hive提供了对HBase表的单条数据的删除功能,通过特定的语法,Hive可以将自己的HBase表中符合条件的一条或者多条数据清除。
10亿级数据量场景的解决方案有哪些? 问: 10亿级数据量场景的解决方案有哪些? 答: 有数据更新、联机事务处理OLTP、复杂分析的场景,建议使用云数据库 GaussDB(for MySQL)。 MRS的Impala + Kudu也能满足该场景,Impala + Kudu可以在j
Impala应用开发概述 Impala应用开发简介 Impala应用开发常用概念 Impala应用开发流程 父主题: Impala开发指南(普通模式)
Oozie应用开发概述 Oozie应用开发简介 Oozie应用开发常用概念 Oozie应用开发流程 Oozie应用开发样例工程介绍 父主题: Oozie开发指南(普通模式)
准备HBase应用开发环境 准备本地应用开发环境 准备HBase应用开发用户 导入并配置HBase样例工程 父主题: HBase开发指南
创建Configuration 功能介绍 HBase通过加载配置文件来获取配置项,包括用户登录信息配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包中。 调用类TestMain下的init()方法会初始化Configuration对象:
删除HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的deleteTable方法来删除表。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的dropTable方法中。
准备Hive应用开发环境 Hive应用开发环境简介 准备本地应用开发环境 准备Hive应用开发用户 准备Hive JDBC开发环境 准备Hive HCatalog开发环境 父主题: Hive开发指南
secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录,并确保访问用户具有对应目录的访问操作权限。 代码样例 如下是实例化FileSystem的代码片段,详细代码请参考com.huawei
HDFS应用开发常见问题 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 HDFS Shell命令介绍 登录MRS Manager 下载MRS客户端 父主题: HDFS开发指南
准备Flink应用开发环境 准备本地应用开发环境 准备Flink应用开发用户 安装Flink客户端 配置并导入Flink样例工程 新建Flink样例工程(可选) 准备Flink应用安全认证 父主题: Flink开发指南