检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置ZooKeeper ZNode ACL 操作场景 该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请求
运行HiveSql作业 用户可将自己开发的程序提交到MRS中,执行程序并获取结果,本章节指导您如何在MRS集群中提交一个HiveSql作业。 HiveSql作业用于提交Hive SQL语句和SQL脚本文件查询和分析数据,包括SQL语句和Script脚本两种形式,如果SQL语句中涉及敏感信息
配置ZooKeeper ZNode ACL 操作场景 该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表(ACL)来对znode进行访问控制。ZooKeeper客户端为znode指定ACL,ZooKeeper服务器根据ACL列表判定某个请求
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的管理员创建IAM用户说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com
SHOW MATERIALIZED VIEWS 语法 SHOW MATERIALIZED VIEWS [IN/FROM schema_name] [WITH TABLES LIKE pattern] 描述 列出catalogName为mv中的所有物化视图以及对应的数据表。如果希望只查看某个
创建Hive用户自定义函数 当Hive的内置函数不能满足需要时,可以通过编写用户自定义函数UDF(User-Defined Functions)插入自己的处理代码并在查询中使用它们。 按实现方式,UDF分如下分类: 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。 用户定义聚集函数
离线数据加载:通过CDM将Hive外表数据迁移到Doris 应用场景 离线数据,端到端时延无要求。在存在DataArts Studio工具的场景下,数据加载使用CDM进行将离线的Hive外表数据迁移到MRS Doris。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件。
CarbonData调优思路 查询性能调优 CarbonData可以通过调整各种参数来提高查询性能。大部分参数聚焦于增加并行性处理和更好地使用系统资源。 Spark Executor数量:Executor是Spark并行性的基础实体。通过增加Executor数量,集群中的并行数量也会增加
创建Hive用户自定义函数 当Hive的内置函数不能满足需要时,可以通过编写用户自定义函数UDF(User-Defined Functions)插入自己的处理代码并在查询中使用它们。 按实现方式,UDF分如下分类: 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。 用户定义聚集函数
Storm-HDFS开发指引 操作场景 本章节只适用于MRS产品中Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 安全模式下登录方式分为两种,票据登录和keytab文件登录,两种方式操作步骤基本一致,票据登录方式为开源提供的能力,后期需要人工上传票据
开源sqoop-shell工具使用示例(Oracle - HBase) 操作场景 本文将以“从Oracle导入数据到HBase”的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 本章节适用于MRS 3.x及后续版本。 前提条件
使用sqoop-shell工具导入数据到HBase 操作场景 本文将以从Oracle导入数据到HBase的作业为例,介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 前提条件 已安装并配置Loader客户端,具体操作请参见使用客户端运行
字符串函数和运算符 字符串运算符 ||表示字符连接 SELECT 'he'||'llo'; –hello 字符串函数 这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效,对于无效的UTF-8数据,函数可能会返回错误的结果。可以使用
查询集群列表 功能介绍 查看用户创建的集群列表信息。该接口不兼容Sahara。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/cluster_infos 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
查询集群详情 功能介绍 查看指定集群的详细信息。该接口不兼容Sahara。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/cluster_infos/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
同步Kafka数据至ClickHouse 您可以通过创建Kafka引擎表将Kafka数据自动同步至ClickHouse集群,具体操作详见本章节描述。 前提条件 已创建Kafka集群。已安装Kafka客户端,详细可以参考安装客户端。 已创建ClickHouse集群,并且ClickHouse
修改MRS集群系统域名 操作场景 每个系统用户安全使用的范围定义为“域”,不同的系统需要定义唯一的域名。FusionInsight Manager的域名在安装过程中生成,如果需要修改为特定域名,系统管理员可通过FusionInsight Manager进行配置。 修改系统域名为高危操作
配置MRS集群监控指标数据转储 监控指标数据转储介绍 监控数据上报功能可以将系统中采集到的监控数据写入到文本文件,并以FTP或SFTP的形式上传到指定的服务器中。用户可以在Manager界面上配置监控指标数据对接参数,使集群内各监控指标数据保存到指定的FTP服务器,与第三方系统进行对接
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后,还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项: 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整,具体操作请参考修改集群服务配置参数
通过Hue管理HDFS文件 操作场景 Hue提供了文件浏览器功能,使用户可以通过界面图形化的方式使用HDFS。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用