检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台查看集群事件
Job Manager 管理Loader作业,包括创建作业、查询作业、更新作业、删除作业、激活作业、去激活作业、启动作业、停止作业。 Metadata Repository 元数据仓库,存储和管理Loader的连接器、转换步骤、作业等数据。 HA Manager 管理Loader Server进程的主备状态,Loader
anager界面,详情请参考访问MRS集群Manager。 通过管理控制台管理角色实例 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“组件管理”。 单击服务列表中指定的服务名称。 单击“实例”页签。 勾选待操作角色实例前的复选框。
用户同步”右侧的“同步”进行IAM用户同步,然后再通过该接口提交作业。 如需使用OBS加密功能,请先参考“MRS用户指南 > 管理现有集群 > 作业管理 > 使用OBS加密数据运行作业”页面进行相关配置后,再调用API接口运行作业。 所有示例中涉及的OBS路径、样例文件及终端节点
Spark2x样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Spark2x相关样例工程:
Storm-Kafka开发指引 操作场景 本文档主要说明如何使用Storm-Kafka工具包,完成Storm和Kafka之间的交互。包含KafkaSpout和KafkaBolt两部分。KafkaSpout主要完成Storm从Kafka中读取数据的功能;KafkaBolt主要完成Storm向Kafka中写入数据的功能。
ormal-examples”文件夹中的Scala、Spark Streaming等多个样例工程。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图2 Quick Start
在MRS Manager界面创建了一个账户,登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够,需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger WebUI界面,单击右上角用户名,选择“Log Out”,退出当前用户。
HDFS样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下HDFS相关样例工程:
tor内存不足,进而导致访问Manager异常。 处理步骤 通过root用户登录Master1或Master2其中任意一节点,执行以下命令切换到omm用户。 su - omm 执行以下命令,修改“catalina.sh”脚本。 vim /opt/executor/bin/catalina
成的信息泄露。 确定集群是否支持调整会话时长。 MRS 3.x之前版本集群:在集群详情页面,选择“组件管理 > meta > 服务配置”,切换“基础配置”为“全部配置”,搜索配置项“http.server.session.timeout.secs”,如果有该配置项请参考如下步骤修
基于全局二级索引查询HBase表数据 功能简介 添加了全局二级索引的用户表,在使用索引条件进行查询时,可以转换为对索引表的范围查询,性能高于针对无二级索引用户表的数据查询。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“Globa
基于全局二级索引查询HBase表数据 功能简介 添加了全局二级索引的用户表,在使用索引条件进行查询时,可以转换为对索引表的范围查询,性能高于针对无二级索引用户表的数据查询。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“Globa
ngine中用tdigest表示这种数据结构。T-digest可以合并,在存储时可以强转为VARBINARY,检索时再由VARBINARY转换为T-digest 函数 merge(tdigest)→tdigest 描述:将所有输入的tdigest数据合并成一个tdigest。 v
huawei.bigdata.mapreduce.examples.MultiComponentExample 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中与准备放置编译出的jar包同目录的“conf”目录下获取)的配置项“mapreduce
型。 String 100000字符 说明: 如果在CREATE TABLE中使用Char或Varchar数据类型,则这两种数据类型将自动转换为String数据类型。 如果存在字符长度超过32000的列,需要在建表时,将该列加入到tblproperties的LONG_STRING_COLUMNS属性里。
Manager页面,选择“服务管理 > 下载客户端”下载客户端安装包至主管理节点。 如仅需更新客户端配置文件,请参考更新客户端(3.x之前版本)页面的方法二操作。 使用IP地址搜索主管理节点并使用VNC登录主管理节点。 在主管理节点,执行以下命令切换用户。 sudo su - omm 在MRS管理控制台
还需确保该目录下已存在HBase访问多ZooKeeper场景安全认证所需的“zoo.cfg”和“jaas.conf”文件。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图1 Quick Start
MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用,当前版本各组件提供的样例工程汇总参见表1。 表1
的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证。(普通模式跳过此步骤) kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。