检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS集群通过IAM委托对接OBS MRS支持用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算模式。MRS通过IAM服务的“委托”机制进行简单配置， 实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 通过绑定委托
r”，单击“添加”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName
如何在Flume配置文件中使用环境变量 本章节描述如何在配置文件“properties.properties”中使用环境变量。 本章节适用于MRS 3.x及之后版本。 安装Flume客户端。 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户
r”，单击“添加”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName
SDK”为“SDKs”中添加的JDK。 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File > Settings
SDK”为“SDKs”中添加的JDK。 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File > Settings
Kafka服务来处理该问题。操作步骤如下： 登录FusionInsight Manager页面，选择“集群 > Kafka”。 在服务“概览”页面右上角单击“更多”，选择“停用Ranger鉴权”。在弹出的对话框中输入密码，单击“确定”，操作成功后单击“完成”。 在服务“概览”页面
最终数据的每行结束标识字符。 说明： ftp或sftp作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“换行符”配置无效。 字段分割符 最终数据的每个字段分割标识字符。 说明： ftp或sftp作为目的连接时，当“文件格式”配置为BINARY_FILE时，高级属性中的“字段分割符”配置无效
MRS所使用的裸金属服务器规格 针对不同的应用场景，MRS使用到如下类型的裸金属服务器。 本地存储型（D2型） IO优化型（IO2） 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中， A表示系列，例如：s表示通用型、c表示计算型、m表示内存型。 B表示系列号，例如
OdDt/yn...etM 配置多个SFTP服务器，多个服务器指定目录的数据将导入到Hive。 设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径，如果连接器配置多个地址此处可对应使用“
与“过滤类型”配合使用，配置通配符或正则表达式对源文件的输入路径包含的目录进行过滤。“输入路径”不参与过滤。使用分号“;”分隔多个服务器上的路径过滤器，每个服务器的多个过滤条件使用逗号“,”隔开。配置为空时表示不过滤目录。 “?”匹配单个字符。 “*”配置多个字符。 在匹配条件前加“^”表示取反，即文件过滤。
sh”生效之后，再执行5配置“properties.properties”文件。 如果在本地配置该文件，配置完成后可参考如下步骤在Manager界面上传配置文件。如果操作顺序不规范，可能造成用户自定义环境变量丢失。 登录FusionInsight Manager。 选择“集群 > 服务 > Flume
OdDt/yn...etM 配置多个SFTP服务器，多个服务器指定目录的数据将导入到HBase。 设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径，如果连接器配置多个地址此处可对应使用
导入并配置Kafka样例工程 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码，将准备连接Kafka集群配置文件时获取的
HostName 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常，可能会导致主OMS节点与外部服务器不能同步时间，集群时间可能会产生误差。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。 不能从NTP服务器获取时间。 从NTP服务器获取的时间持续未更新。
如需使用OBS加密功能，请先配置MRS访问OBS功能，具体请参考配置MRS集群通过IAM委托对接OBS。 Hive配置 登录MRS控制台，在左侧导航栏选择“现有集群” ，单击集群名称。 选择“组件管理 > Hive > 服务配置”。 将“基础配置”切换为“全部配置”，搜索并配置如下参数： 表1
General > Existing Projects into Workspace > Next >Browse”。 显示“浏览文件夹”对话框。 选择样例工程文件夹，单击“Finish”。 设置Eclipse的文本文件编码格式，解决乱码显示问题。 在Eclipse的菜单栏中，选择“Window
导入并配置Kafka样例工程 获取样例工程文件夹。 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“kafka-examples”。 获取配置文件。 若需要在本地Windows调测Kafka样例代码，将准备连接Kafka集群配置文件时获取的
r”，单击“添加”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。Loader支持配置多个SFTP服务器操作数据，单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName
Python开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。 操作步骤 对于Python开发环境，直接使用Editra编辑器（或其他编写Python应用程序的IDE）即可。 下载客户端样例配置程序到本地开发环境。 使用FTP工具，将运行调测环境的客户端包文件“MRS_S
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
