检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Flume服务端从Kafka采集日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用
开启HBase Multicast功能 HBase Multicast特性涉及Publisher(HMaster)以及Listener(客户端)两个角色,通过设置配置“hbase.status.published”值为“true”开启。MRS 3.5.0及之后版本,Publisher
使用Flume服务端从本地采集动态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式
使用Flume服务端从Kafka采集日志保存到HDFS 该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置
配置Spark加载第三方jar包,用于注册UDF或者扩展SparkSQL 本章节仅适用于MRS 3.5.0-LTS及之后版本。 配置场景 用户可能经常会自定义UDF或者使用一些自定义jar扩展Spark能力,针对这种第三方jar需要在Spark启动前指定好第三方类加载路径。 前提条件
配置HDFS通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录
开源Kylin 3.x与MRS 1.9.3对接时存在Jetty兼容性问题如何处理? 出于安全考虑,MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级,导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。
添加OBS的Ranger访问权限策略 操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian
HetuEngine物化视图SQL示例 物化视图SQL示例请参考表1。 表1 物化视图的操作 操作 功能 物化视图SQL样例 备注 创建物化视图 (创建物化视图时,只创建了物化视图的定义,数据填充需要使用refresh materialized view name刷新物化视图数据)
同步MRS集群组件配置参数 当用户发现部分组件或实例的状态超期或失败时,您可以尝试使用同步配置功能,以恢复配置状态。或者集群中所有服务的配置状态为失败时,同步指定服务的配置数据与后台配置数据。 若集群中所有服务的配置状态为“失败”时,同步集群的配置数据与后台配置数据。 若集群中某些服务的配置状态为
创建IAM用户并授权使用MRS 如果您需要对您所拥有的MapReduce服务(MapReduce Service)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中
删除作业执行对象(废弃) 功能介绍 删除指定的作业执行对象。该接口兼容Sahara。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI DELETE /v1.1/{project_id
Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID,返回的页面提示Error Occurred。 回答 用户提交查看applicationID
Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID,返回的页面提示Error Occurred。 回答 用户提交查看applicationID
通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSFabric连接方式实现,使用用户名和密码连接到HetuEngine,组装对应的SQL发送到HetuEngine执行。 import jaydebeapi driver = "io.XXX.jdbc.XXXDriver
开启Kerberos认证的MRS集群提交Flink作业报错 用户问题 用户在开启Kerberos认证的MRS集群中提交Flink作业报错。 问题现象 用户提交Flink样例程序./flink run /opt/client/Flink/flink/examples/streaming
CSV文件输入 概述 “CSV文件输入”算子,用于导入所有能用文本编辑器打开的文件。 输入与输出 输入:文本文件 输出:多个字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 分隔符 CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符 用户根据数据实际情况
配置ZooKeeper数据传输加密 操作场景 默认情况下,ZooKeeper客户端与服务端之间、服务端各实例之间默认未开启SSL通道加密传输,本章节指导用户开启ZooKeeper通道加密传输。 该功能仅适用于MRS 3.1.2及之后版本集群。 对系统的影响 ZooKeeper服务端开启
CSV文件输入 概述 “CSV文件输入”算子,用于导入所有能用文本编辑器打开的文件。 输入与输出 输入:文本文件。 输出:多个字段。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 分隔符 CSV文件的列分隔符,用于分隔每行的数据。 string 是 , 换行符
修改MRS集群LDAP管理账户密码 建议管理员定期修改集群LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码,以提升系统运维安全性。 该章节仅适用于MRS