检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hue提交Oozie Distcp作业 操作场景 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“DistCp”按钮,将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是,执行4。
Impala不支持该类UDF。 按使用方法,UDF有如下分类: 临时函数,只能在当前会话使用,重启会话后需要重新创建。 永久函数,可以在多个会话中使用,不需要每次创建。 Impala支持开发Java UDF,也可以复用Hive开发的UDFs,前提是使用Impala支持的数据类型。
Impala不支持该类UDF。 按使用方法,UDF有如下分类: 临时函数,只能在当前会话使用,重启会话后需要重新创建。 永久函数,可以在多个会话中使用,不需要每次创建。 Impala支持开发Java UDF,也可以复用Hive开发的UDFs,前提是使用Impala支持的数据类型。
使用Hue提交Oozie Distcp作业 操作场景 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“DistCp”按钮,将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是,执行4。
如何判断某个服务是否使用了Ranger鉴权 问题 如何判断某个支持使用Ranger鉴权的服务当前是否启用了Ranger鉴权? 回答 登录FusionInsight Manager,选择“集群 > 服务 > 服务名称”,在服务详情页上继续单击“更多”,查看“启用Ranger鉴权”是否为可单击?
MrsObsCredentialsProvider:通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCredentialsProvider:通过ECS云服务获取AK/SK信息。 com.obs.services.BasicObsCredentialsProvi
Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值,创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。
Impala不支持该类UDF。 按使用方法,UDF有如下分类: 临时函数,只能在当前会话使用,重启会话后需要重新创建。 永久函数,可以在多个会话中使用,不需要每次创建。 Impala支持开发Java UDF,也可以复用Hive开发的UDFs,前提是使用Impala支持的数据类型。
是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 任务名 产生告警的任务名称。 用户名 告警任务的创建用户名称。 对系统的影响 CDL任务失败,任务数据实时集成中断。 可能原因 CDL任务由于参数配置或者其他原因导致运行失败。失败原因可在CDL
使用Hue提交Oozie Spark2x作业 操作场景 该任务指导用户通过Hue界面提交Spark2x类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Spark 程序”按钮,将其拖到操作区中。 在弹出的“Spark”窗口配置“Files”,
登录Manager,选择“集群 > 服务 > ClickHouse”, 在ClickHouse服务界面单击“数据迁移”页签,进入数据迁移界面。 单击“创建迁移任务”。 在创建迁移任务界面,填写迁移任务的相关参数,具体参考如下表1。 表1 迁移任务参数说明 参数名 参数取值说明 任务名称 填写具体的任务
登录Manager,选择“集群 > 服务 > ClickHouse”, 在ClickHouse服务界面单击“数据迁移”页签,进入数据迁移界面。 单击“创建迁移任务”。 在创建迁移任务界面,填写迁移任务的相关参数,具体参考如下表1。 表1 迁移任务参数说明 参数名 参数取值说明 任务名称 填写具体的任务
配置Spark作业失败时清理残留文件 本章节仅适用于MRS 3.3.1-LTS及之后版本。 配置场景 Spark作业失败时可能出现文件残留的情况,可能会长期积累导致磁盘空间告警,因此需要定时清理。 使用约束 本特性需要启动Spark JDBCServer服务,借助JDBCServ
Spark多服务场景下,普通用户无法登录Spark客户端 问题 Spark存在多个服务场景时,当使用多服务时,普通用户无法登录spark-beeline。报错如下图所示: 原因 当Hive同时存在多场景服务时,普通用户不属于Hive用户组,没有Hive目录权限,导致无法登录。 解决方法
使用Loader 从零开始使用Loader Loader使用简介 Loader常用参数 创建Loader角色 Loader连接配置说明 管理Loader连接(MRS 3.x之前版本) 管理Loader连接(MRS 3.x及之后版本) Loader作业源连接配置说明 Loader作业目的连接配置说明
SQL接口 提交SQL语句 查询SQL结果 取消SQL执行任务 父主题: API V2
ClickHouse客户端执行SQL查询时报内存不足如何处理? MRS如何连接spark-shell? MRS如何连接spark-beeline? 连接ClickHouse服务端异常报错“code: 516”如何处理?
3对接时存在Jetty兼容性问题如何处理? MRS导出数据到OBS加密桶失败如何处理? MRS服务如何对接云日志服务? MRS集群的节点如何安装主机安全服务? 如何通过happybase连接到MRS服务的HBase? Hive Driver是否支持对接dbcp2?
节点管理类 MRS集群内节点的操作系统是什么? 升级Master节点规格需要关机吗? MRS是否支持变更MRS集群节点? 如何查询MRS节点的启动时间? MRS集群内节点互信异常如何处理? MRS集群是否支持调整Master节点规格? MRS集群内节点的sudo log能否清理?
Spark2x Spark2x基本原理 Spark2x多主实例 Spark2x多租户 Spark2x与其他组件的关系 Spark2x开源新特性说明 Spark跨源复杂数据的SQL查询优化 父主题: 组件介绍