检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启Kerberos认证的集群需已创建具有CDL管理操作权限的用户。如果当前集群开启了Ranger鉴权,还需参考添加Hive的Ranger访问权限策略章节授予用户Hive管理员权限和UDF操作权限。 使用具有Hive管理员权限的用户在Hive客户端创建全局的UDF算法: 创建CheckSum函数(在default数据库下执行):
数据连接管理”,进入数据连接管理页面。 单击“创建数据连接”,在弹出的页面中选择数据连接类型,参考表1填写信息,单击“确定”,完成数据连接创建。创建完成后,可在对应数据连接的“操作”列对数据连接进行编辑、测试、删除等操作。 表1 创建数据连接信息 参数名称 参数描述 示例 数据连接类型 选择数
单击“点击管理”,打开“访问MRS Manager页面”。 若用户创建集群时已经绑定弹性公网IP,如图1所示。 选择待添加的安全组规则所在安全组,该安全组在创建群时配置。 添加安全组规则,默认填充的是用户访问公网IP地址9022端口的规则,如需开放多个IP段为可信范围用于访问MRS Man
获取用户“admin”账号密码。“admin”密码在创建集群时由用户指定。 使用其他用户访问Storm WebUI,需要用户属于“storm”或“stormadmin”用户组。 操作步骤 进入组件管理页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理”。 若集群详
单击“实例”,勾选所有FlinkServer实例,选择“更多 > 重启实例”,输入密码,单击“确定”重启实例。 访问FlinkServer,并创建Flink SQL作业。 登录Manager,选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 参考
HDFS用户可在其他用户目录下创建或删除文件 问题现象 在使用MRS服务时,某个用户可以在其他用户的HDFS目录下面删除或者创建文件。 原因分析 客户配置的用户具有ficommon组的权限,所以可以对HDFS任意操作。需要移除用户的ficommon组权限。 处理步骤 以root用户登录集群的Master节点。
创建集群并执行作业 功能介绍 创建一个MRS集群,并在集群中提交一个作业。该接口不兼容Sahara。 (建议优先使用创建集群V2接口和创建集群并提交作业V2接口来完成创建集群或创建集群并提交作业的功能) 支持同一时间并发创建10个集群。 使用接口前,您需要先获取下的资源信息。 通过VPC创建或查询VPC、子网
> 数据连接 > 数据连接管理 > 新建数据连接 > 所有”,选择“Presto”并打开。参考图1新建连接。 图1 新建连接 参考下表配置连接参数。配置完成后单击“测试连接”,或在“模式”单击“点击连接数据库”测试数据连接,测试成功后单击“保存”。 表1 HSFabric连接参数 参数名
查看Kafka服务状态: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight Manager,选择“集群
ALM-45176 OBS元数据接口调用成功率低于阈值 告警解释 系统每30秒周期性检测OBS元数据接口调用成功率是否小于阈值,当检测到小于所设置阈值时就会产生该告警 。 当OBS元数据接口调用成功率大于阈值时,该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除 45176
创建Loader角色 操作场景 该任务指导MRS集群管理员在FusionInsight Manager创建并设置Loader的角色。Loader角色可设置Loader管理员权限、作业连接、作业分组以及Loader作业的操作和调度权限。 本章节适用于MRS 3.x及后续版本。 前提条件
ase 操作场景 该任务指导用户使用Loader将文件从HDFS/OBS导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。
nt。 创建作业步骤 使用root用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创
打开Tableau,选择“到服务器 > 其他数据库(JDBC)”,输入URL和已创建的“人机”用户的用户名及密码,单击“登录”。支持HSFabric方式和HSBroker方式连接,URL格式详情可参考表1。 图1 使用Tableau访问HetuEngine 登录成功后,将要操作的数据表拖到右边操作窗口,刷新数据。
为什么Spark Streaming应用创建输入流,但该输入流无输出逻辑时,应用从checkpoint恢复启动失败 问题 Spark Streaming应用创建1个输入流,但该输入流无输出逻辑。应用从checkpoint恢复启动失败,报错如下: 17/04/24 10:13:57
列的“读”、“写”和“执行”权限,单击“确定”,完成角色的创建。 图3 配置HDFS服务权限 选择“用户 > 添加用户”,配置如下参数创建一个用户,详情请参见创建用户。 填写用户名,例如test。 用户类型为“人机”用户。 输入密码和确认新密码。 绑定“Manager_viewe
包含Kafka服务的客户端已安装,例如安装路径为:/opt/client 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink WebUI,如:flink_admin。 创建作业步骤 使用flink_admin登录Manager,选择“集群 > 服务 > Flink”,在“Flink
密码:输入创建集群时设置的root用户密码。 SSH私钥:选择并上传创建集群时使用的密钥文件。 单击“确定”开始生成客户端文件。 若界面显示以下提示信息表示客户端包已经成功保存,单击“关闭”。 下载客户端文件到远端主机成功。 若界面显示以下提示信息,请检查用户名密码及远端主机
单击“立即购买”,进入任务提交成功页面。 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 步骤二:安装集群客户端 MRS集群创建成功后,用户可安装集群客户端用于连接集群内各组件服务,进行作业提交等操作。
OBS 操作场景 该任务指导用户使用Loader将数据从HBase导出到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。