检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于用户应用程序开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
新建FlinkServer流表步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“流表管理”进入流表管理页面。 单击“新建流表”,在新建流表页面参考表1填写信息,单击“确定”,完成流表创建。创建完成后,可在对应流表的“操作”列对流表进行编辑、删除等操作。
sql.DriverManager.setLoginTimeout(int seconds)设置,seconds的单位为秒。 UDF管理 建议由管理员创建永久UDF,避免每次使用时都去add jar,和重新定义UDF。 Hive的UDF会有一些默认属性,比如“determinis
conf”配置文件中进行设置。 参数 说明 默认值 spark.sql.streaming.stateStore.providerClass 用于管理有状态流查询中的状态数据的类。此类必须是StateStoreProvider的子类,并且必须具有零参数构造函数。 配置参数值为org.apache
WebUI 访问KuduMaster WebUI(MRS 3.x之前版本) 登录Manager页面,请参见访问集群Manager。 选择“服务管理 > Kudu”。 在“Kudu 概述”的“KuduMaster WebUI”中单击“KuduMaster(KuduMaster)”,打开KuduMaster的WebUI页面。
装操作可参考集群外节点使用MRS客户端。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluster_1_Services_ClientC
访问KuduMaster WebUI(MRS 3.x之前版本) 登录Manager页面,请参见访问MRS Manager(MRS 3.x之前版本)。 选择“服务管理 > Kudu”。 在“Kudu 概述”的“KuduMaster WebUI”中单击“KuduMaster(KuduMaster)”,打开KuduMaster的WebUI页面。
支持Schema演进功能 支撑分区演进功能 支持隐式分区功能 支持历史版本回溯功能 Iceberg关键技术和优势 Iceberg支持分支和标签功能,能更加灵活的管理快照生命周期。 Iceberg支持丰富的Spark SQL能力。 父主题: 组件介绍
在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”,勾选“default”的“提交”和“管理”,单击“确定”保存。 说明: Hive应用开发需要到的额外的操作权限需要从系统管理员处获取。 ClickHouse 在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse
是,表示当前本服务未启用Ranger鉴权插件,可单击“启用Ranger鉴权”启用该功能。 否,表示当前本服务已启用Ranger鉴权插件,可通过Ranger管理界面配置访问该服务资源的权限策略。 若不存在该选项,则表示当前服务不支持Ranger鉴权插件,未开启Ranger鉴权。 父主题: Ranger常见问题
是,表示当前本服务未启用Ranger鉴权插件,可单击“启用Ranger鉴权”启用该功能。 否,表示当前本服务已启用Ranger鉴权插件,可通过Ranger管理界面配置访问该服务资源的权限策略。 如果不存在该选项,则表示当前服务不支持Ranger鉴权插件,未开启Ranger鉴权。 父主题: Ranger常见问题
以root用户登录主FlinkServer节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行以下命令检查备FlinkServer节点是否可达。 ping 备FlinkServer IP地址 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。 修复网络故障,查看告警列表中,该告警是否已清除。
已安装客户端。例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。 “机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 非root用户使用HBase客户端,请确
进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
息,同时到Loader界面查看该任务的历史执行记录。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 重新提交任务。 查看任务是否成功执行。 是,执行9。 否,执行5。 检查Yarn执行任务时是否出现异常。
HQL语言 Hive Query Language,类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层,吸收了Hive的DDL命令。为MapReduce提供读写接口,提供Hive命令行接口来进行数据定义和元数据查询。基于MRS的HCata
而Presto默认不读取子目录下的文件,所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 处理步骤 在集群详情页面选择“组件管理 > Presto > 服务配置”。 切换“基础配置”为全部配置“。 在左侧导航处选择“Presto > Hive”,在“catalog/hive
配置项中,IP地址之间使用英文逗号分隔。 登录FusionInsight Manager页面,下载集群客户端软件包至主管理节点并解压,然后以root用户登录主管理节点,进入集群客户端解压路径下,复制“FusionInsight_Cluster_1_Services_ClientC
文件,以及key和pem格式密钥文件。申请的证书需要有签发功能。 更换CA证书 以omm用户登录集群任意管理节点。 选择证书和密钥文件的生成方式: 若由证书中心生成,请在管理节点的omm用户目录保存申请的证书文件与密钥文件。 若获取的证书文件格式不是“.crt”,密钥文件格式不是“
配置Hive单表动态视图的访问控制权限 配置创建临时函数的用户不需要具有ADMIN权限 配置具备表select权限的用户可查看表结构 配置仅Hive管理员用户能创建库和在default库建表 配置Hive支持创建超过32个角色 创建Hive用户自定义函数 配置Hive Beeline高可靠性