检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HiveACLExternalCatalog 指定Hive的外部目录实现。启用Spark ACL时必须提供。 spark.sql.hive.implementation org.apache.spark.sql.hive.HiveACLClientImpl 指定Hive客户端调用的实现。启用Spark ACL时必须提供。
通过JDBC方式实现查询HetuEngine SQL任务 功能简介 通过JDBC连接方式,组装对应的SQL发送到HetuServer执行,并能查询对应的SQL语句执行进度和状态。 import io.XXX.jdbc.XXXResultSet; import java.sql.Connection;
通过JDBC方式实现查询HetuEngine SQL任务 功能简介 通过JDBC连接方式,使用用户名和密码连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,并能查询对应的SQL语句执行进度和状态。 import io.XXX.jdbc.XXXResultSet;
如果要永久生效,登录Manager界面,选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > 自定义”,在“impalad.customized.configs”中添加参数“--idle_session_timeout”,值根据用户实际业
单击“添加依赖”,可参考如下添加依赖。 表1 添加依赖 参数 描述 示例 是否自定义connector 是否自定义connector,根据实际需求选择: 是:文件为自定义connector依赖包。 否:文件为非自定义connector依赖包。 是 名称 添加的依赖名称,需与上传的依赖包中
个月、最近六个月、自定义(选择自定义时,在时间范围内自行选择需要查看的时间)。 单击“查看”可以查看相应时间区间的监控数据。 MRS Manager在“服务概览”显示各个服务的“健康状态”和“角色数”。 单击曲线图表上侧的图标,可显示具体的指标说明信息。 自定义监控指标报表。 单击“定制”,勾选需要在MRS
如果要永久生效,登录Manager界面,选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > 自定义”,在“impalad.customized.configs”中添加参数“-default_query_options”值为“PARQUE
0及之前版本集群中的组件不可以删除,如果不使用的话可以登录集群Manager页面在服务管理中找到对应的组件将其停止。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持删除组件,具体请参见管理服务操作。 父主题: 组件管理类
取操作? 回答 登录Manager界面,选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > 自定义”,在“impalad.customized.configs”中添加参数“--webserver_cas_enable”值为“false”
开启细粒度权限时,用户通过该指导配置访问OBS权限,实现MRS用户对OBS文件系统下的目录权限控制。 该章节内容不适用于MRS 1.9.2版本。 如需对MRS的用户访问OBS的资源进行详细控制,可通过该功能实现。例如,您只允许用户组A访问某一OBS文件系统中的日志文件,您可以执行以下操作来实现: 为MRS集群配置
定时流程任务终止时间 workflowAppUri Workflow流程任务在HDFS上的存放路径 可以根据业务需要,以“key=values”的格式自定义参数及值。 样例代码 nameNode=hdfs://hacluster resourceManager=10.1.130.10:26004
定时流程任务终止时间 workflowAppUri Workflow流程任务在HDFS上的存放路径 可以根据业务需要,以“key=values”的格式自定义参数及值。 样例代码 nameNode=hdfs://hacluster resourceManager=10.1.130.10:26004
定时流程任务终止时间 workflowAppUri Workflow流程任务在HDFS上的存放路径 可以根据业务需要,以“key=values”的格式自定义参数及值。 样例代码 nameNode=hdfs://hacluster resourceManager=10.1.130.10:26004
对数据进行分析处理,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用Hive客户端实现A业务操作流程如下: 普通表的操作: 创建用户信息表user_info。
定时流程任务终止时间 workflowAppUri Workflow流程任务在HDFS上的存放路径 可以根据业务需要,以“key=values”的格式自定义参数及值。 样例代码 nameNode=hdfs://hacluster resourceManager=10.1.130.10:26004
配置源数据心跳表实现数据判齐功能 操作场景 心跳和数据判齐功能用于统计CDL同步任务的全链路信息, 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息,并将其写入到特定的Topic(cdl_snapshot_t
通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric实现KeyTab文件认证方式连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,完成对Hive数据源的增删改查操作。 import jaydebeapi
Flume支持将采集的日志信息导入到Kafka。 前提条件 已创建开启Kerberos认证的包含Flume、Kafka等组件的流式集群。可参考购买自定义集群。 已配置网络,使日志生成节点与流集群互通。 使用Flume客户端 普通集群不需要执行2-6。 安装Flume客户端。 可参考安装Fl
配置MRS集群作业消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。 单击“服务列表”选择“管理与监管
/flume/checkpoint 说明: 此路径随自定义数据路径变更。 检查点存放路径。 dataDirs ${BIGDATA_DATA_HOME}/hadoop/data1~N/flume/data 说明: 此路径随自定义数据路径变更。 数据缓存路径,设置多个路径可提升性能,中间用逗号分开。