检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
和Hive权限,才能运行Spark样例工程。 准备MRS应用开发用户 准备工程 Spark提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程(可选) 准备安全认证 如果您使用的是安全集群,需要进行安全认证。
相关内容。 准备Spark连接集群配置文件 配置并导入样例工程 Spark提供了不同场景下的多种样例程序,用户可以可获取样例工程并导入本地开发环境中进行程序学习,或者可以根据指导,新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程(可选) 配置安全认证
用于程序调测或运行的节点,需要与MRS集群内节点网络互通。 配置并导入样例工程 MRS提供了不同组件场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 配置安全认证 连接开启了Kerberos认证的MRS集群时,应用程序中需配置具有相关资源访问权限的用户进行安全认证。 根据业务场景开发程序
用于程序调测或运行的节点,需要与MRS集群内节点网络互通。 配置并导入样例工程 MRS提供了不同组件场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 配置安全认证 连接开启了Kerberos认证的MRS集群时,应用程序中需配置具有相关资源访问权限的用户进行安全认证。 根据业务场景开发程序
用于程序调测或运行的节点,需要与MRS集群内节点网络互通。 配置并导入样例工程 MRS提供了不同组件场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 配置安全认证 连接开启了Kerberos认证的MRS集群时,应用程序中需配置具有相关资源访问权限的用户进行安全认证。 根据业务场景开发程序
支持自定义集群拓扑 MRS新增“自定义”类型集群,用户可以自主定义集群的进程实例在集群节点中的部署方式。 商用 创建自定义拓扑集群 2020年5月 序号 功能名称 功能描述 阶段 相关文档 1 支持包周期集群指定节点缩容 用户可以根据业务需求量,通过指定节点对集群进行缩容,以使MR
作指导,您可以基于此操作指导,创建和使用MRS集群。 使用更多的功能,并查看其相关操作指导 如果您是一个MRS集群使用和运维人员,可以参考用户指南完成集群的生命周期管理、扩缩容以及作业管理等操作。集群中组件的使用指导可以详细参考组件操作指南。 如果您是一个开发者,可以参考MRS提
数据特征,进行强有力的数据编码和压缩能力,同时其自身的副本机制也保证了数据的安全,并与Apache Hadoop和Flink等进行了深度集成,可以满足工业物联网领域的海量数据存储、高速数据读取和复杂数据分析需求。 IoTDB结构 IoTDB套件由若干个组件构成,共同形成数据收集、
信息。 准备连接IoTDB集群配置文件 准备工程 IoTDB提供了不同场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 导入并配置IoTDB样例工程 根据业务场景开发程序 提供了Java语言的样例工程,包含JDBC和Session两种连接方式,从创建存储
di的调优和Spark比较类似。 推荐资源配置 mor表: 由于其本质上是写增量文件,调优可以直接根据Hudi的数据大小(dataSize)进行调整。 dataSize如果只有几个G,推荐跑单节点运行spark,或者yarn模式但是只分配一个container。 入湖程序的并行度p设置:建议p
准备连接Hive集群配置文件 配置并导入样例工程 HIve提供了不同场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 导入并配置Hive样例工程 配置安全认证 如果您使用的是JDBC访问开启了Kerberos认证的MRS集群,需要进行安全认证。 配置Hive
考Spark Core性能调优。 推荐资源配置 mor表: 由于其本质上是写增量文件,调优可以直接根据hudi的数据大小(dataSize)进行调整。 dataSize如果只有几个G,推荐跑单节点运行spark,或者yarn模式但是只分配一个container。 入湖程序的并行度p设置:建议
准备连接IoTDB集群配置文件 配置并导入样例工程 IoTDB提供了不同场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 导入并配置IoTDB样例工程 根据业务场景开发程序 提供了Java语言的样例工程,包含JDBC和Session两种连接方式,从创建存储
保障用户集群长期稳定。 MRS服务支持运维授权的功能,用户在使用MRS集群过程中,发生问题可以在MRS页面发起运维授权,由运维人员帮助用户快速定位问题,用户可以随时收回该授权。同时用户也可以在MRS页面发起日志共享,选择日志范围共享给运维人员,以便运维人员在不接触集群的情况下帮助定位问题。
检查每个服务的运行状态和配置状态是否正常,是否为绿色。 检查每个服务中,角色实例的运行状态和配置状态是否正常,是否为绿色。 检查每个服务中,角色实例的主备状态是否可以正常显示。 检查服务与角色实例的“概览”显示结果是否正常。 检查集群主机状态 检查每个主机当前的运行状态是否正常,是否为绿色。 检查每个主
业。 如果集群未启用Kerberos认证,则显示集群中全部的作业。 在“Sqoop作业”中输入指定作业的名称或连接类型,可以筛选该作业。 单击“刷新列表”,可以获取作业的最新状态。 编辑作业 访问Loader页面,默认显示Loader作业管理页面。 单击指定作业的名称,进入编辑页面。
参数解释: 标签的值。 约束限制: 不涉及 取值范围: 标签的value值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。 最大长度255个unicode字符,可以为空字符串。 默认取值: 不涉及 表5 NodeGroupV2 参数 是否必选
的数据滞后性的问题,因此物化视图推荐在如下场景中使用: 执行频次高的查询。 查询包含非常耗时的操作,比如聚合、连接操作等。 对查询结果数据可以允许有一定的滞后性。 物化视图仅支持对接共部署Hive和外接Hive数据源,并且数据源表的存储格式为ORC或者PARQUET,不支持跨源跨域场景。
7 修改密码有效期 “机机”用户密码随机生成,密码默认永不过期。 “人机”用户密码的有效期可以在Manager页面通过修改密码策略进行修改。 具体操作如下: “人机”用户密码有效期可以参考修改密码策略章节修改。 父主题: 用户认证及权限类
KerberosServer 提供认证票据分发的进程。 应用客户端(Application Client)可以是集群内某个服务,也可以是客户二次开发的一个应用程序,应用程序可以向应用服务提交任务或者作业。 应用程序在提交任务或者作业前,需要向Kerberos服务申请TGT(Ticket-Granting