检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
订单支付成功后,集群开始进行转包周期流程,待集群转包周期成功后,集群状态更新为“运行中”。 转包周期后集群原有Task节点计费类型保持按需计费,集群在转包周期过程中已配置的弹性伸缩规则不触发新任务,请选择恰当的时间进行该操作。 父主题: 变更计费模式
确认工程名称和路径,单击“Finish”完成导入。 图6 Select project to import 导入完成后,IDEA主页显示导入的样例工程。 图7 已导入工程 (可选)如果导入Scala语言开发的样例程序,还需要为工程设置语言。 在IDEA主页,选择“File > Project Structures
准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Kafka集群配置文件
准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 准备连接Kafka集群配置文件
Manager。 重启主备ResourceManager实例后,Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 前提条件 已删除某个租户,但该租户对应的队列依然存在。 清除租户非关联队列 确定该租户对应的队列依然存在。 在FusionInsight Manager界面,选择“集群
警是否恢复。 如果希望及时核查故障是否恢复,可适当调整审计日志开始时间,设置开始时间为当前时间10分钟或30分钟之后,待任务启动并确认告警已恢复,再重新调整启动时间。 是,执行完毕。 否,执行5。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请
Catalog进程的内存占用率”,检查阈值大小。 如阈值较小(小于80%),可根据实际需要适当增大告警阈值,检查告警是否消除。 是,操作结束。 否,执行3。 如阈值已超过80%,请检查告警出现时刻是否有突发的大量并发查询任务,突发大量任务将会导致内存占用飙升,待任务执行完成后检查告警将是否消失,期间可能有
YARN组件运行中的任务数。 取值范围为[0~2147483646]。 YARNContainerAllocated 整型 YARN组件中已分配的container个数。 取值范围为[0~2147483646]。 YARNContainerPending 整型 YARN组件挂起的container个数。
Start页面) 选择需导入的样例工程存放路径,单击“OK”。 图9 Select File or Directory to Import 选择从已存在的源码创建工程,然后单击“Next”。 图10 Create project from existing sources 确认导入路径和名称,单击“Next”。
管理 > 节点名称” ,进入弹性云服务器界面。单击“远程登录”按钮,完成Hive节点的登录。 MRS3.x及后续版本: 以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客户端安装目录,例如“/opt/client”。 cd /opt/client 执行source
换到客户端目录。 cd /opt/hadoopclient 执行以下命令加载环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则通常情况下无需认证。 kinit MRS集群用户
达。 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。 修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。
scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 约束与限制 已安装DBeaver 6.3.5版本,DBeaver软件下载链接为:https://dbeaver.io/files/6.3.5/dbeaver-ce-6.3.5-x86_64-setup.exe。 已安装JDK 1.8.0_x。 步骤一:配置DBeaver安装环境
--打开compaction操作。 set hoodie.run.compact.only.inline = true; --compaction只执行已生成的计划,不产生新计划。 set hoodie.cleaner.commits.retained = 120; --清理保留120个commit。
d)”,检查阈值大小。 如阈值较小(小于80%),可根据实际需要适当增大告警阈值,检查告警是否消除。 是,操作结束。 否,执行3。 如阈值已超过80%,请检查告警出现时刻是否有突发的大量并发查询任务,突发大量任务将会导致内存占用飙升,待任务执行完成后检查告警是否消失,期间可能有因
列,1代表第2列,依次类推。 创建列加密表时,表所在的目录必须是空目录。 使用insert语法向设置列加密的表中导入数据。 假设test表已存在且有数据: insert into table <table_name> select <col_list> from test; 父主题:
准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括集群组件信息文件以及用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 准备Spark连接集群配置文件 配置并导入样例工程 Spark提供了不同场景下的多种样例程序,用户可以可
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
准备连接集群配置文件 应用程序开发或运行过程中,需通过集群相关配置文件信息连接MRS集群,配置文件通常包括用于安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通。 配置并导入样例工程 MRS提供了不同组件场景