检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载。 支持与MapRe
大数据引擎,支持数据湖、数据仓库、BI、AI融合等能力,完全兼容开源,快速帮助客户上云构建低成本、灵活开放、安全可靠、全栈式的云原生大数据平台,满足客户业务快速增长和敏捷创新诉求。 父主题: 产品咨询类
LD_PRELOAD参数提前加载。 x86平台上参数值设置为:{客户端安装目录}/Spark/spark/native/libch.so,{客户端安装目录}/JDK/jdk1.8.0_372/jre/lib/amd64/libjsig.so arm平台上参数值设置为:{客户端安装目录}/
记录实际操作内容,不超过2048字符。 时间 记录操作的时间。对于已删除的集群,界面只显示6个月内的日志信息,若需要查看6个月之前的日志信息,请联系华为云支持人员。 企业项目 操作的集群所属的企业项目。 父主题: 查看MRS集群日志
使用永洪BI访问MRS HetuEngine 应用场景 永洪BI是一款一站式大数据BI平台,全面覆盖数据分析过程中的各个环节,轻松完成全流程数据分析任务,包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等,极大降低了实施、集成、培训的成本。 本章节以Yonghong Desktop
使用Tableau访问MRS HetuEngine 应用场景 Tableau是一款商业智能工具软件,将可信的数据转化为可行的见解。借助直观的人工智能分析平台,帮助人们查看和理解数据并根据数据采取行动,让每一次决策都更加明智。 本章节以Tableau Desktop 2022.2版本为例,讲解如
false spark.scheduler.allocation.file #{conf_dir}/fairscheduler.xml 进入JDBCServer2x自定义界面,在“spark.core-site.customized.configs”参数内,添加如下两个自定义项: 表1 自定义参数
.withQueryTimeoutSecs(30); JDBCSpout wordSpout = new JDBCSpout(); // 构造拓扑,wordSpout==>wordLookupBolt==>wordInsertBolt
r和driver都要通信,这就会导致由于内存不足,进程之间通信断连等问题。 当把Driver的内存设置到4g时,应用成功跑完。 使用JDBCServer执行TPC-DS测试套,默认参数配置下也报了很多错误:Executor Lost等。而当配置Driver内存为30g,execu
r和driver都要通信,这就会导致由于内存不足,进程之间通信断连等问题。 当把Driver的内存设置到4g时,应用成功跑完。 使用JDBCServer执行TPC-DS测试套,默认参数配置下也报了很多错误:Executor Lost等。而当配置Driver内存为30g,execu
表示作业运行使用的时间。 Id 表示作业的编号,由系统自动生成。 如果MRS集群安装了Spark组件,则默认会启动一个作业“Spark-JDBCServer”,用于执行任务。 搜索作业 在“作业浏览器”的搜索栏,输入指定的字符,系统会按照ID、名称、用户自动搜索包含此关键字的全部作业。
false spark.scheduler.allocation.file #{conf_dir}/fairscheduler.xml 进入JDBCServer2x自定义界面,在“spark.core-site.customized.configs”参数内,添加如下两个自定义项: 表1 自定义参数
数据规划 使用Spark-Beeline工具创建Spark和HBase表table1、table2,并通过HBase插入数据。 确保JDBCServer已启动。登录Spark2x客户端节点。 使用Spark-Beeline工具创建Spark表table1。 create table
包年/包月MRS资源生命周期 到期预警 包年/包月MRS集群资源在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 到期后影响 当您的包年/包月MRS集群资源到期未续费,首先会进入宽限期,宽限期内您可以正常使用MRS集群,但以下涉及费用的操作将受到限制:
Streaming使用上表中的API接口进行程序开发。而SparkSQL模块,支持CLI或者JDBCServer两种方式访问。其中JDBCServer的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。 spark-sql脚本、spark-shell脚
ALM-27003 DBService主备节点间心跳中断 告警解释 DBService主节点或备节点超过7秒未收到对端的心跳消息后,系统产生告警。 当心跳恢复后,该告警恢复。 告警属性 告警ID 告警级别 是否自动清除 27003 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
Streaming使用上表中的API接口进行程序开发。而SparkSQL模块,支持CLI或者JDBCServer两种方式访问。其中JDBCServer的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。 spark-sql脚本、spark-shell脚
Streaming使用上表中的API接口进行程序开发。而SparkSQL模块,支持CLI或者JDBCServer两种方式访问。其中JDBCServer的连接方式也有Beeline和JDBC客户端代码两种。详情请参见Spark JDBCServer接口介绍。 spark-sql脚本、spark-shell脚
理”。 在Core节点组中勾选任意一个Core节点,单击“节点操作 > 停止所有角色”。 登录Core节点后台,参考如何使用自动化工具配置华为云镜像源(x86_64和ARM)?配置yum源。 使用uname -r或rpm -qa |grep kernel命令,查询并记录当前节点内核版本。
Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索acl,在对应的JobHistory,JDBCServer,SparkResource和Spark界面修改以下参数。 表1 参数说明 参数 说明 默认值 spark.history.ui