检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1/{project_id}/job-exes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表2 Query参数 参数 是否必选 参数类型 描述 page_size
客户端无法访问,但正在运行的业务不受影响。 直接重启耗时约5分钟。 滚动重启 不影响业务。 滚动重启10个节点耗时约10分钟。 HetuEngine计算实例 直接重启 计算实例重启期间无法执行SQL任务。 直接重启耗时约5分钟。 滚动重启 不支持滚动重启。 - Doris 直接重启 重启时正在运行的任务将失败,重启期间无法提交新任务。
问题现象 客户想使用Python3.x的环境对接开启Kerberos认证的Kafka的集群。 处理步骤 登录Master节点,执行如下命令,配置华为云欧拉镜像源。 wget http://mirrors.myhuaweicloud.com/repo/mirrors_source.sh &&
集群相关配置是否支持克隆情况参见表1。 表1 MRS集群参数克隆说明 参数 说明 计费模式、版本类型、集群版本、集群类型、组件列表、可用区、企业项目、虚拟私有云、子网、安全组(默认共用克隆集群的)、节点组配置、Kerberos认证、主机名前缀、标签、委托(集群节点默认绑定的委托名称)、日志转储、日志记录
clean install” 编译完成,打印“BUILD SUCCESS”,生成target目录,生成jar包在target目录中。 导出样例项目依赖的jar包。 在IDEA的下方Terminal窗口或其他命令行工具进入“pom.xml”所在目录。 执行命令mvn dependency:copy-dependencies
出反应,保证业务顺畅运行。 - 裸金属服务器(Bare Metal Server) 裸金属服务为MRS提供专属的云上物理服务器,提供优秀的计算性能以及数据安全。 MRS所使用的裸金属服务器规格 表2 云审计支持的MRS操作列表 操作名称 资源类型 事件名称 创建集群 cluster
节点标签管理 标签是集群/节点的标识,为集群/节点添加标签,可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务(TMS)关联,可以让拥有大量云资源的用户,通过给云资源打标签,快速查找具有同一标签属性的云资源,进行统一检视、修改、删除等管理操作,方便用户对大数据集群及其他相关云资源的统一管理。
// 聚合key-value键值对的计算结果 .groupBy((key, value) -> value) // 最终结果计数 .count(); // 将计算结果的 key-value 键值对从
memoryOverhead=1024 --堆外内存 基于Spark进行ETL计算,CPU核心 :内存比例建议>1:2,推荐1:4~1:8 上一个规则是指纯读写的资源配比,如果Spark的作业除了读写还有业务逻辑计算,该过程会导致需要内存增加,因此建议CPU核心与内存的比例大于1:2,如
Scala开发环境的基本配置。版本要求:2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 父主题: 准备Flink应用开发环境
statement”。 单击,选择HiveQL语句执行的引擎。 “mr”表示语句使用MapReduce计算框架执行语句。 “spark”表示语句使用Spark计算框架执行语句。 “tez”表示语句使用Tez计算框架执行语句。 tez适用于MRS 1.9.x及以后版本。 单击 开始执行HiveQL语句。
样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将krb5.conf和user.keytab文件上传到客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user
为用户绑定拥有Hive Admin Privilege权限的角色,并单击“确定”完成权限添加。 在项目中example目录下新建udf包,并编写AddDoublesUDF类,将项目打包(例如: AddDoublesUDF.jar),并上传到HDFS指定目录下(如“/user/hi
编译完成,打印“Build Success”,生成target目录,生成jar包在target目录中。 图3 编译完成,生成jar包 导出样例项目依赖的jar包。 在IDEA的下方Terminal窗口或其他命令行工具进入“pom.xml”所在目录。 执行命令mvn dependency:copy-dependencies
启动Spark Streaming计算。 awaitTermination(timeout) 当前进程等待终止,如Ctrl+C等。 stop(stopSparkContext, stopGraceFully) 终止Spark Streaming计算,stopSparkContext
选择“集群 > 服务 > HetuEngine > 更多 > 重启服务”,重启HetuEngine服务让参数生效。 若存在运行中的计算实例需重启HetuEngine计算实例。 使用HetuEngine管理员用户登录Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
Explorer中解绑EIP。 例如使用当前用户登录API Explorer后,根据实际情况选择Region信息,设置“project_id”为当前Region的项目ID信息、“publicip_id”为1查询到的待解绑EIP的ID。 接口调用成功后,登录EIP管理控制台,在EIP列表中可查看到当前EIP已变为未绑定状态。
单击“概览”,在“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面。在“计算实例”页签,找到维护实例,单击“操作”列的“重启”根据界面提示重启维护实例。 在计算实例的“实例名”列中,存在图标的即为维护实例,也可以通过配置HetuEngine维护实例章节确认维护实例。
发阈值(对于Flink任务来说就是compaction.delta_commits的值)。 MOR表下游采用流式计算,历史版本保留小时级。 如果MOR表的下游是流式计算,例如Flink流读,可以按照业务需要保留小时级的历史版本,这样的话近几个小时之内的增量数据可以通过log文件读
不同版本计费差异 普通版和LTS版由于功能不一致,计费存在一定差异,详情请查看计费说明,您也可以通过MRS提供的价格计算器,选择您需要的集群版本、节点规格,快速计算出购买MRS集群的参考价格。