检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"org.apache.storm.kafka.bolt.KafkaBolt" configMethods: #使用调用对象内部方法的形式初始化对象 - name: "withTopicSelector" #调用的内部方法名 args: #内部方法需要的入参
split(…); return …; } } 错误示例: //定义对象。 object Test { // 定义全局变量,赋为空值(null);在main函数中,实例化SparkContext对象之前对这个变量赋值。 private var testArg: String
component14 -export-dir obs://obs-file-bucket/xx/part-m-00000 --fields-terminated-by ',' -m 1 sqoop import(MySQL到obs) sqoop import --connect
获取AK/SK和Endpoint信息 使用AK/SK方式对接OBS前,需参考以下操作获取对接OBS的AK、SK和Endpoint信息。 获取AK/SK 登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 单击“访问密钥”页签,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的
ion失败 问题 当用户设置“blob.storage.directory”为“/home”时,用户没有权限在“/home”下创建“blobStore-UUID”的文件,导致yarn-session启动失败。 回答 建议将"blob.storage.directory"配置选项设
registrator", "com.huawei.bigdata.spark.examples.MyRegistrator"); 在SparkConf对象使用set方法设置,代码如下: val conf = new SparkConf().setAppName("HbaseTest"); conf
到许多存储系统。 Alluxio主要特点如下: 提供内存级I/O 吞吐率,同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理,提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开
ID生成。 查看Yarn界面,无launcher-job队列: 查看Manager界面接口返回,显示有launcher-job信息: 查看所有的JobServer日志,均有“Create and modify launcher-job tenant failed.”打印。 回答 以omm用
MRS可以做什么? 问: MapReduce Service(MRS)可以做什么? 答: MapReduce服务(MapReduce Service)为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎,支持数据湖、数
默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.MrsObsCredentialsProvider:通过MRS云服务委托获取凭证。 com.obs.services.EcsObsCrede
批量删除Loader作业 操作场景 Loader支持批量删除已有作业。 前提条件 当前用户具备待删除作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
勾选“我已经阅读上述信息,并了解具体影响。”并单击“确定”。 单击“组件管理”观察各个组件是否存在异常,若存在异常等待5~10分钟后再次观察组件,依然存在异常则联系华为云技术支持处理。 单击“告警管理”观察是否存在异常告警,若存在请清除告警后再进行其他操作。 父主题: MRS集群容量调整
查询历史”,打开备份任务执行历史记录。 在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目,在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight
关操作可参考配置跨Manager集群互信。 Hive表操作 如果需使用Doris读取Hive存储在OBS中的数据,需执行以下操作。 登录华为云管理控制台,在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 单击“访问密钥”页签,单击“新增访问密钥”,输入验
按租户统计HDFS的资源使用情况。 可选择按“容量”或“文件对象数”观察。 资源使用(按用户) 按用户统计HDFS的资源使用情况。 可选择按“已使用容量”或“文件对象数”观察。 资源使用(按目录) 按目录统计HDFS的资源使用情况。 可选择按“已使用容量”或“文件对象数”观察。 单击配置空间监控,可以指定HDFS文件系统目录进行监控。
"obs://obs-test/program/hadoop-mapreduce-examples-x.x.x.jar", "wordcount", "obs://obs-test/input/", "obs://obs-tes
已取消或失败的Job。 /jobs/<jobid> 一个Job主要信息包含列出数据流计划,状态,状态转换的时间戳,每个顶点(运算符)的聚合信息。 /jobs/<jobid>/vertices 目前与“/jobs/<jobid>”相同。 /jobs/<jobid>/config Job使用用户定义的执行配置。
已取消或失败的Job。 /jobs/<jobid> 一个Job主要信息包含列出数据流计划,状态,状态转换的时间戳,每个顶点(运算符)的聚合信息。 /jobs/<jobid>/vertices 目前与“/jobs/<jobid>”相同。 /jobs/<jobid>/config Job使用用户定义的执行配置。
x及之后版本) 登录FusionInsight Manager。 选择“运维 > 备份恢复 > 恢复管理 > 创建”。 设置“任务名称”。 设置“恢复对象”为“OMS”或需要恢复数据的集群。 在“恢复配置”指定需要恢复的数据。 支持恢复元数据和业务数据。 各组件不同数据的恢复任务操作请参考备份恢复MRS集群数据。
数据存储在OBS,热数据存储在HDFS中。 参考配置Guardian服务对接OBS章节对接OBS。 登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置”,在搜索框中搜索并修改以下参数: fs.coldFS:修改该参数值为OBS文件系统名