检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount(org.apache.spark.examples.streaming.KafkaWordCount)任务时,日志中报Kafka相关的类
MRS导出数据到OBS加密桶失败如何处理? 问:MRS导出数据到OBS加密桶失败如何处理? 答:目前仅MRS 1.9.x及之后版本支持OBS加密桶功能,MRS 1.8.x及之前版本不支持OBS加密桶功能。如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题: 周边生态对接类
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount(org.apache.spark.examples.streaming.KafkaWordCount)任务时,日志中报Kafka相关的类
用add jar方式创建function,执行drop function时出现问题 问题 问题一: 用户没有drop function的权限,能够drop成功。具体场景如下: 在FusionInsight Manager页面上添加user1用户,给予用户admin权限,执行下列操作:
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount(org.apache.spark.examples.streaming.KafkaWordCount)任务时,日志中报Kafka相关的类
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount(org.apache.spark.examples.streaming.KafkaWordCount)任务时,日志中报Kafka相关的类
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount(org.apache.spark.examples.streaming.KafkaWordCount)任务时,日志中报Kafka相关的类
HDFS访问OBS 功能简介 访问OBS过程为: 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录,并确保访问用户具有对应目录的访问操作权限。
Hive表的Location支持跨OBS和HDFS路径吗 问题 Hive表的location支持跨OBS和HDFS路径吗? 回答 Hive存储在OBS上的普通表,支持表location配置为hdfs路径。 同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分
提交命令示例(拓扑名为obs-test)。 storm jar /opt/jartarget/storm-examples-1.0.jar com.huawei.storm.example.obs.SimpleOBSTopology obs://my-bucket obs-test 拓扑提交成功后请登录OBS
用户认证及权限类 登录集群Manager的用户是什么? 集群内用户密码的过期时间如何查询和修改? 如果不开启Kerberos认证,MRS集群能否支持访问权限细分? 如何给集群内用户添加租户管理权限? Hue有配置账号权限的功能吗? 为什么IAM子账号添加了MRS权限却无法在控制台提交作业?
如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时,运行报如下错误: Caused by: java.lang.UnsatisfiedLinkError: /srv/B
如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时,运行报如下错误: Caused by: java.lang.UnsatisfiedLinkError: /srv/B
如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时,运行报如下错误: Caused by: java.lang.UnsatisfiedLinkError: /srv/B
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业,同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。 OBS支持使用KMS密钥的加解密方式对数据进行加解密,所有的加解密操作都在OBS完成,同时密钥管理在DEW服务。
Flink REST API接口介绍 Flink具有可用于查询正在运行的作业的状态和统计信息以及最近完成作业的监视API。该监视API由Flink自己的WEB UI使用。 监视API是REST API,可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器
如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时,运行报如下错误: Caused by: java.lang.UnsatisfiedLinkError: /srv/B
HetuEngine常用数据源语法兼容性说明 语法 Hive MPPDB Elasticsearch HBase HetuEngine(跨域) ClickHouse Hudi MySQL 数据库的show schemas Y Y Y Y Y Y Y Y 数据库的create schema
集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS
MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce通过Guardian访问OBS