检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
视图权限在SparkSQL权限上的限制与列权限相似,详细如下: 在spark-sql模式下,只有视图权限而没有表权限,且没有HDFS的读取权限时,用户不能访问HDFS上存储的表的数据,即该情况下不支持对该表的视图进行查询。 Beeline/JDBCServer模式下,用户间赋权,例如将A用户创建的视图赋权给B用户时。
Ranger策略可以匹配到Hive库表的文件或目录权限,则优先使用HDFS Ranger策略。 Ranger策略中的URL策略是hive表存储在obs上的场景涉及,URL填写对象在obs上的完整路径。与URL联合使用的Read,Write 权限,其他场景不涉及URL策略。 Ran
户端来以命令行形式提交作业。 操作视频 本视频以在未开启Kerberos认证的MRS 3.1.0版本集群的管理控制台上,提交用于处理OBS存储的数据的Flink作业为例进行说明。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 前提条件 用户已经将作业所需的
skip参数行为与描述不符合,为空时候不生效。 DGC对应连接Spark JDBCServer提及的Yarn任务 AM重试次数只有一次,单点故障会影响整个集群。 Driver存储大量JobConf对象,内存不断增加引发的内存泄露。 CSV中存在null时,covertRow会频繁读取SqlConf。 访问集群外HDFS,Spark认证失败。
/var/log/Bigdata/audit/iotdb/iotdbserver/log_audit.log Manager日志清单说明 日志存储路径:Manager相关日志的默认存储路径为“/var/log/Bigdata/Manager组件”。 ControllerService:/var/log/
作业优先级,有效值:LOW/NORMAL/HIGH。 NORMAL -queue <arg> 队列。 default -storageType <arg> 存储类型。 HDFS -P <arg> 更新某个属性的值,格式:-Pparam1=value1,param1为作业模板中连接器对应的属性名称。
作业优先级,有效值:LOW/NORMAL/HIGH。 NORMAL -queue <arg> 队列。 default -storageType <arg> 存储类型。 HDFS -P <arg> 更新某个属性的值,格式:-Pparam1=value1,param1为作业模板中连接器对应的属性名称。
多表left join 虽然左表已经定义主键,但是经过lookup join后下游left join时无法推断左流主键,导致左流所有历史数据都存储在状态,右流数据到达后会从最新的状态开始依次回撤左流状态中的每一条数据,经过LATERAL TABLE每一条source数据又与lateral
用户需要通过MySQL协议创建Broker Load 导入,并通过查看导入命令检查导入结果。适用以下场景: 源数据在Broker可以访问的存储系统中,如HDFS。 数据量在几十到百GB级别。 支持导入CSV、Parquet、ORC格式的数据,默认支持导入CSV格式数据。 前提条件
0及之后版本,如果已参考Hive表支持级联授权功能章节开启了Hive表的级联授权功能,则无需对表所在的HDFS路径进行授权操作。 Ranger策略中的URL策略是Hive表存储在OBS上的场景涉及,URL填写对象在OBS上的完整路径。与URL联合使用的Read,Write权限,其他场景不涉及URL策略。 Rang
题。 解决NodeManager心跳丢失的问题。 解决HDFS重启后权限属性丢失,导致数据无法读取的问题。 解决3AZ集群,实际只有2AZ存储数据的情况下,会上报待复制块超过阈值告警的问题。 解决备NameNode处于安全模式没有告警的问题。 解决重启Router或者NameNo
临时表 数据库临时表的表名,用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。 oracle-connector 表名 目标表,用于存储数据。 列名 指定要写入的列名,没有指定的列允许被设置为空值或者默认值。 mysql-fastpath-connector 架构名称 数据库模式名。
临时表 数据库临时表的表名,用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。 oracle-connector 表名 目标表,用于存储数据。 列名 指定要写入的列名,没有指定的列允许被设置为空值或者默认值。 mysql-fastpath-connector 架构名称 数据库模式名。
Spark on HBase场景的Java/Scala/Python示例程序。 本工程应用程序以数据源的方式去使用HBase,将数据以Avro格式存储在HBase中,并从中读取数据以及对读取的数据进行过滤等操作。 SparkOnHbasePythonExample SparkOnHbaseScalaExample
Spark on HBase场景的Java/Scala/Python示例程序。 本工程应用程序以数据源的方式去使用HBase,将数据以Avro格式存储在HBase中,并从中读取数据以及对读取的数据进行过滤等操作。 SparkOnHbasePythonExample SparkOnHbaseScalaExample
解决屏蔽元数据未配置周期备份到第三方服务器的任务告警不生效的问题 解决开启日志收集,导致tmp目录磁盘空间占满的问题 解决取消隔离后Kafka存储路径配置改变的问题 解决弹性伸缩过程中出现Metaspace内存不足触发agent重启的问题 解决扩缩容时NodeManager退服/入服