检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
authorization.enable=false 权限管理介绍 SparkSQL的权限管理是指SparkSQL中管理用户操作数据库的权限系统,以保证不同用户之间操作数据库的独立性和安全性。如果一个用户想操作另一个用户的表、数据库等,需要获取相应的权限才能进行操作,否则会被拒绝。 Spa
Conditions”中配置的允许条件。 例如为用户“testuser”添加“test”主题的生产权限,配置如下: 图1 Kafka权限参数 表2 设置权限 任务场景 角色授权操作 设置Kafka管理员权限 在首页中单击“KAFKA”区域的组件插件名称,例如“Kafka”。 选择“Policy Name”为“all
能 state.backend.rocksdb.metrics.num-running-flushes true 监测当前运行的Flush任务数,如果线程数都是Running,可能会影响写性能 state.backend.rocksdb.metrics.actual-delayed-write-rate
Conditions”中配置的允许条件。 例如为用户“testuser”添加“test”主题的生产权限,配置如下: 图1 Kafka权限参数 表2 设置权限 任务场景 角色授权操作 设置Kafka管理员权限 在首页中单击“KAFKA”区域的组件插件名称,例如“Kafka”。 选择“Policy Name”为“all
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
addDependencyJars(job); // 安全模式下必须要执行这个操作 // HBase添加鉴权信息到Job,map或reduce任务将会使用此处的鉴权信息 TableMapReduceUtil.initCredentials(job); // 创建Hive鉴权信息
接写成本地(或位于HDFS上)的TsFile文件。 用户可以将TsFile文件写入到HDFS上,进而满足Hadoop、Flink等数据处理任务的访问。 对于写入到HDFS或者本地的TsFile文件,可以利用TsFile-Hadoop或TsFile-Flink连接器,允许Hadoop或Flink进行数据处理。
x及之后版本)。 选择“集群 > 待操作集群的名称 > 概览 > 更多 > 下载客户端”。 下载集群客户端。 “选择客户端类型”选择“仅配置文件”,选择平台类型,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client/”。 登录Manager的主管理节点。
接写成本地(或位于HDFS上)的TsFile文件。 用户可以将TsFile文件写入到HDFS上,进而满足Hadoop、Flink等数据处理任务的访问。 对于写入到HDFS或者本地的TsFile文件,可以利用TsFile-Hadoop或TsFile-Flink连接器,允许Hadoop或Flink进行数据处理。
b1)。当A表发生变化(1, a1)>(1, a2),同时B表发生变化(1, b1)>(1, b2)时,join结果如下,且join结果的顺序无法保证。 1, a1, b1 1, a2, b1 1, a1, b2 1, a2, b2 优化前SQL: create table t1 (
单击“下一步”进入字段映射的操作页面。确认字段映射界面字段映射正确。 单击“下一步”,确认配置界面信息。若迁移数据量较大,可适当调整“抽取并发数”参数。 图6 任务配置 单击“保存并运行”回到作业管理界面,并等待作业运行成功。 进入Doris客户端,查看数据迁移情况。 登录Doris集群中已安装好MySQL客户端的MRS
分别登录两个集群的MRS Manager界面,单击“服务管理”,查看全部组件的“健康状态”结果,是否全为“良好”? 是,执行4。 否,任务结束,联系运维人员检查状态。 查看配置信息。 分别在两个集群MRS Manager,选择“服务管理 > KrbServer > 实例”,查
此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 相关参数获取方法如下: MRS 2.x及以前版本: 当前慢盘故障告警的检查原理为: 在Linux平台上判断IO是否存在问题,输入命令iostat -x -t 1,观察svctm的值(如图所示红色框中的部分)。 svctm值表示该磁盘IO服务时间。
不涉及 取值范围: 不涉及 默认取值: 不涉及 deploymentId String 参数解释: 集群部署ID。本集群的任务部署所对应的ID,用于云服务查询集群部署任务详情。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 remark String 参数解释: 集群备注信息。当前默认都为空。
单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
erver、Doris管理员权限的用户密码。 doris_label_xxx:sink.label-prefix的值,必须是唯一的,每次启任务必须保持其值的唯一性。 在界面左侧配置作业“基础参数”。 并行度:3 JobManager内存(MB):4096 提交队列:自定义,默认default
Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”相同。 表2 设置权限 任务场景 角色授权操作 授予访问表所在的Catalog策略 在“Policy Name”填写策略名称。 在“Presto Catalog”填写
单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
8”,表示所请求资源的80%被分配用于启动块分布。 carbon.dynamicAllocation.schedulerTimeout 5 此参数值指示调度器等待executors处于活动状态的最长时间。默认值为“5”秒,允许的最大值为“15”秒。 enable.unsafe.in.query