检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置FlinkServer应用权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Flink > FlinkServer应用”,在“权限”列,根据需要勾选“应用查看”或“应用编辑”。 单击“确定”完成,返回角色管理。 (可选)创建具有FlinkServer相关权限的用户。 Fli
是,执行7。 否,执行2。 恢复组件状态至要求状态,再一次启动该恢复任务。 登录MRS Manager管理界面,选择“告警管理”。在告警列表中单击该告警所在行,从“定位信息”处获得任务名。 选择“系统设置 > 恢复管理”。根据“任务名”查找对应恢复任务,查看恢复任务的详细信息。
读写内存消耗和HDFS存储有效利用),因此可以看出2GB的这个限制只是一个经验值,因为不同的业务数据经过列存压缩后大小是不一样的。 为什么建议是2GB? 2GB的数据存储成列存Parquet文件后,大概的数据文件大小是150MB ~ 256MB左右。不同业务数据会有出入。而HDF
以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 在启用了安全服务的集群中执行如下操作,需要在数据库中具有UPDATE权限及对加载数据文件具有owner权限和读写权限,详情请参见Hive应用开发概述。 如果加载数据语句中有关键字LOCAL
Spark Streaming应用运行过程中重启Kafka,Web UI界面部分batch time对应Input Size为0 records 父主题: Spark常见问题
告警。 处理步骤 查看磁盘空间是否不足。 在FusionInsight Manager管理界面,选择“运维 > 告警 > 告警”。 在告警列表中单击该告警的,从“定位信息”处获得“任务名”。 以root用户登录集群主节点,查看“/var/log/Bigdata/controller/backup/”下的备份恢复日志。
-guide/): 查看帮助: help //查看hudi-cli的所有命令 help 'command' //查看某一个命令的帮助及参数列表。 连接表: connect --path '/tmp/huditest/test_table' 查看表信息: desc 查看compaction计划:
-guide/): 查看帮助: help //查看hudi-cli的所有命令 help 'command' //查看某一个命令的帮助及参数列表。 连接表: connect --path '/tmp/huditest/test_table' 查看表信息: desc 查看compaction计划:
Quorumpeer 是 安装滚动补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,选择是否开启“滚动补丁”。 图1 滚动安装补丁 滚动安装补丁功能开启:补丁安装前不会停止服务,补丁安装
xml”放入工程的conf目录中。 登录MRS Manager,选择“系统设置 > 用户管理”。 在用户名中选择一个拥有Hive权限的用户,然后在右侧“操作”列中选择“更多 >下载认证凭据”,保存后解压得到用户的user.keytab文件与krb5.conf文件。 将krb5.conf文件中Mast
WebUI”右侧,单击URL链接,访问KafkaUI的页面。 单击“Topics”,进入Topic管理页面。 在待修改项的“Operation”列单击“Action > Config”,弹出的页面中可修改Topic的“Key”和“Value”值,如需要添加多条,可单击添加。单击“OK”完成修改。
jar 通过参数-m yarn-cluster使作业以yarn-cluster模式运行,该模式为指定作业单独启动一个Flink集群来执行。 列出所有的作业(包含JobID): bin/flink list 取消作业: bin/flink cancel <JobID> 停止作业(仅流式作业):
jar 通过参数-m yarn-cluster使作业以yarn-cluster模式运行,该模式为指定作业单独启动一个Flink集群来执行。 列出所有的作业(包含JobID): bin/flink list 取消作业: bin/flink cancel <JobID> 停止作业(仅流式作业):
jar 通过参数 -m yarn-cluster使作业以yarn-cluster模式运行,该模式为指定作业单独启动一个Flink 集群来执行。 列出所有的作业(包含JobID): bin/flink list 取消作业: bin/flink cancel <JobID> 停止作业(仅流式作业):
启动所有角色”或“停止所有角色”执行相应操作。 通过Manager启停节点角色 登录MRS集群Manager界面。 单击“主机”,进入主机列表界面。 MRS 2.x及之前版本集群,请单击“主机管理”。 勾选待操作主机前的复选框。 在“更多”选择“启动所有实例”或“停止所有实例”执行相应操作。
出的“停止集群”窗口中单击“确定”,等待集群停止成功。 MRS 2.x及之前版本: 登录集群Manager界面,单击“服务管理”。 在服务列表上方,选择“更多 > 启动集群”或“停止集群”执行相应的操作。 父主题: 管理MRS集群
步分析日志查看。 处理步骤 收集故障信息。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确定实例的IP地址。 选择“运维 > 日志 > 下载”。 在“服务”中勾选操作集群的“IoTDB”,单击“确定”。
INDEX参数 参数 描述 index_name 索引表的名称。表名称应由字母数字字符和下划线(_)特殊字符组成。 db_name 数据库的名称。如果未指定,选择当前默认数据库。 table_name 需要删除的表的名称。 注意事项 该命令中IF EXISTS和db_name为可选项。 示例 DROP
中的“字段分割符”配置无效。 hive-connector 表6 hive-connector目的连接属性 参数 说明 数据库名称 保存最终数据的Hive数据库名称,支持通过界面查询并选择。 表名 保存最终数据的Hive表名称,支持通过界面查询并选择。 父主题: 使用Loader
//增加Kerberos认证所需的plugin到列表中,安全模式必选 setSecurityConf(conf,AuthenticationType.KEYTAB); Config conf = new Config(); //将客户端配置的plugin列表写入config指定项中,安全模式必配