检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“employees_info_extended”。
查询HBase二级索引列表 功能介绍 您可以使用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了列出表的现有索引的方法。 HIndexAdmin为给定表格列出索引提供以下API: listIndices():
ClickHouse数据库运维 ClickHouse日志管理 ClickHouse日志管理规则 ClickHouse日志详细信息 父主题: ClickHouse应用开发规范
“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1
“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1
权限说明。 选择“系统 > 权限 > 用户”,在用户名中选择ck_user1,单击操作列的“更多 > 下载认证凭据”下载认证凭据文件,保存后解压得到用户的“user.keytab”文件与“krb5.conf”文件。将“user.keytab”文件重命名为“clickhouse_to_kafka
er代码可以都称为Consumer。 查看Kafka服务状态: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight
登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Mana
jar包文件名 登录FusionInsight Manager系统,选择“集群 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Mana
onServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群 > 待操作集群的名称
UI查看当前消费情况。 本章节内容适用于MRS 3.x及后续版本。 前提条件 如果当前使用Kafka客户端,需要满足以下条件: MRS集群管理员已明确业务需求,并准备一个系统用户。 已安装Kafka客户端。 使用Kafka客户端查看当前消费情况 以客户端安装用户,登录安装Kafka客户端的节点。
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 更新管理 安全加固 MRS集群保留JDK说明
窄依赖对优化很有利。逻辑上,每个RDD的算子都是一个fork/join(此join非上文的join算子,而是指同步多个并行任务的barrier):把计算fork到每个分区,算完后join,然后fork/join下一个RDD的算子。如果直接翻译到物理实现,是很不经济的:一是每一个RDD(即使是中间结果)都需要物化到内存
窄依赖对优化很有利。逻辑上,每个RDD的算子都是一个fork/join(此join非上文的join算子,而是指同步多个并行任务的barrier):把计算fork到每个分区,算完后join,然后fork/join下一个RDD的算子。如果直接翻译到物理实现,是很不经济的:一是每一个RDD(即使是中间结果)都需要物化到内存
Ranger架构如图1所示 图1 Ranger结构 表1 结构图说明 名称 描述 RangerAdmin Ranger的管理角色,拥有策略管理、用户管理、审计管理等功能,提供WebUI和RestFul接口。 UserSync 负责周期从外部同步用户和用户组信息并写入RangerAdmin中。
使用KafkaManager KafkaManager介绍 访问KafkaManager的WebUI 管理Kafka集群 Kafka集群监控管理
API V1.1 集群管理接口 弹性伸缩接口 标签管理接口 可用区 版本元数据查询
开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用户或admin用户(未开启Kerberos认证的集群)登录CDLService WebUI界面,请参考登录CDLService WebUI界面。 选择“驱动管理 > 上传驱动”,在
集群管理 以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署,其部署、管理和运维复杂度较高。 MRS集群管理提供了统一的运维管理平台,包括一键式部署集群能力,并提供多版本选择,支持运行过程中集群在无业务中断条件下,进行扩缩容、弹性伸缩。同时MRS集群管理还提供
使用ClickHouse ClickHouse概述 ClickHouse用户权限管理 ClickHouse客户端使用实践 ClickHouse数据导入 ClickHouse企业级能力增强 ClickHouse性能调优 ClickHouse运维管理 ClickHouse常用SQL语法 ClickHouse常见问题