检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载MRS集群日志 Manager支持批量导出各个服务角色所有实例生成的日志,无需手工登录单个节点获取。 下载MRS集群日志(MRS 3.x及之后版本) 登录FusionInsight Manager。 选择“运维 > 日志 > 下载”。 选择日志下载范围。 “服务”:单击勾选所需服务。
系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,执行以下命令查看Sink表中是否接收到数据,即查看Kafka
间数据落盘,如果查询任务失败,将重试失败的task。建议在执行大批量查询时使用此策略,集群可以更高效的重试查询中的小颗粒任务,而不是整个查询。 本示例介绍设置“TASK”重试策略容错执行机制。 使用HetuEngine查询容错执行能力须知 容错不适用于已损坏的查询或其他用户错误场
onf”目录下,可参考5.4.1-编译并运行程序。 在二次开发过程中,PRINCIPAL需要用到的用户名,应该填写为带域名的用户名,例如创建的用户为test,域名为HADOOP.COM,则其PRINCIPAL用户名则为test@HADOOP.COM,代码举例: conf.set(PRINCIPAL
Spark同步HBase数据到CarbonData样例程序开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 数据规划 创建HBase表,构造数据,列需要包含key,modify_time,valid。其中每条数据ke
为ZooKeeper服务端Principal,格式为“zookeeper/hadoop.系统域名”, 其中系统域名的值可通过登录Manager界面,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。 父主题: 配置HBase应用安全认证
Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能够同时读取主备集群数据,减少查询毛刺,具体表现为: 高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性:双
配置HBase本地二级索引提升查询效率 HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 父主题: HBase企业级能力增强
配置HBase本地二级索引提升查询效率 HBase本地二级索引介绍 批量加载HBase数据并生成本地二级索引 使用TableIndexer工具生成HBase本地二级索引 迁移HBase索引数据 父主题: HBase企业级能力增强
Get读取数据、使用批量Get读取数据、使用Scan读取数据,以及基于二级索引查询。它能够同时读取主备集群数据,减少查询毛刺,具体表现为: 高成功率:双并发读机制,保证每一次读请求的成功率。 可用性:单集群故障时,查询业务不中断。短暂的网络抖动也不会导致查询时间变长。 通用性:双
authenticated client: authenticationID=hdfs/hadoop@<系统域名>; authorizationID=hdfs/hadoop@<系统域名>. | org.apache.zookeeper.server.auth.SaslServerCallbackHandler
authenticated client: authenticationID=hdfs/hadoop@<系统域名>; authorizationID=hdfs/hadoop@<系统域名>. | org.apache.zookeeper.server.auth.SaslServerCallbackHandler
执行以下命令,查看创建好的“Human-Machine”用户的具体信息。 getprinc 用户名 例如,查看“testpol”用户的详细信息: getprinc testpol 界面显示如下信息,说明指定用户使用了默认的密码策略: Principal: testpol@<系统域名> ……
配置HBase全局二级索引提升查询效率 HBase全局二级索引介绍 创建HBase全局二级索引 查询HBase全局二级索引信息 修改HBase全局二级索引状态 批量构建HBase全局二级索引数据 检查HBase全局二级索引数据一致性 基于全局二级索引查询HBase表数据 父主题: HBase企业级能力增强
keytabpath/user.keytab查看。 如果集群有做过切换域名操作,需要保证url中使用的principal字段是新域名。 如默认为hive/hadoop.hadoop.com@HADOOP.COM,当集群有切换域名的操作时,该字段需要进行相关修改。如域名为abc.com时,则此处应填写hive/hadoop
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 其中“<server_IP>:<server_Por
oop.<系统域名>"); LoginUtil.setJaasFile(USER_PRINCIPAL, userKeyTableFile); } 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
oop.<系统域名>"); LoginUtil.setJaasFile(USER_PRINCIPAL, userKeyTableFile); } 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
ClickHouse数据加工流程最佳实践:在数据湖中通过Hive&Spark(批量)/FlinkSQL(增量)加工成大宽表后,通过CDL/Loader工具实时同步到ClickHouse,下游BI工具和应用进行实时OLAP分析。 数据加工 建议使用Hive/Spark进行数据批量加工,FilkSQL进行数据增量加工。 数据入库
protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的域名发生了更改,需要对${Flume客户端安装目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.prop