检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
KafkaClient { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名
当前系统提供了三种共享状态信息的方法:通过文件系统共享(FileSystemRMStateStore)、通过LevelDB数据库共享(LeveldbRMStateStore)或通过ZooKeeper共享(ZKRMStateStore)。
> '3'); 示例 call change_table(table => 'hudi_table1', hoodie.index.type => 'SIMPLE', hoodie.datasource.write.table.type => 'MERGE_ON_READ'); 系统响应
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻集群元数据库压力,将长时间未使用过的指定范围的分区相关元数据移动到备份表,这一过程称为分区数据冻结,冻结的分区数据称为冷分区,未冻结的分区称为热分区,存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表中,这一过程称为分区数据解冻
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS”
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻元数据库压力,将长时间未使用过的指定范围的分区相关元数据移动到备份表,这一过程称为分区数据冻结,移动的分区数据称为冷分区,未冻结的分区称为热分区,存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表,这一过程称为分区数据解冻
API概览 MRS提供的符合RESTful API的设计规范的接口,如表1和表2所示。如何选择不同版本的接口请参见API版本选择建议。 MRS版本演进过程中逐步废弃部分接口,具体请参见表3。 表1 V2接口 接口 功能 API URI 集群管理接口 创建集群 POST /v2/{project_id
状态码 状态码如表1所示。 表1 状态码 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTPS
客户端可以基于该阻塞信号进行退避,从而防止系统超出负荷。引入该配置参数的目的是为了使通道更加稳定,并减少不必要的取消或恢复操作。收到信号后,客户端会退避一定的时间(5000ms),然后根据相关过滤器调整退避时间(单次退避最长时间为50000ms)。
当指定可选参数IF NOT EXISTS时,如果系统已经存在同名的schema,将不会报错。 Schema默认路径为hdfs://hacluster/user/hive/warehouse/。
客户端可以基于该阻塞信号进行退避,从而防止系统超出负荷。引入该配置参数的目的是为了使通道更加稳定,并减少不必要的取消或恢复操作。收到信号后,客户端会退避一定的时间(5000ms),然后根据相关过滤器调整退避时间(单次退避最长时间为50000ms)。
配置参数 参数入口: 在Manager系统中,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,在搜索框中输入参数名称。
Impala用开发规则 创建集群时只需指定一个Catalog和一个StoreStore 如果已经创建了两个Catalog和StateStore,Impalad角色需要指定--catalog_service_host和--state_store_host,Catalog角色需要指定-
检查是否有打开了第三方AD对接 登录FusionInsight Manager界面,单击“系统”页签。 选择“权限 > 第三方AD”,查看是否开启了第三方AD对接。 是,需要关闭第三方AD对接开关。 否,检查结束。 父主题: 回滚补丁
配置参数 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,在搜索框中输入参数名称。
pms.mem=800m 修改的新值的增长量不能大于操作系统可用剩余内存。 执行以下命令查找PMS进程的PID,并终止PMS进程,等待进程重新启动。 ps -ef | grep pms kill -9 PID 登录Manager页面,查看卡顿情况消失。
操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HBase > 配置”,单击“全部配置”。在搜索框中输入参数名称,并进行修改。
路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以.sh结尾。
HetuEngine样例程序(Java) 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通过JDBC方式实现查询HetuEngine SQL任务 父主题: 开发HetuEngine
HetuEngine样例程序(Python3) 通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务