检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Impala应用开发简介 Impala简介 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL)
retained设置的阈值。如果是Flink写hudi,则至少提交的checkpoint要超过这个阈值;如果是批写Hudi,则批写次数要超过这个阈值。 建议 MOR表下游采用批量读模式,采用clean的版本数为compaction版本数+1。 MOR表一定要保证Compaction Plan能够被成功执行,Compaction
bulk-flush.max-actions 可选 Integer 每个批量请求的最大缓冲操作数,默认值为“1000”,可设置为“0”禁用该功能。 sink.bulk-flush.max-size 可选 MemorySize 每个批量请求的缓冲操作在内存中的最大值,默认值为“2MB”,单位必须为MB,可设置为“0”禁用该功能。
访问MRS服务。如果用户没有登录管理控制台的账号,请先注册华为云。注册成功后,该账号可访问华为云的所有服务,包括MRS服务。 打开华为云网站。 单击“注册”,根据提示信息完成注册。 注册成功后,系统会自动跳转至您的个人信息界面。 个人或企业账号实名认证请参考:实名认证。 MRS服务授权操作
确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ
会跳过生成索引数据。因此,在此操作之后,索引不能用于scan/filter操作。该接口的使用场景为用户想要在具有大量预先存在用户数据的表上批量添加索引,其具体操作为使用诸如TableIndexer工具之类的外部工具来构建索引数据。 索引一旦添加则不能修改。若要修改,则需先删除旧的索引然后重新创建。
使用Kafka流控工具限制生产消费速度 操作场景 该任务指导用户根据业务需求,在客户端使用命令行工具kafka-configs.sh来管理Kafka集群的配置,按照不同的级别(topic级别、用户级别、客户端级别等)来限制Kafka消息生产和消费速度。 该功能仅适用于MRS 3.3
ALM-12017 磁盘容量不足 告警解释 系统每30秒周期性检测磁盘使用率,并把磁盘使用率和阈值相比较。磁盘使用率有一个默认阈值,当检测到磁盘使用率超过阈值时产生该告警。 平滑次数为1,主机磁盘某一分区使用率小于或等于阈值时,告警恢复;平滑次数大于1,主机磁盘某一分区使用率小于或等于阈值的90%时,告警恢复。
确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ
ALM-19017 在ZooKeeper上的容量配额使用率超过阈值 告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode容量使用率超出告警的阈值(默认75%)时产生该告警。 当znode的容量使用率小于告警的阈值时,告警恢复。 告警属性
x及之前版本集群,单击“服务管理”,选择“更多 > 导出集群配置”即可导出集群配置至本地。 选择“更多 > 导出配置”,将集群所有服务的配置批量导出。 父主题: 管理MRS集群
properties --add --allow-principal User:<用户名> --producer --topic <Topic名称> 给某用户批量添加Producer权限 ./kafka-acls.sh --authorizer-properties zookeeper.connec
IoTDB时序数据库:时序数据分析的核心组件,提供海量时序数据的存储和计算能力。 离线加载:IoTDB提供的数据导入工具,可以将本地csv文件批量导入到IoTDB中。 数据访问:提供JDBC/Restful的访问接口供应用程序访问,也可以直接提供IoTDB的生态插件与Grafana对接。
执行如下命令批量安装Flume客户端,安装完成如图所示。 ./batch_install.sh -p /opt/client/FusionInsight_Cluster_1_Flume_Client.tar 删除host_info.cfg文件中的密码信息。 批量安装完成后,请立即删除host_info
ImportTsv工具执行失败报“Permission denied”异常 问题 当使用与Region Server相同的Linux用户(例如omm用户)但不同的kerberos用户(例如admin用户)时,为什么ImportTsv工具执行失败报“Permission denied”的异常?
1/{project_id}/clusters/{cluster_id}/tags/{key} 批量添加集群标签 POST /v1.1/{project_id}/clusters/{cluster_id}/tags/action 批量删除集群标签 POST /v1.1/{project_id}/clust
MRS基于用户和角色的认证统一体系,遵从账户/角色RBAC(Role-Based Access Control)模型,实现通过角色进行权限管理,对用户进行批量授权管理,同时提供单点登录能力,统一了系统用户和组件用户的管理及认证。具体机制详情描述请参见权限机制。 基于策略的权限控制 Ranger鉴权
导入并配置Flink样例工程 操作场景 Flink针对多个场景提供样例工程,包含Java样例工程和Scala样例工程等,帮助客户快速学习Flink工程。 针对Java和Scala不同语言的工程,其导入方式相同。 以下操作步骤以导入Java样例代码为例。操作流程如图1所示。 图1 导入样例工程流程
ImportTsv工具执行失败报“Permission denied”异常 问题 当使用与Region Server相同的Linux用户(例如omm用户)但不同的kerberos用户(例如admin用户)时,为什么ImportTsv工具执行失败报“Permission denied”的异常?
ALM-17007 Oozie进程垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测Oozie进程的垃圾回收(GC)占用时间,当检测到Oozie进程的垃圾回收(GC)时间超出阈值(默认12秒)时,产生该告警。垃圾回收(GC)时间小于阈值时,告警恢复。 告警属性 告警ID