检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区,配置如下: 单击“Save”,等待安全区添加成功。
匹配请求源,参见选择器属性的配置中--source选项的配置值。 queryType 可选 配置任务类型: DATA_DEFINITION:更改/创建/删除模式/表/视图的元数据的查询,以及管理预准备语句、权限、会话和事务的查询。 DELETE:DELETE查询。 DESCRIBE:DESCRIBE、DESCRIBE
通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: HBase数据读写样例运行成功会有如下信息: 2016-07-13 14:36:12,736 INFO [main] basic.CreateTableSample:
todb.io/docs/current/sql.html。 启用Kerberos认证的集群使用Presto查询Hive Catalog的数据时,运行Presto客户端的用户需要有Hive表的访问权限,并且需要在Hive beeline中执行命令grant all on table
Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区,配置如下: 单击“Save”,等待安全区添加成功。
1版本安装不成功,则需要检查环境是否有问题或是Python自身原因导致的。 客户端机器必须安装有jaydebeapi,可以通过该模块使用java的JDBC来连接数据库。 可通过如下两种方式安装: pip安装: 在客户端节点执行pip install JayDeBeApi。 运行脚本安装。 通过官方网站
Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode非堆内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS DataNode配置的非堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端,用户密码
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase热点检测功能不可用。对于正常业务无影响,但是如果业务存在请求或者数据倾斜问题,无法提供主动感知上报告警以及自愈的能力,该业务的请求可能会导致该节点过载,出现请求响应慢,甚至超时问题。 可能原因 ZooKeeper服务异常。
partition_spec 一个可选参数,使用键值对来指定分区列表,键值对之间通过逗号分隔。需要注意,指定分区时,表名不支持模糊匹配。 示例 -- 演示数据准备 create schema show_schema; use show_schema; create table show_table1(a
的各节点主机信息。 在FusionInsight Manager首页,单击“主机”。 在“磁盘”列,检查ZooKeeper实例所在的各节点数据磁盘空间是否不足(使用率超过百分之80)。 是,执行21。 否,执行23。 参考ALM-12017 磁盘容量不足进行处理,对磁盘进行扩容。
通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下: HBase数据读写样例运行成功会有如下信息: 2016-07-13 14:36:12,736 INFO [main] basic.CreateTableSample:
产生告警的Kafka Topic。 对系统的影响 Partition所在的磁盘分区IO过于繁忙,产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大,当前Partition的设置不合理。
登录FusionInsight Manager,选择“集群 > 服务 > LdapServer”。 在概览页面右上角选择 “更多 > 修改数据库密码”,在弹出窗口中输入当前登录的用户密码确认身份,单击“确定”。 在“修改密码”对话框的“用户信息”中选择需要修改密码的用户名。 在“
对此处进行改进。 此特性通过对MapReduce API进行增强,能自动针对此类型任务关闭Sort过程。当Sort被关闭,获取Maps输出数据以后,直接合并后输出给Reduce,避免了由于排序而浪费大量时间。这种方式极大程度地提升了大部分SQL任务的效率。 MapReduce开源增强特性:History
bigdata_env kinit 组件业务用户(集群未启用Kerberos认证(普通模式)请跳过该操作) 执行以下命令登录HBase客户端,并创建表,写入数据后不要关闭HBase客户端。 hbase shell create 'test_multicast',‘f1’ put 'test_multicast'
quorum”参数对应于绑定的HiveServer的弹性公网IP及ZooKeeper端口,并修改样例代码中对连接JDBC时URL的拼接。详情请参见分析Hive数据中直连HiveServer的方式。 修改导入样例的krb5.conf中"kdc","admin_server",“kpasswd_server”
更换NTP服务器是高危操作,更换后集群时间可能将会变化。 更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。 如果NTP服务器与集群当前时间偏差大于15分钟,集群访问OBS会连接失败。 对于开启Kerberos认证
dropPartitionsInBatch.limit”控制,默认1000),会先于防御规则拦截。 熔断规则存在统计误差,例如规则running_0004,扫描数据量阈值配置10GB,但是因为判断周期和任务并发影响,可能在15GB甚至更高才进行熔断。 熔断规则存在边界效应,例如某个Job直到最后几个t
2-LTS支持升级到MRS 3.2.0-LTS,MRS 3.2.0-LTS支持升级到MRS 3.3.0-LTS。 集群补丁升级 现网存量运行的MRS集群,如果有大数据组件社区重大问题或者漏洞,MRS将提供对集群打补丁能力,详情请参见MRS集群补丁说明。 版本约束 集群升级到新版本后,不支持回退到老版本。