检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
运行日志默认单个文件最大值为100MB,日志归档文件最大数目为20,其中HetuEngine计算实例运行日志单个文件最大值为100MB,归档在HDFS上的日志默认保留30天。
获取“user.keytab”、“krb5.conf”、“hbase-site.xml”、“hiveclient.properties”和“hive-site.xml”文件,并在Linux环境上创建文件夹保存这些配置文件,例如/opt/client/conf。
将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
存储策略定义在Hue的WebUI界面上分为两大类: 静态存储策略 当前存储策略 根据HDFS的文档访问频率、重要性,为HDFS目录指定存储策略,例如ONE_SSD、ALL_SSD等,此目录下的文件可被迁移到相应存储介质上保存。
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 active_master 否 Boolean 参数解释: 自定义自动化脚本是否只运行在主Master节点上。 约束限制: 不涉及 取值范围: true:自定义自动化脚本只运行在主Master节点上。
物化视图改写场景示例 物化视图的改写的核心原理是逻辑上创建的物化视图的数据要包含未来的查询语句要查询的数据,也可以是未来查询中的子查询要包含的全部数据。
通过将BulkLoad操作记录在WAL上,同步至备集群,备集群通过WAL读取BulkLoad操作记录,将对应的主集群的HFile加载到备集群,完成数据的备份。
consumer实际上是靠存储在zk中的临时节点来表明针对哪个topic的哪个partition拥有读权限的。所在路径为:/consumers/consumer-group-xxx/owners/topic-xxx/x。
一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。
getResource("hiveclient.properties").getPath(); // 包含配置信息的文件 String file = "file://" + hiveClientProperties; // 运行时,把配置信息放到HDFS上
获取“hbase-site.xml”、“hiveclient.properties”和“hive-site.xml”这三个配置文件,并在Linux环境上创建文件夹保存这三个配置文件,例如“/opt/client/conf”。
在滚动重启HBase服务时候,如果原生界面上每个RegionServer上每秒的请求数超过10000,需要增大handle数来预防重启过程中负载过大导致的RegionServer重启失败。
确保SFTP服务器上的磁盘IO或网络带宽都未达到上限。 20 Map数据块大小 配置数据操作的MapReduce任务中启动map所处理的数据大小,单位为MB。参数值必须大于或等于100,建议配置值为1000。不可与“Map数”同时配置。
获取“hbase-site.xml”、“hiveclient.properties”和“hive-site.xml”这三个配置文件,并在Linux环境上创建文件夹保存这三个配置文件,例如“/opt/client/conf”。
getResource("hiveclient.properties").getPath(); // 包含配置信息的文件 String file = "file://" + hiveClientProperties; // 运行时,把配置信息放到HDFS上
将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
csv.ignore-parse-errors' = 'true',--如果是json数据格式,设置'json.ignore-parse-errors' = 'true' 'properties.sasl.kerberos.service.name' = 'kafka',--普通模式集群不需要该参数,同时删除上一行的逗号
MRS Manager的主备管理节点默认安装在集群Master节点上。在主备模式下,由于Master1和Master2之间会切换,Master1节点不一定是MRS Manager的主管理节点,需要在Master1节点中执行命令,确认MRS Manager的主管理节点。
确保SFTP服务器上的磁盘IO或网络带宽都未达到上限。 20 Map数据块大小 配置数据操作的MapReduce任务中启动map所处理的数据大小,单位为MB。参数值必须大于或等于100,建议配置值为1000。不可与“Map数”同时配置。