检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击“添加租户”,打开添加租户的配置页面,根据集群版本参见对应表格内容为租户配置属性。 表1 租户参数一览表(MRS 3.x版本) 参数名 示例 描述 名称 ta1 指定当前租户的名称,可包含数字、字母或下划线(_)。 根据业务需求规划租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。
定-target-dir、-hive-table,在查询语句中一定要有where条件且在where条件中需要包含$CONDITIONS。 示例:-query 'select * from person where $CONDITIONS ' -target-dir /user/h
framework.path 此参数值为指向存档位置的URL。 说明: 如果对URL片段标示名称进行如下指定,该属性还可以为存档创建别名。作为示例,这里将别名设为了mr-framework。 <property> <name>mapreduce.application.framework
保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 MapReduce日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>
客户端本地能登录MRS服务的弹性云服务器,登录方式详见“弹性云服务器《用户指南》”中“入门 > 登录弹性云服务器”的SSH登录方式。 样例工程在已经通过Maven编译。 示例:Maven工程打包到Linux下运行样例 执行mvn package生成jar包,在工程目录target目录下获取,比如:kafka-examples-1
保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 MapReduce日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>
单击“保存配置”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 Yarn的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>
中并将其连接。 例如采用Kafka Source、Memory Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果想在之前的“properties.p
remove_peer'备集群ID' 示例: remove_peer '1' 在主集群中移除备集群的信息。 查询灾备关系 list_peers 在主集群中查询已经设置的备集群的信息,主要为Zookeeper信息。 启用用户表实时同步 enable_table_replication'表名' 示例: enab
hema.t1”。 物化视图改写场景示例 物化视图的改写的核心原理是逻辑上创建的物化视图的数据要包含未来的查询语句要查询的数据,也可以是未来查询中的子查询要包含的全部数据。建议用户打开自动创建物化视图功能针对性的创建物化视图,以下为部分场景示例: 创建物化视图SQL样例中省略“CREATE
STORED AS carbondata [TBLPROPERTIES (property_name=property_value, ...)]; 示例 CREATE TABLE IF NOT EXISTS productdb.productSalesTable ( productNumber
loader/hadoop client.keytab = /opt/client/conf/loader.keytab 表1 配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分
STORED AS carbondata [TBLPROPERTIES (property_name=property_value, ...)]; 示例 CREATE TABLE IF NOT EXISTS productdb.productSalesTable ( productNumber
server.crt可以查看HA用户证书的生效时间与失效时间。 是,执行7。 否,执行6。 CA或者HA证书的“生效时间”和“失效时间” 示例: Certificate: Data: Version: 3 (0x2) Serial Number:
查询将使用提到的物化视图名称重写。可以提供多个物化视图名称,以空格分隔。物化视图名称应为完全限定名称。 格式为:/*+ REWRITE(mv1 mv2 ..) */ 示例 强制按原SQL执行,不对SQL进行查询重写 /*+ NOREWRITE */ SELECT c1,c2 FROM table; 使用指定物化视图进行查询重写
生命周期规则”,单击“创建”,创建指定目录的生命周期规则,相关参数详细介绍请参见配置生命周期规则。 表2 生命周期规则创建参数 参数名称 描述 示例 状态 是否启用本条生命周期规则。 启用 规则名称 规则名称,可自定义,用于识别不同的生命周期配置。 rule-test 前缀 满足指定前
transform(Row row, PointCollector collector) throws Exception”方法的完整UDF示例。它是一个加法器,接收两列时间序列输入,当这两个数据点都不为“null”时,输出这两个数据点的代数和。 import org.apache
loader/hadoop client.keytab = /opt/client/conf/loader.keytab 表1 配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分
密码,命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 MySQL引擎使用示例: 连接到RDS服务的MySQL数据库。详细操作可以参考RDS服务MySQL实例连接。 在MySQL数据库上创建表,并插入数据。 创建表mysql_table:
保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 CDL的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>