-
在本地Windows环境中调测ClickHouse应用(MRS 3.3.0及之后版本) - MapReduce服务 MRS
图6 运行程序 查看调测结果 ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志文件:clickhouse-example.log。
-
如何配置HBase双读功能 - MapReduce服务 MRS
HBase双读支持以下两种方式设置主备集群的相关配置: 在“hbase-dual.xml”中新增主备集群的相关配置。 将主备集群相关配置设置到HBaseMultiClusterConnection中(仅MRS 3.3.0及之后版本支持)。
-
Spark REST API接口介绍 - MapReduce服务 MRS
与HTTP服务访问相比,以HTTPS方式访问Spark2x的JobHistory时,由于使用了SSL安全加密,需要确保curl命令所支持的SSL协议在集群中已添加支持。若不支持,可采用如下两种方案解决: 修改集群中配置的SSL协议。
-
约束与限制 - MapReduce服务 MRS
MRS集群扩容(包含存储能力和计算能力)可通过增加Core节点或者Task节点的方式实现。
-
日期、时间函数及运算符 - MapReduce服务 MRS
/YY, QUARTER/Q select trunc(date '2020-07-08','yy');-- 2020-01-01 select trunc(date '2020-07-08','MM');-- 2020-07-01 使用下列 SQL 标准函数时,兼容使用圆括号的方式
-
添加Hive的Ranger访问权限策略 - MapReduce服务 MRS
也可以不配置HDFS的Ranger策略,通过之前Hive权限插件的方式,给角色添加权限,然后把角色赋予对应用户。如果HDFS Ranger策略可以匹配到Hive库表的文件或目录权限,则优先使用HDFS Ranger策略。
-
数组函数和运算符 - MapReduce服务 MRS
filter(ARRAY [5, -6, NULL, 7], x -> x > 0); -- [5, 7] SELECT filter(ARRAY [5, NULL, 7, NULL], x -> x IS NOT NULL); -- [5, 7] flatten(x) 描述:以串联的方式将
-
快速开发HBase应用 - MapReduce服务 MRS
在本实践中,需要确保本地环境与MRS集群所在网络平面互通,通常可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问集群HBase。
-
Flume常用配置参数 - MapReduce服务 MRS
handler org.apache.flume.source.http.JSONHandler http请求的消息解析方式,支持以下两种: “org.apache.flume.source.http.JSONHandler”:表示Json格式解析。
-
Flume常用配置参数 - MapReduce服务 MRS
handler org.apache.flume.source.http.JSONHandler http请求的消息解析方式,支持以下两种: “org.apache.flume.source.http.JSONHandler”:表示Json格式解析。
-
在Linux环境中调测HDFS应用 - MapReduce服务 MRS
配置环境变量: cd /opt/client source bigdata_env 运行此样例代码需要设置运行用户,设置运行用户有两种方式,添加环境变量HADOOP_USER_NAME或者修改代码设置运行用户。
-
在本地Windows中调测HDFS程序 - MapReduce服务 MRS
在本地Windows中调测HDFS程序 (可选)在开发环境中(例如IntelliJ IDEA中),运行此样例代码需要设置运行用户,设置运行用户有两种方式,添加环境变量HADOOP_USER_NAME或者修改代码。
-
组件常用端口列表 - MapReduce服务 MRS
该端口用于:HTTPS方式提供Web服务,支持修改。 安装时是否缺省启用:是 安全加固后是否启用:是 Kafka常用端口 表中涉及端口的协议类型均为:TCP。
-
聚合函数 - MapReduce服务 MRS
函数统计高频值时,采用近似估算的方式使用的内存更少。capacity值越大,结果越精确,但消耗的内存也更多。该函数的返回结果是一个map,map的键值对为高频值及对应的频次。
-
Flink Java API接口介绍 - MapReduce服务 MRS
支持两种EventTime时间戳方式:AssignerWithPeriodicWatermarks和AssignerWithPunctuatedWatermarks。 窗口生成类API如表11所示。
-
配置弹性伸缩规则 - MapReduce服务 MRS
扩容为scale_out,缩容为scale_in ${mrs_scale_node_hostnames}:扩缩容的节点主机名称 ${mrs_scale_node_ips}:扩缩容的节点IP ${mrs_scale_rule_name}:触发扩缩容的规则名 其他用户自定义参数使用方式与普通
-
Flink Java API接口介绍 - MapReduce服务 MRS
支持两种EventTime时间戳方式:AssignerWithPeriodicWatermarks和AssignerWithPunctuatedWatermarks。 窗口生成类API如表11所示。
-
Flink Java API接口介绍 - MapReduce服务 MRS
支持两种EventTime时间戳方式:AssignerWithPeriodicWatermarks和AssignerWithPunctuatedWatermarks。 窗口生成类API如表11所示。
-
迁移MRS集群内ClickHouse数据至其他MRS集群 - MapReduce服务 MRS
非复制表和物化视图迁移: 针对非复制表和物化视图采用调用remote函数方式进行数据迁移。 上述迁移的操作步骤通过迁移工具脚本做了封装处理,只需修改相关配置文件执行迁移脚本即可完成一键式迁移操作,具体可以参考操作步骤说明。
-
Hive WebHCat接口介绍 - MapReduce服务 MRS
user.name=user1" mapreduce/streaming(POST) 描述 以Streaming方式提交MR任务 URL http://www.myserver.com/templeton/v1/mapreduce/streaming 参数 参数 描述 input