-
在本地Windows环境中调测HDFS程序 - MapReduce服务 MRS
环境变量”。 设置系统环境变量,在系统变量下单击“新建”,弹出新建系统变量框,变量名中输入“USERDNSDOMAIN”,变量值设为非空字符串,图中以“test”为例。 连续单击“确定”,完成系统环境变量的设置。 关闭样例工程,重新打开,运行。 查看调测结果 查看运行结果获取应用运行情况
-
MRS组件应用安全认证说明 - MapReduce服务 MRS
务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。 图1 Kerberos原理架构 表1 Kerberos模块说明 模块 说明 Application Client 应用客户端,通常是需要提交任务(或者作业)的应用程序。
-
调测ClickHouse Springboot样例程序 - MapReduce服务 MRS
Path/Reference > Absolute Path”。 图1 复制配置文件绝对路径 使用clickhouse-example.properties路径替换ClickHouseFunc.java中getProperties()方法中proPath的路径。 图2 ClickHouseFunc.java路径替换
-
Flink Join样例程序(Java) - MapReduce服务 MRS
ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,将自定义Source生成的数据写入Kafka DataStream<String> messageStream = env
-
在本地Windows环境中调测HDFS程序 - MapReduce服务 MRS
环境变量”。 设置系统环境变量,在系统变量下单击“新建”,弹出新建系统变量框,变量名中输入“USERDNSDOMAIN”,变量值设为非空字符串,图中以“test”为例。 连续单击“确定”,完成系统环境变量的设置。 关闭样例工程,重新打开,运行。 查看调测结果 查看运行结果获取应用运行情况
-
ALM-38011 Broker上用户连接数使用率超过设定阈值 - MapReduce服务 MRS
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”,选择上报告警实例主机名对应的角色。单击图标区域右上角下拉菜单,选择“定制 > 其它”,勾选“Broker上用户连接数使用率”,“Broker上用户最大连接数状况”和“Broker上
-
Flink Join样例程序(Java) - MapReduce服务 MRS
ParameterTool paraTool = ParameterTool.fromArgs(args); // 构造流图,将自定义Source生成的数据写入Kafka DataStream<String> messageStream = env
-
添加SQL防御规则 - MapReduce服务 MRS
已添加的防御规则。防御规则动态生效。 如需对当前规则进行调整,可单击对应规则所在“操作”列的“修改”,验证用户密码后可修改规则相关参数。 图1 查看SQL防御规则 MRS SQL防御规则 表1 MRS SQL防御规则 规则ID 规则描述 规则适用引擎 规则变量参数 SQL语句示例
-
开发和部署HetuEngine Function Plugin - MapReduce服务 MRS
} } 打包Maven项目,获取target目录下的myfunctions-0.0.1-SNAPSHOT目录,最终项目整体结构如下图所示。 部署Function Plugin 部署前需要确认: HetuEngine服务处于正常状态。 HDFS和HetuEngine客户端已
-
HBase本地二级索引介绍 - MapReduce服务 MRS
功能不能满足高性能标准频繁查询的要求。 这就是HBase HIndex产生的背景。如图1所示,HBase HIndex为HBase提供了能够根据特定的列值进行索引的能力,使得查询会变得更快。 图1 HBase HIndex 索引数据不支持滚动升级。 复合索引:用户必须将所有参与复
-
调测springboot样例程序 - MapReduce服务 MRS
Path/Reference > Absolute Path”。 图1 复制配置文件绝对路径 使用clickhouse-example.properties路径替换ClickHouseFunc.java中getProperties()方法中proPath的路径。 图2 ClickHouseFunc.java路径替换
-
通过数据应用访问Alluxio - MapReduce服务 MRS
在Presto客户端中执行查询语句select * from hive.default.u_user; 查询alluxio上创建表。 图1 Presto查询alluxio上创建的表 父主题: 使用Alluxio
-
修改Manager系统域名 - MapReduce服务 MRS
ue”后重启ZooKeeper服务。 操作步骤 登录FusionInsight Manager。 选择“系统 > 权限 > 域和互信”。 图1 域和互信 修改相关参数。 表2 相关参数 参数名 描述 本端域 填写本系统规划好的域名。 密码后缀 “人机”用户密码重置后的用户设置密码
-
通过Flink作业处理OBS数据 - MapReduce服务 MRS
至该目录中。 则本示例的测试数据完整路径为“obs://mrs-demo-data/flink/mrs_flink_test.txt”。 图1 上传测试数据 (可选)上传数据分析应用程序。 使用管理台界面直接提交作业时,将已开发好的Flink应用程序jar文件也可以上传至OBS文
-
LOAD DATA - MapReduce服务 MRS
表3 MAXCOLUMNS 可选参数名称 默认值 最大值 MAXCOLUMNS 2000 20000 表4 MAXCOLUMNS可选参数的行为图 MAXCOLUMNS值 在文件Header选项中的列数 考虑的最终值 在加载项中未指定 5 2000 在加载项中未指定 6000 6000
-
同步Kafka数据至ClickHouse - MapReduce服务 MRS
', '{replica}') partition by age order by id; 创建MATERIALIZED VIEW,该视图会在后台转换Kafka引擎中的数据并将其放入创建的ClickHouse表中。 create materialized view consumer3
-
同步Kafka数据至ClickHouse - MapReduce服务 MRS
', '{replica}') partition by age order by id; 创建MATERIALIZED VIEW,该视图会在后台转换Kafka引擎中的数据并将其放入创建的ClickHouse表中。 create materialized view consumer3
-
MRS集群中的用户与权限 - MapReduce服务 MRS
如果角色设置HDFS、HBase、Hive或Yarn各组件的权限,仅可以使用组件自身功能。如果还需要使用Manager,请在角色中添加对应的Manager权限。 图1 创建用户流程示意 父主题: MRS多用户权限管理
-
Hive应用开发规则 - MapReduce服务 MRS
jobs(GET) jobs/:jobid(GET) jobs/:jobid(DELETE) Hive授权说明 Hive授权(数据库、表或者视图)推荐通过Manager授权界面进行授权,不推荐使用命令行授权,除了“alter databases databases_name set
-
缩容集群 - MapReduce服务 MRS
观察关机后是否有影响业务的告警出现,若无影响业务的告警则回到缩容页面选择对应的节点进行缩容,若有影响业务的告警请处理告警后再进行缩容。 图1 缩容指定节点 勾选“我已经阅读上述信息,并了解具体影响。”并单击“确定”。 单击“组件管理”观察各个组件是否存在异常,若存在异常等待5~