检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“RemoteHDFS”:表示备份文件保存在备集群的HDFS目录。 选择此参数值,还需要配置以下参数: “源端NameService名称”:填写备份数据集群的NameService名称。可以输入集群内置的远端集群的NameService名称:haclusterX,haclusterX1,ha
户需对业务量很大的HDFS进行很频繁且很多的操作,则为此用户设置较大的句柄数,避免出现以上错误。 使用root用户登录集群所有节点机器或者客户端机器的操作系统,并进入“/etc/security”目录。 执行如下命令编辑“limits.conf”文件。 vi limits.conf
日志,将增删改等操作转为JSON格式发送到输出端(如控制台/文件/Kafka等)。Maxwell可部署在MySQL机器上,也可独立部署在其他与MySQL网络可通的机器上。 Maxwell运行在Linux服务器上,常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等,且需要Java
日志,将增删改等操作转为JSON格式发送到输出端(如控制台/文件/Kafka等)。Maxwell可部署在MySQL机器上,也可独立部署在其他与MySQL网络可通的机器上。 Maxwell运行在Linux服务器上,常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等,且需要Java
选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调试命令也跟着改变,比如P
些取N条Row的操作。 不支持Distinct。 只有当output mode为complete时才支持排序操作。 有条件地支持流和静态数据集之间的外连接。 不支持部分DataSet上立即运行查询并返回结果的操作: count():无法从流式Dataset返回单个计数,而是使用ds
些取N条Row的操作。 不支持Distinct。 只有当output mode为complete时才支持排序操作。 有条件地支持流和静态数据集之间的外连接。 不支持部分DataSet上立即运行查询并返回结果的操作: count():无法从流式Dataset返回单个计数,而是使用ds
些取N条Row的操作。 不支持Distinct。 只有当output mode为complete时才支持排序操作。 有条件地支持流和静态数据集之间的外连接。 不支持部分DataSet上立即运行查询并返回结果的操作: count():无法从流式Dataset返回单个计数,而是使用ds
户需对业务量很大的HDFS进行很频繁且很多的操作,则为此用户设置较大的句柄数,避免出现以上错误。 使用root用户登录集群所有节点机器或者客户端机器的操作系统,并进入“/etc/security”目录。 执行如下命令编辑“limits.conf”文件。 vi limits.conf
些取N条Row的操作。 不支持Distinct。 只有当output mode为complete时才支持排序操作。 有条件地支持流和静态数据集之间的外连接。 不支持部分DataSet上立即运行查询并返回结果的操作: count():无法从流式Dataset返回单个计数,而是使用ds
可以为空。 Apache 为集群增加标签 创建集群时为集群增加标签 登录MRS管理控制台。 单击“购买集群”,进入购买集群页面。 在购买集群页面,选择“自定义购买”。 参考自定义购买MRS集群配置集群软件配置和硬件配置信息。 勾选“高级配置”右侧的“现在配置”,在标签栏输入新添加标签的键和值。
选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调试命令也跟着改变,比如P
选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调试命令也跟着改变,比如P
选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调试命令也跟着改变,比如P
配置MRS集群间互信 当不同的两个Manager系统下安全模式的集群需要互相访问对方的资源时,系统管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。 如果未配置跨集群互信,每个集群资源仅能被本集群用户访问。每个系统用户安全使用的范围定义为“域”,不同的Manager系
重启MRS集群组件 在修改了大数据组件的配置项后,需要重启对应的组件来使得配置生效,使用普通重启方式会并发重启所有服务或实例,可能引起业务中断。 为了确保服务重启过程中,尽量减少或者不影响业务运行,可以通过滚动重启来按批次重启服务或实例(对于有主备状态的实例,会先重启备实例,再重启主实例)。
如果配置中的端口为21007(Kafka安全模式端口),那么修改该端口为9092(Kafka普通模式端口)。 检查网络是否正常,确保当前机器能够正常访问Kafka集群。 父主题: Kafka应用开发常见问题
步骤2:将本地数据导入到HDFS中 步骤3:创建Hive表 步骤4:将原始数据导入Hive并进行分析 步骤1:创建MRS离线查询集群 进入购买MRS集群页面。 选择“快速购买”,填写软件配置参数,以“按需计费”为例。 表1 软件配置(以下参数仅供参考,可根据实际情况调整) 参数名称 参数说明 取值样例
包为主机安装Agent。 表1 主机防护开启操作 操作步骤 相关说明 步骤一 购买主机安全防护配额 主机安全服务有基础版、企业版、旗舰版供您选择,具体功能详情及版本差异详情请参见版本功能差异说明。 购买时,“防护主机数量”需跟MRS集群中的节点数量保持一致。 图3 防护主机数量 步骤二
求时,首先检查发出该请求的用户的权限,只有HBase管理用户才有修改权限;其次检查发出该请求的IP的有效性,备集群只接收来自IP白名单中的机器发起的修改请求。IP白名单通过配置项“hbase.replication.allowedIPs”配置。 在FusionInsight Manager系统中,选择“集群