检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS 3.x及之后版本部分参数可直接在Manager界面配置,可参考非加密传输或加密传输。 在“properties.properties”文件中配置,以配置SpoolDir Source+File Channel+Kafka Sink为例。
FusionInsight_Spark2x_8.1.0.1/install/FusionInsight-Spark2x-3.1.1/keytab/spark2x/SparkResource/spark2x.keytab --master yarn run-example 用来运行或者调试Spark开源社区中的自带的
由于开源中定义的不同,组件的日志级别定义略有差异。 验证日志级别设置已生效,请下载日志并查看。请参见下载MRS集群日志(MRS 3.x及之后版本)。
FusionInsight_Spark2x_8.1.0.1/install/FusionInsight-Spark2x-3.1.1/keytab/spark2x/SparkResource/spark2x.keytab --master yarn run-example 用来运行或者调试Spark开源社区中的自带的
否,登录其他故障节点执行10至12;收集日志,并排查“/etc/sssd/sssd.conf”修改前ldap_uri中第一个ldapserver节点是否故障,例如业务IP不可达、网络延时过长或者部署其他异常的软件。 收集故障信息。
参考自定义购买MRS集群配置集群软件配置和硬件配置信息。 勾选“高级配置”右侧的“现在配置”,在标签栏输入新添加标签的键和值。 图1 添加标签 为已有集群增加集群标签 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
Hive:建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。 Flink:提供一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。
用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库,具体可参考配置华为开源镜像仓。 编包并运行程序 在IntelliJ IDEA中,打开Maven工具窗口。
新增参数说明 基于开源CsvBulkloadTool,新增以下两个参数: --multiple-delimiter(-md) 用于指定自定义分隔符,当此命令参数存在时,会优先生效,覆盖掉原命令中的-d参数。
用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。
普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
Hive”目录下(开源驱动包下载地址:https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.5/)。
Sqoop1.4.7适配步骤 下载开源sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz包(下载地址http://archive.apache.org/dist/sqoop/1.4.7/)。
用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库,具体可参考配置华为开源镜像仓。 编包并运行程序 在IntelliJ IDEA中,打开Maven工具窗口。 在IDEA主页面,选择“View->Tool Windows->Maven”打开“Maven”工具窗口。
Storm开源特性 分布式实时计算框架 开源Storm集群中的每台机器上都可以运行多个工作进程,每个工作进程又可创建多个线程,每个线程可以执行多个任务,任务是并发进行数据处理。 高容错 如果在消息处理过程中有节点、进程等出现异常,提供重新部署该处理单元的能力。
选择“快速购买”,填写软件配置参数。 表3 软件配置(以下参数仅供参考,可根据实际情况调整) 参数名称 参数说明 取值样例 计费模式 选择待创建的MRS集群的计费模式。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。
普通模式 普通模式的集群不同组件使用各自原生开源的鉴权行为,详细鉴权机制如表1所示。 在安装了Ranger服务的普通模式集群中,Ranger可以支持基于OS用户进行组件资源的权限控制,支持启用Ranger鉴权的组件包括:HBase、HDFS、Hive、Spark2x、Yarn。
否,登录其他故障节点执行12至14;排查“/etc/ldap.conf”修改前URI中第一个LdapServer节点,是否故障,例如业务IP不可达、网络延时过长或者部署其他异常的软件。 收集故障信息。
Spark2x的开源新特性请参考Spark2x开源新特性说明。 Spark的特点如下: 通过分布式内存计算和DAG(无回路有向图)执行引擎提升数据处理能力,比MapReduce性能高10倍到100倍。
Doris审计日志SQL截断的问题 解决Doris coredump文件内存打印未关联源码位置的问题 解决Doris 某个tablet的副本数据查询不一致的问题 解决Doris UDF异常数据处理的问题,该问题需要在安装补丁前删掉UDF函数,打完补丁重新创建UDF函数 解决Doris开源问题