检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 “基本信息”界面
负载均衡方案对比 负载均衡方案 方案对比 ELB 支持多种请求策略 故障自动检测转移 后端ClickHouse扩容新增节点只需要修改ELB上的配置即可 BalancedClickhouseDataSource 内部随机方式分发请求,可能会导致负载不均匀 故障检测能力不足 当前通过
“doris-policy”。 单击“下一步”,在“选择授权范围”中勾选“全局服务资源”,单击“确定”。 创建完成后,将鼠标放在新建的委托上,记录下委托ID。 在“统一身份认证服务”选择“委托”。 单击3中创建的云服务委托名称,例如:“mrs_ecs_obs”。 选择“授权记录 >
); 对单个RDD重排,如sort、partitionBy(实现一致性的分区划分,这个对数据本地性优化很重要); 对单个RDD基于key进行重组和reduce,如groupByKey、reduceByKey; 对两个RDD基于key进行join和重组,如join、cogroup。
提交SQL语句失败 { "error_code" : "MRS.0011", "message" : "提交SQL到Executor上失败,集群ID为xxxx" } 状态码 状态码 描述 200 提交SQL语句成功 400 提交SQL语句失败 错误码 请参见错误码。 父主题:
磁盘慢盘故障,导致业务性能下降,阻塞业务的处理能力,严重时可能会导致服务不可用。 可能原因 磁盘老化或者磁盘坏道。 处理步骤 检查磁盘状态。 打开MRS集群详情页面,在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机信息和故障磁盘信息。 确认上报告警的节点是否为虚拟化环境。
ar,只需将样例工程拷贝到编译机器上即可。 运行Spark Core样例程序 在工程目录下执行mvn package命令生成jar包,在工程目录target目录下获取,比如:FemaleInfoCollection.jar 将生成的Jar包(如CollectFemaleInfo.
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 “基本信息”界面
等相关接口操作示例。 hdfs-c-example HDFS C语言开发代码样例。 本示例提供了基于C语言的HDFS文件系统连接、文件操作如创建文件、读写文件、追加文件、删除文件等。 Hive hive-jdbc-example Hive JDBC处理数据Java示例程序。 本工
Operator 紧密度高的算子可以进行优化,优化后可以将多个Operator Subtask串起来组成一个Operator Chain,实际上就是一个执行链,每个执行链会在TaskManager上一个独立的线程中执行,如图5所示。 图5 Operator chain 图5中上半部分
设置的自定义委托的AK/SK访问OBS服务,同时OBS服务会使用接收到的AK/SK访问数据加密服务获取KMS密钥状态,因此需要在使用的委托上绑定“KMS Administrator”策略,否则在处理加密数据时OBS会返回“403 Forbidden”的错误信息。目前MRS服务会在
ClickHouse通过多分片多副本的部署架构实现了集群的高可用,每个集群定义多个分片,每个分片具有2个或2个以上副本。当某节点故障时,分片内其他主机节点上的副本可替代工作,保证服务能正常运行,提高集群的稳定性。 本章节仅适用于MRS 3.1.0版本。 集群配置 登录集群Manager页面,选择“集群
Access Protocol,简称为LDAP),为Kerberos认证提供用户和用户组数据保存能力。 方案架构 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。提供类似SQL的Hive Query
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 创建Loader数据导入作业,单击“新建作业”,在“1.基本信息”
e SparkJavaExample Spark Core任务的Java/Python/Scala示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkPythonExample SparkScalaExample SparkLauncherJavaExample
enable' = 'true', 'hive_sync.table' = '要同步到Hive的表名,如stream_mor2', 'hive_sync.db' = '要同步到Hive的数据库名,如default', 'hive_sync.metastore.uris' = 'Hive客户端hive-site
/var/log/Bigdata/clickhouse/clickhouseServer/backup.log ClickHouse在Manager上执行备份恢复操作的日志文件路径。 /var/log/Bigdata/clickhouse/clickhouseServer/stop.log
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 创建Loader数据导入作业,单击“新建作业”,在“1.基本信息”
); 对单个RDD重排,如sort、partitionBy(实现一致性的分区划分,这个对数据本地性优化很重要); 对单个RDD基于key进行重组和reduce,如groupByKey、reduceByKey; 对两个RDD基于key进行join和重组,如join、cogroup。
); 对单个RDD重排,如sort、partitionBy(实现一致性的分区划分,这个对数据本地性优化很重要); 对单个RDD基于key进行重组和reduce,如groupByKey、reduceByKey; 对两个RDD基于key进行join和重组,如join、cogroup。