检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"connector_id" : "0822239c1e80d4502f82c008937da9b5" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 创建mysql数据连接 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
"08467a446200d5ac4ff9c01d56670c3b" } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本。 组件选择 实时分析集群
SQL常用概念 DataFrame DataFrame是一个由多个列组成的结构化的分布式数据集合,等同于关系数据库中的一张表,或者是R/Python中的Data Frame。DataFrame是Spark SQL中的最基本的概念,可以通过多种方式创建,例如结构化的数据集、Hive表、外部数据库或者RDD。
202 同步请求下发的结果 { "state" : "synchronizing" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 将group1和user1同步到manager。同时会自动将user1关联的IAM用户组也同步到manager 1 2
"flavor_name" : "m6.xlarge.8" } ] } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码(传递给SparkContext的JAR或者Python定义的代码)发送到Executor上。 所有的Task执行完成后,用户的应用程序运行结束。 图1 Spark应用运行架构 操作流程 本实践基本操作流程如下所示:
"replication" : 3, "type" : "FILE" } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
x之前版本,如下参数见表4,在MRS的Flink默认配置中不存在,用户如果开启外部连接SSL,则需要添加以下参数。开启外部连接SSL后,因为YARN目前的开源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink
解决MemartsCC文件名超过256时,缓存文件写入失败问题 解决MemartsCC缓存从OBS读失败场景,缓存日志不打印requestID问题 解决MemartsCC开源软件高危问题 解决MemartsCC安全认证长时间未返回问题 补丁兼容关系 MRS 3.1.2-LTS.2.9补丁包中包含所有MRS 3.1
更新用户(组)与IAM委托的映射关系成功 { "result" : "succeeded" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 更新用户(组)与IAM委托的映射关系示例 1 2 3 4 5 6 7 8 9 10 11 12 13 14
用的问题 解决Hue单击“文档”报错maximum recursion depth exceeded while calling a Python object的问题 解决Hue修改CHERRYPY_SERVER_THREADS配置不生效问题 解决Hue中导入json文件,目录名为空时,会导致文件加载不出来的问题
"status" : 0, "encrypt_type" : 2 } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
创建连接器或作业时,使用作业模板方式。 本工具目前支持FTP、HDFS、JDBC、MySQL、Oracle以及Oracle专用连接器,如果使用其他类型连接器,建议使用开源sqoop-shell工具。 参数说明 例如,Loader客户端的安装目录为:“/opt/client/Loader/”。 lt-ucc使用说明
创建连接器或作业时,使用作业模板方式。 本工具目前支持FTP、HDFS、JDBC、MySQL、Oracle以及Oracle专用连接器,如果使用其他类型连接器,建议使用开源sqoop-shell工具。 参数说明 例如,Loader客户端的安装目录为:“/opt/client/Loader/”。 lt-ucc使用说明
"error_msg" : "查询作业失败", "error_code" : "0162" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
"MRS.00000000", "error_msg" : "标签配额不足" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 关闭集群默认标签 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
"node_group_name" : "master_node_default_group" } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
"evaluation_periods" : 1 } } ] } } ] SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
"error_msg" : "查询作业列表失败", "error_code" : "0166" } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21