正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
igData/data1/impala:100GB HDFS存储开启短路读 HDFS存储场景下可开启短路读,提升读取速率,具体请参考:https://impala.apache.org/docs/build/html/topics/impala_config_performance
ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
double getDouble(); void setDouble(double value); } 创建Function Plugin注册类com.test.functions.MyFunctionsPlugin,其内容如下: package com.test.functions;
标签的value值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。 请求示例 查询所有标签请求示例 GET https://{endpoint}/v1.1/{project_id}/clusters/tags 响应示例 状态码: 200 操作成功。 {
不负责对用户在MRS集群环境上自建安装的非MRS提供的第三方组件的问题排查和解决。 智能数据专家服务 如需获得更多支持,可咨询购买对应的智能数据专家服务:https://www.huaweicloud.com/service/intelligencedata.html。
/tmp/input/file1 执行如下命令查询HDFS命令的帮助hadoop fs --help HDFS命令行参考请参见官网: https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell
管理Loader数据连接 操作场景 Loader页面支持创建、查看、编辑和删除连接。 创建连接 登录服务页面: 登录FusionInsight Manager,具体请参见访问集群Manager,选择“集群 > 服务”。 选择“Loader”,在“Loader WebUI”右侧,单击链接,打开Loader的WebUI。
管理Loader连接(MRS 3.x及之后版本) 操作场景 Loader页面支持创建、查看、编辑和删除连接。 本章节适用于MRS 3.x及之后版本。 创建连接 登录服务页面: MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight
取值范围: 不涉及 error_msg String 参数解释: 错误描述。 取值范围: 不涉及 请求示例 查询SQL结果请求示例 GET https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id}
ld 10485760 当进行join操作时,配置广播的最大值;当表的字节数小于该值时便进行广播。当配置为-1时,将不进行广播。 参见https://spark.apache.org/docs/latest/sql-programming-guide.html 配置自动广播阈值的方法:
QL时没成功才会FAILED。 取值范围: SUCCEED:成功 FAILED:失败 请求示例 取消SQL执行任务请求示例 POST https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id}/cancel
使用SpringBoot生产消费Kafka集群数据 本章节适用于MRS 3.3.0及之后版本。 功能简介 通过SpringBoot实现对Kafka集群生产消费的功能。 代码样例 通过SpringBoot实现Kafka生产消费的样例代码如下: @RestController public
27 16/02/24 15:45:42 INFO mapreduce.Job: The url to track the job: https://linux1:8090/proxy/application_1455853029114_0027/ 16/02/24 15:45:42
ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情可参考https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
打印出SQL语句的逻辑计划和物理计划。 void printSchema() 打印schema信息到控制台。 registerTempTable 将DataFrame注册为一张临时表,其周期和SQLContext绑定在一起。 DataFrame toDF(java.lang.String... colNames)
打印schema信息到控制台。 registerTempTable(tableName: String): Unit 将DataFrame注册为一张临时表,其周期和SQLContext绑定在一起。 toDF(colNames: String*): DataFrame 返回一个列重命名的DataFrame。
配置Windows通过EIP访问普通模式集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应
配置Windows通过EIP访问集群Kafka 操作场景 该章节通过指导用户配置集群绑定EIP,并配置Kafka文件的方法,方便用户可以在本地对样例文件进行编译。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前,在YARN-Client和YARN-Cluster模式下,两种模式的客户端存在冲突的配置,即当客户端为一种模式的配置时,会导致在另一种模式下提交任务失败。 为避免出现如上情况,添加表1中的配