检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
briefInfo.gather=true,查看JobHistory的brief信息。 使用Spark JobHistory2x页面访问:https://IP:port/api/v1/<appid>/jobs/。 job信息中“numActiveTasks”的值是根据eventlog
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
adaptive.coalescePartitions.enabled都为true时,单次读取请求中存在多个连续块。这个特性还依赖于一个可重定位的序列化器,使用的级联支持编解码器和新版本的shuffle提取协议。 true spark.sql.adaptive.localShuffleReader
adaptive.coalescePartitions.enabled都为true时,单次读取请求中存在多个连续块。这个特性还依赖于一个可重定位的序列化器,使用的级联支持编解码器和新版本的shuffle提取协议。 true spark.sql.adaptive.localShuffleReader
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
"dataType" : "INT" } ], "watermarkSpecs" : [ ] }, "partitionKeys" : [ ], "options"
features Array of strings 参数解释: 特性列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 cluster_types Array of strings 参数解释: 集群类型列表。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及
“用户组”需加入“hive”、“supergroup”用户组。 选择“系统 > 权限 > 用户”,在用户名为“developuser”的操作列选择“更多 > 下载认证凭据”下载认证凭据文件,保存后解压得到该用户的“user.keytab”文件与“krb5.conf”文件。 选择“集群
的成本开销 简化云存储和对象存储接入 简化数据管理,提供对多数据源的单点访问 应用程序部署简易 有关Alluxio的详细信息,请参见:https://docs.alluxio.io/os/user/stable/cn/Overview.html。 父主题: 组件介绍
参数优化部分适配于MRS 3.2.0及以后版本。 该规范中与开源社区不一致的点,以本文档为准。 参考资料 Flink开源社区开发文档:https://nightlies.apache.org/flink/flink-docs-stable/。 父主题: Flink应用开发规范
简化数据管理,提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开发,具体的API接口内容请参考https://docs.alluxio.io/os/javadoc/2.0/index.html。 父主题: Alluxio应用开发概述
配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关 切换Hive执行引擎为Tez Hive负载均衡 配置Hive单表动态视图的访问控制权限
out)文件排查。 如下异常: Error: Could not find or load main class Xmx2048M 说明java虚拟机启动时,将Xmx2048M作为java进程的启动参数而不是JVM的启动参数了,如下将符号‘-’误删掉。 METASTORE_GC_OPTS=Xms1024M
有空格)。 复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。 当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。 Windows本地hos
有空格)。 复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。 当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。 Windows本地hos
120.16.170";[2] String securityModeUrl = new StringBuilder("https://").append(restHostName).append(":21309").toString(); String
据写入Elasticsearch的功能。 Flink支持1.12.0及以后版本,Elasticsearch支持7.x及以后版本但不支持HTTPS的Elasticsearch集群。 数据规划 如果使用自定义数据源,需保证源端集群和目标端之间网络端口通信正常。 如果使用Kafka,M
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求参数 无 响应参数 无 请求示例 删除作业执行对象请求示例 DELETE https://{endpoint}/v1.1/{project_id}/job-executions/{job_execution_id} 响应示例