检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不涉及 取值范围: 不涉及 默认取值: 不涉及 status Integer 参数解释: 数据连接状态。 约束限制: 不涉及 取值范围: -1:已删除 0:正常 -2:异常 1:使用中 默认取值: 不涉及 used_clusters String 参数解释: 使用集群。 约束限制: 不涉及
启弹性伸缩。Hive组件的初始配置hive.union.data.type.incompatible.enable修改为true,dfs.replication修改为4。 POST /v2/{project_id}/clusters { "cluster_version" :
user.name=test&op=OPEN" 运行结果: Hello, webhdfs user! 创建请求追加文件的命令,获取集群为已存在“/huawei/testHdfs”文件分配的可写入DataNode节点地址信息Location。 执行如下命令访问HTTP: linux1:/opt/client
Direct API简单地给出每个batch区间需要读取的偏移量位置。然后,每个batch的Job被运行,而对应偏移量的数据在Kafka中已准备好。这些偏移量信息也被可靠地存储在checkpoint文件中,应用失败重启时可以直接读取偏移量信息。 图1 Direct Kafka接口数据传输
供了程序的执行环境。 DataStream:Flink用类DataStream来表示程序中的流式数据。用户可以认为它们是含有重复数据的不可修改的集合(collection),DataStream中元素的数量是无限的。 KeyedStream:DataStream通过keyBy分组
user.name=test&op=OPEN" 运行结果: Hello, webhdfs user! 创建请求追加文件的命令,获取集群为已存在“/huawei/testHdfs”文件分配的可写入DataNode节点地址信息Location。 执行如下命令访问HTTP: linux1:/opt/client
默认取值: 不涉及 job_state String 参数解释: 作业执行状态。 约束限制: 不涉及 取值范围: FAILED:失败 KILLED:已终止 NEW:已创建 NEW_SAVING:已创建保存中 SUBMITTED:已提交 ACCEPTED:已接受 RUNNING:运行中 FINISHED:已完成
供了程序的执行环境。 DataStream:Flink用类DataStream来表示程序中的流式数据。用户可以认为它们是含有重复数据的不可修改的集合(collection),DataStream中元素的数量是无限的。 KeyedStream:DataStream通过keyBy分组
供了程序的执行环境。 DataStream:Flink用类DataStream来表示程序中的流式数据。用户可以认为它们是含有重复数据的不可修改的集合(collection),DataStream中元素的数量是无限的。 KeyedStream:DataStream通过keyBy分组
供了程序的执行环境。 DataStream:Flink用类DataStream来表示程序中的流式数据。用户可以认为它们是含有重复数据的不可修改的集合(collection),DataStream中元素的数量是无限的。 KeyedStream:DataStream通过keyBy分组
和spark-submit脚本(运行的应用中带SQL操作),不支持使用proxy user参数去提交任务。另外,由于本文档中涉及的样例程序已添加安全认证,建议不要使用proxy user参数去提交任务。 基本概念 RDD 即弹性分布数据集(Resilient Distributed
和spark-submit脚本(运行的应用中带SQL操作),不支持使用proxy user参数去提交任务。另外,由于本文档中涉及的样例程序已添加安全认证,建议不要使用proxy user参数去提交任务。 基本概念 RDD 即弹性分布数据集(Resilient Distributed
DFS Ranger策略可以匹配到Hive库表的文件或目录权限,则优先使用HDFS Ranger策略。 MRS 3.3.0及之后版本,如果已参考Hive表支持级联授权功能章节开启了Hive表的级联授权功能,则无需对表所在的HDFS路径进行授权操作。 Ranger策略中的URL策略
conf”中的配置项spark.yarn.security.credentials.hbase.enabled置为true。所有连接hbase读写数据spark任务均需修改该配置。 运行Spark HBase to HBase样例程序 在工程目录下执行mvn package命令生成jar包,在工程目录targ
取值范围: starting:启动中。 running:运行中。 terminated:已删除。 failed:失败。 abnormal:异常。 terminating:删除中。 frozen:已冻结。 scaling-out:扩容中。 scaling-in:缩容中。 默认取值: 不涉及
Integer 参数解释: 作业最终状态码。 约束限制: 不涉及 取值范围: 0:未完成 1:执行错误,终止执行 2:执行完成并且成功 3:已取消 默认取值: 不涉及 hive_script_path String 参数解释: sql程序路径。 约束限制: 仅Spark Script和Hive
操作结果。 约束限制: 不涉及 取值范围: true:操作成功 false:操作失败 默认取值: 不涉及 msg String 参数解释: 系统提示信息,可为空。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 cluster_id String 参数解释: 集群创建成功后系统返回的集群ID值。
497。 Core和Task节点总数最大值为500,如果用户需要的Core/Task节点数大于500,可以联系技术支持人员或者调用后台接口修改数据库。 -缩容时Core节点数大于3或者Task节点数大于0可以进行节点删除。例如,当前集群Core节点和Task节点数均为5,Core