检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-y命令自行安装。 需要允许用户使用密码方式登录Linux弹性云服务器(SSH方式)。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 集群内节点安装客户端 获取软件包。 访问集群Manager,在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下
能执行恢复操作。 检查恢复数据时集群主机拓扑结构与备份数据时是否相同。如果不相同,不能执行恢复操作,必须重新备份。 检查恢复数据时集群中已添加的服务与备份数据时是否相同。如果不相同,不能执行恢复操作,必须重新备份。 停止依赖集群运行的上层业务应用。 恢复Manager数据 在FusionInsight
REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询,FusionInsight版本中添加了查询SQL、JDBC Server和Streaming的信息的REST接口。开源REST接口完整和详细的描述请参考官网上的文档以了解其使用方法:https://archive
Structure”页面。 在“Project Structure”页面,选择“Artifacts”,单击“+”并选择“JAR > Empty”。 图1 添加Artifacts 您可以根据实际情况设置Jar包的名称、类型以及输出路径。 图2 设置基本信息 选中“'FlinkStreamJavaExample'
SparkContext对象作为其构造参数。SQLContext其中一个子类是HiveContext,相较于其父类,HiveContext添加了HiveQL的parser、UDF以及读取存量Hive数据的功能等。但注意,HiveContext并不依赖运行时的Hive,只是依赖Hive的类库。
执行以下命令创建表“user_info”: create 'user_info',{NAME => 'i'} 执行以下命令向表“user_info”中添加相关数据: put 'user_info','12005000201','i:name','A' put 'user_info','12005000201'
addSource(SourceFunction<OUT> function) 用户自定义SourceFunction,addSource方法可以添加Kafka等数据源,主要实现方法为SourceFunction的run。 function指的是用户自定义的SourceFunction函数。
addSource(SourceFunction<OUT> function) 用户自定义SourceFunction,addSource方法可以添加Kafka等数据源,主要实现方法为SourceFunction的run。 function指的是用户自定义的SourceFunction函数。
addSource(SourceFunction<OUT> function) 用户自定义SourceFunction,addSource方法可以添加Kafka等数据源,主要实现方法为SourceFunction的run。 function指的是用户自定义的SourceFunction函数。
addSource(SourceFunction<OUT> function) 用户自定义SourceFunction,addSource方法可以添加Kafka等数据源,主要实现方法为SourceFunction的run。 function指的是用户自定义的SourceFunction函数。
REST接口支持对Jobs、Stages、Storage、Environment和Executors的信息进行查询,FusionInsight版本中添加了查询SQL、JDBC Server和Streaming的信息的REST接口。开源REST接口完整和详细的描述请参考官网上的文档以了解其使用方法:https://archive
0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备Manager_a
行设置。 参考快速配置参数 spark.driver.userClassPathFirst (试验性)当在驱动程序中加载类时,是否授权用户添加的jar优先于Spark自身的jar。这种特性可用于减缓Spark依赖和用户依赖之间的冲突。目前该特性仍处于试验阶段,仅用于Cluster模式中。
参考快速配置Spark参数 spark.driver.userClassPathFirst (试验性)当在驱动程序中加载类时,是否授权用户添加的jar优先于Spark自身的jar。这种特性可用于减缓Spark依赖和用户依赖之间的冲突。目前该特性仍处于试验阶段,仅用于Cluster模式中。
spark.files.overwrite 当目标文件存在时,且其内容与源的文件不匹配。是否覆盖通过SparkContext.addFile()添加的文件。 false spark.yarn.cluster.driver.extraClassPath YARN-Cluster模式下,D
w,map,struct。其余的类型在数据查询和运算时支持。 通常情况下,大部分非复合数据类型都可以通过字面量加字符串的方式来输入,示例为添加了一个json格式的字符串: select json '{"name": "aa", "gender": "man"}';
spark.files.overwrite 当目标文件存在时,且其内容与源的文件不匹配。是否覆盖通过SparkContext.addFile()添加的文件。 false spark.yarn.cluster.driver.extraClassPath YARN-Cluster模式下,D
spark-submit脚本(运行的应用中带SQL操作),不支持使用proxy user参数去提交任务。另外,由于本文档中涉及的样例程序已添加安全认证,建议不要使用proxy user参数去提交任务。 基本概念 RDD 即弹性分布数据集(Resilient Distributed
convert ['0'] to boolean 默认不允许向托管表(表属性external = true)插入数据,如需使用该功能,可参考注意事项,添加hive自定义属性:hive.non-managed-table-writes-enabled=true。 Mppdb有一个限制,数据库的
新、查询、删除、启动和停止等操作,其成功与否需要在Loader WebUI确认或通过查询server端日志确认。 参数选项方式: 通过直接添加具体配置项的参数调用脚本。 作业模板方式: 修改作业模板中所有配置项的参数值,调用脚本时引用修改后的作业模板文件。 Loader客户端安装