检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
apache.spark.om.util.FIPasswordFactory spark.ssl.ui.protocol 配置ui的ssl协议。 TLSv1.2 spark.yarn.archive Spark jars的存档,用于分发到YARN缓存。如果设置,此配置值将替换<code>
apache.spark.om.util.FIPasswordFactory spark.ssl.ui.protocol 配置ui的ssl协议。 TLSv1.2 spark.yarn.archive Spark jars的存档,用于分发到YARN缓存。如果设置,此配置值将替换<code>
该参数仅适用于MRS 3.1.5及之后版本。 ClickHouse提供了基于Loadbalance部署架构,可以将用户访问流量自动分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。客户端应用请求集群时,使用基于Nginx的ClickHouseBalancer控制节
器,包括存储器件和内嵌系统软件,可提供跨平台文件共享功能。利用NFS(支持NFSv3、NFSv4)和CIFS(支持SMBv2、SMBv3)协议,用户可以连通MRS的业务平面与NAS服务器,将数据备份至NAS或从NAS恢复数据。 数据备份至NAS前,系统会自动将NAS共享地址挂载为
将ECS的安全组修改为Master节点的默认安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群,“协议”需选择为“TCP”,“端口”需分别选择“28443”和“20009”。请参见创建安全组。 如果界面提示“添加安全组规则失败”,请检查安全
r Load方式是在用户没有Spark计算资源的情况下使用,如果有Spark计算资源建议使用Spark Load。 用户需要通过MySQL协议创建Broker Load 导入,并通过查看导入命令检查导入结果。适用以下场景: 源数据在Broker可以访问的存储系统中,如HDFS。 数据量在几十到百GB级别。
ic>指读取Kafka上的topic名称,<protocol>指安全访问协议,<service>指kerberos服务名称,<domain>指kerberos域名。 普通集群需要注释掉配置kafka安全协议部分代码,详情请参见Java样例代码和Scala样例代码章节中的说明部分。
truststore-password truststore文件解密密码。 - 是 security.ssl.protocol SSL传输的协议版本。 TLSv1.2 是 适用于所有版本 security.ssl.algorithms 支持的SSL标准算法,具体可参考java官网:http://docs
security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/SASL_PLAINTEXT/SSL/SASL_SSL四种协议,分别对应FusionInsight Kafka集群的21005/21007/21008/21009端口。 如果配置了SASL,则必须配置sasl
*,会大大加重系统的压力。 通过limit限制查询返回的数据量,节省计算资源、减少网络开销。 如果返回的数据量过大,客户端有可能出现内存溢出等服务异常。 对于前端使用ClickHouse的场景,如果要查询的数据量比较大,建议每次可适当地进行分页查询返回数据,以减少查询数据量对网络带宽和计算资源的占用。
文件导入成功,同名的文件及未转移的文档导入失败。 编码类型 导出文件的编码格式,如UTF-8。导出文本文件时才能配置。 压缩 使用SFTP协议导数据时,是否开启压缩传输功能以减小带宽使用。“true”为开启压缩,“false”为关闭压缩。 hdfs-connector 输出路径
文件导入成功,同名的文件及未转移的文档导入失败。 编码类型 导出文件的编码格式,如UTF-8。导出文本文件时才能配置。 压缩 使用SFTP协议导数据时,是否开启压缩传输功能以减小带宽使用。“true”为开启压缩,“false”为关闭压缩。 hdfs-connector 输出路径
多流join场景建议join字段设置为主键 如果join字段不为主键,会导致Flink shuffle task按照hash进行数据处理,导致在Flink中无法保序。同时状态后端中同一个join key字段会保留多份,join时会产生笛卡尔积。 比如A表字段为“id, field1”,B表字段为“id, field
创建MRS集群时,系统默认自动创建一个安全组,也可选择下拉框中已有的安全组。 说明: 选择用户自己创建的安全组时,请确保入方向规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则,源地址请勿使用0.0.0.0/0,否则会有安全风险。若用户不清楚可信任的IP访问范围,请选择自动创建。
ve、CSV、Parquet、ORC、JSON和JDBC数据源,这些不同的数据源之间也可以实现互相操作。Spark SQL复用了Hive的前端处理逻辑和元数据处理模块,使用Spark SQL可以直接对已有的Hive数据进行查询。 另外,SparkSQL还提供了诸如API、CLI、
ve、CSV、Parquet、ORC、JSON和JDBC数据源,这些不同的数据源之间也可以实现互相操作。Spark SQL复用了Hive的前端处理逻辑和元数据处理模块,使用Spark SQL可以直接对已有的Hive数据进行查询。 另外,SparkSQL还提供了诸如API、CLI、