检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传文件 每个Flume实例均可以上传单独的服务端配置文件。 更新配置文件需要按照此步骤操作,后台修改配置文件是不规范操作,同步配置时后台做的修改将会被覆盖。 单击“保存”,单击“确定”。 单击“完成”完成操作。 配置Flume角色客户端参数。 执行以下命令将生成的客户端证书(flume_cChat
定多个副本来备份数据。 针对MRS 3.5.0及之后版本集群,Kafka作为消息通道,其数据并非永久存储,默认只保留最近7天的数据,不支持做单独的数据备份。 CDL的数据存储在DBService与Kafka服务中,系统管理员可以通过创建备份DBService和Kafka的任务来备份数据。
adddate(date, bigint)→ [same as input] 描述:日期加法。输入的类型可以是date或timestamp,表示对日期做加减,当做减法时,bigint对应值为负。 select ADDDATE(timestamp '2020-07-04 15:22:15.124'
bigdata.hudi.examples.TransformerExample // 指定如何处理数据源拉取来的数据,可根据自身业务需求做定制 --enable-hive-sync // 开启hive同步,同步hudi表到hive --continuous // 指定流处理模式为连续模式
polygon连接查询 IN_POLYGON_JOIN(GEO_HASH_INDEX_COLUMN, POLYGON_COLUMN) 两张表做join查询,一张表为空间数据表(有经纬度列和GeoHashIndex列),另一张表为维度表,保存polygon数据。 查询使用IN_POLYGON_JOIN
polygon连接查询 IN_POLYGON_JOIN(GEO_HASH_INDEX_COLUMN, POLYGON_COLUMN) 两张表做join查询,一张表为空间数据表(有经纬度列和GeoHashIndex列),另一张表为维度表,保存polygon数据。 查询使用IN_POLYGON_JOIN
“SEQUENCE_FILE”:导入文本文件并保存为sequence file文件格式。 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件,不对文件做任何处理。 说明: 文件类型选择“TEXT_FILE”或“SEQUENCE_FILE”导入时,Loader会自动根据文件的后缀选择对应的解压方法,对文件进行解压。
“SEQUENCE_FILE”:导入文本文件并保存为sequence file文件格式。 “BINARY_FILE”:以二进制流的方式导入文件,可以导入任何格式的文件,不对文件做任何处理。 说明: 文件类型选择“TEXT_FILE”或“SEQUENCE_FILE”导入时,Loader会自动根据文件的后缀选择对应的解压方法,对文件进行解压。
系统随机生成 HBase系统启动过程用于内部组件之间认证的用户。 hbase/zkclient.<系统域名> 系统随机生成 安全集群下,HBase做ZooKeeper认证时使用的用户。 thrift/hadoop.<系统域名> 系统随机生成 ThriftServer系统启动用户。 thrift/<hostname>
)、subtract(本RDD有、其他RDD无的元素留下来)和sample(采样)。 视RDD的元素为Key-Value对。 对单个RDD做一对一运算,如mapValues(保持源RDD的分区方式,这与map不同); 对单个RDD重排,如sort、partitionBy(实现一致
)、subtract(本RDD有、其他RDD无的元素留下来)和sample(采样)。 视RDD的元素为Key-Value对。 对单个RDD做一对一运算,如mapValues(保持源RDD的分区方式,这与map不同); 对单个RDD重排,如sort、partitionBy(实现一致
开启Spark进程间的认证机制 目前Spark进程间支持共享密钥方式的认证机制,通过配置spark.authenticate可以控制Spark在通信过程中是否做认证。这种认证方式只是通过简单的握手来确定通信双方享有共同的密钥。 在Spark客户端的“spark-defaults.conf”文件中配置如下参数。
开启Spark进程间的认证机制 目前Spark进程间支持共享密钥方式的认证机制,通过配置spark.authenticate可以控制Spark在通信过程中是否做认证。这种认证方式只是通过简单的握手来确定通信双方享有共同的密钥。 在Spark客户端的“spark-defaults.conf”文件中配置如下参数。
xml文件内容丢失导致DBService实例异常问题 解决作业管理提交作业后/mrs/sql-result/spark-script/目录未做清理的问题 Flink 解决使用FlinkServer提交作业时,显示提交失败,但是Yarn上作业是RUNNING的问题 解决FlinkSe