检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
union(JavaDStream<T> first,java.util.List<JavaDStream<T>> rest) 从多个具备相同类型和滑动时间的DStream中创建统一的DStream。 表5 Spark Streaming增强特性接口 方法 说明 JAVADStreamKafkaWriter
登录FusionInsight Manager界面,选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 > clickhouse-config-customize”,添加如下配置,保存配置,重启服务。 配置项 参考值 作用 merge_tree
Manager。 选择“集群 > 服务 > ZooKeeper > 配置 > 全部配置”。 在左侧导航栏选择“quorumpeer > 自定义”添加参数名称和值:zookeeper.sasl.disable = false。 保存配置后,重启ZooKeeper服务。 父主题: 客户端使用类
jks”分别为Flume服务端、客户端SSL证书信任列表。 本章节涉及到所有的用户自定义密码,需满足以下复杂度要求: 至少包含大写字母、小写字母、数字、特殊符号4种类型字符。 至少8位,最多64位。 出于安全考虑,建议用户定期更换自定义密码(例如三个月更换一次),并重新生成各项证书和信任列表。 配置
field) 使用一个用户自定义的Partitioner对每一个元素选择目标task。 partitioner指的是用户自定义的分区类重写partition方法。 field指的是partitioner的输入参数。 keySelector指的是用户自定义的partitioner的输入参数。
如果要永久生效,登录Manager界面,选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > 自定义”,在“impalad.customized.configs”中添加参数“--idle_session_timeout”,值根据用户实际业
场景说明 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行数据表的创建、数据加载、查询和删除。 数据规划 确保以HA模式启动了JDBCServer服务,并至少有一个实例对外服务。在hdfs上创建"/home/data"目录,新增包含如下内容的文件并上传到h
Flink Job Pipeline样例程序(Java) 发布Job自定义Source算子产生数据 下面代码片段仅为演示,完整代码参见FlinkPipelineJavaExample样例工程下的com.huawei.bigdata.flink.examples.UserSource:
登录FusionInsight Manager界面,选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 > clickhouse-config-customize”,添加如下配置,保存配置,重启服务。 配置项 参考值 作用 merge_tree
/flume/checkpoint 说明: 此路径随自定义数据路径变更。 检查点存放路径。 dataDirs ${BIGDATA_DATA_HOME}/hadoop/data1~N/flume/data 说明: 此路径随自定义数据路径变更。 数据缓存路径,设置多个路径可提升性能,中间用逗号分开。
取操作? 回答 登录Manager界面,选择“集群 > 服务 > Impala > 配置 > 全部配置 > Impalad(角色) > 自定义”,在“impalad.customized.configs”中添加参数“--webserver_cas_enable”值为“false”
服务端:登录FusionInsight Manager页面,选择“集群 > 服务 > Spark2x > 配置 > 全部配置 > JDBCServer(角色) > 自定义”,在参数“spark.carbon.customized.configs”中添加CarbonData相关参数配置。 客户端:登录客户端节
Hudi Savepoint操作说明 Savepoint用于保存并还原自定义的版本数据。 Hudi提供的savepoint就可以将不同的commit保存起来以便清理程序不会将其删除,后续可以使用Rollback进行恢复。 使用spark-sql管理savepoint。 示例如下:
获取指定目录文件列表 2020年6月 序号 功能名称 功能描述 阶段 相关文档 1 支持自定义集群拓扑 MRS新增“自定义”类型集群,用户可以自主定义集群的进程实例在集群节点中的部署方式。 商用 创建自定义拓扑集群 2020年5月 序号 功能名称 功能描述 阶段 相关文档 1 支持包周期集群指定节点缩容
"$@" exit 0 执行命令“sh generate_keystore.sh <password>”即可,<password>由用户自定义输入 若<password>中包含特殊字符"$",应使用如下方式,以防止被转义,“sh generate_keystore.sh 'pas
Hudi Savepoint操作说明 Savepoint用于保存并还原自定义的版本数据。 Hudi提供的savepoint就可以将不同的commit保存起来以便清理程序不会将其删除,后续可以使用Rollback进行恢复。 使用spark-sql管理savepoint。 示例如下:
服务端:登录FusionInsight Manager页面,选择“集群 > 服务 > Spark > 配置 > 全部配置 > JDBCServer(角色) > 自定义”,在参数“spark.carbon.customized.configs”中添加CarbonData相关参数配置。 客户端:登录客户端节
该特性只会清理ZooKeeper的“/flink_base”目录和HDFS的“/flink/recovery”目录下的残留目录,用户自定义修改的目录不会清理。 HDFS中的“checkpoints”目录需用户手动删除,该特性不会删除。 父主题: 管理FlinkServer作业
使用CarbonData前需先创建表,才可在其中加载数据和查询数据。可通过Create Table命令来创建表。该命令支持使用自定义列创建表。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。 命令示例: CREATE TABLE IF NOT EXISTS productdb
eamer提供以下功能: 支持Kafka,DFS多种数据源接入 。 支持管理检查点、回滚和恢复,保证exactly once语义。 支持自定义转换操作。 示例: 准备配置文件kafka-source.properties #hudi配置 hoodie.datasource.write