正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<: CompressionCodec]] = None): Unit 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func:
在“HBase”的“路径类型”,选择一个备份目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表示备份文件保存在主管理节点的本地磁盘上。 选择此参数值,还需要配置“源端路径”,表示要恢复的备份文件。例如,“版本号_数据源_任务执行时间.tar.gz”。 “Remot
请根据业务需求合理选择需要的组件,部分类型集群创建后不支持添加服务。 - 元数据 是否使用外部数据源存储集群的Hive、Ranger元数据。 本地元数据: 元数据存储在集群本地。 外置数据连接:使用外部数据源元数据,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。 在创建MRS集群时,支
<: CompressionCodec]] = None): Unit 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func:
submitTopology(args[0], conf, builder.createTopology()); } } 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 获取下列jar包: 在安装好的db数据库目录下进入lib目录,获取如下jar包: derbyclient
<: CompressionCodec]] = None): Unit 只能用在key-value对上,然后生成SequenceFile写到本地或者hadoop文件系统。 countByKey(): Map[K, Long] 对每个key出现的次数做统计。 foreach(func:
com/docs/zh/engines/table-engines/integrations/kafka。 通过客户端连接ClickHouse创建本地表,示例如下: CREATE TABLE daily1( key String, value String, event_date DateTime
task.expire-time.day:计算实例日志归档在HDFS的过期时间,默认值:30天。 log.max-history:计算实例日志在本地的最大保留时间,默认值:7天。 log.clean.task.schedule.plan:自动清理计算实例日志的调度计划。值为cron表达
在“DBService”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “LocalDir”:表示将备份文件保存在主管理节点的本地磁盘上,备管理节点将自动同步备份文件。 默认保存目录为“数据存放路径/LocalBackup/”,例如“/srv/BigData/LocalBackup”。
如未修改保存路径,文件生成后将默认保存在集群主OMS节点的“/tmp/FusionInsight-Client”。 不勾选“仅保存到如下路径”:文件生成后将自动下载并保存至本地,安装客户端时需将其上传至待安装客户端节点的指定目录。 勾选“仅保存到如下路径” 复制客户端软件包到待安装客户端节点的指定目录。 客户端软
在“NameNode”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “LocalDir”:表示将备份文件保存在主管理节点的本地磁盘上,备管理节点将自动同步备份文件。默认保存目录为“数据存放路径/LocalBackup/”。 “最大备份数”:填写备份目录中可保留的备份文件集数量。
在“DBService”的“路径类型”,选择一个备份目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表示备份文件保存在主管理节点的本地磁盘上。 选择此参数值,还需要配置“源端路径”,表示要恢复的备份文件。例如,“版本号_数据源_任务执行时间.tar.gz”。 “Local
byteCapacityBufferPercentage 20 channel中字节容量百分比(%)。 File Channel File Channel使用本地磁盘作为缓存区,Events存放在设置的dataDirs配置项文件夹中。常用配置如下表所示: 表7 File Channel常用配置 参数
RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径,根据实际路径修改,但目录要有写入权限 log4j.additivity.DUAL=false log4j.appender
在“备份配置”,勾选“OMS”。 在“OMS”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “LocalDir”:表示将备份文件保存在主管理节点的本地磁盘上,备管理节点将自动同步备份文件。 默认保存目录为“数据存放路径/LocalBackup/”,例如“/srv/BigData/LocalBackup”。
RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径,根据实际路径修改,但目录要有写入权限 log4j.additivity.DUAL=false log4j.appender
在“Kafka”的“路径类型”,选择一个备份目录的类型。 选择不同的备份目录时,对应设置如下: “LocalDir”:表示备份文件保存在主管理节点的本地磁盘上。 选择此参数值,还需要配置“源端路径”,表示要恢复的备份文件。例如,“版本号_数据源_任务执行时间.tar.gz”。 “Local
ues(保持源RDD的分区方式,这与map不同); 对单个RDD重排,如sort、partitionBy(实现一致性的分区划分,这个对数据本地性优化很重要); 对单个RDD基于key进行重组和reduce,如groupByKey、reduceByKey; 对两个RDD基于key进
system”页面 进入“/tmp/logs/执行用户名/bucket-logs-tfile/任务ID/Flink任务ID”目录,将该目录下文件全部下载到本地。 图6 获取作业日志文件 在2.c下载的文件中搜索“root.sg.d1”,如下图显示则表示数据从IoTDB中读取成功。 图7 读取IoTDB数据成功
以user_client用户登录将要安装客户端的服务器。 解压软件包。 进入安装包所在目录,例如“/opt/Bigdata/client”。执行如下命令解压安装包到本地目录。 tar -xvf FusionInsight_Cluster_1_Services_Client.tar 校验软件包。 执行sha