检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在单个代理流程中,是通过channel连接sources和sinks。一个source实例对应多个channels,但一个sink实例只能对应一个channel。 格式如下: <Agent >.sources.<Source>.channels = <channel1> <channel2> <channel3>
false spark.python.worker.memory 聚合过程中每个python worker进程所能使用的内存大小,其值格式同指定JVM内存一致,如512m,2g。如果进程在聚集期间所用的内存超过了该值,数据将会被写入磁盘。 512m spark.python.worker
sdk目录,单击“OK”。 图24 Scala SDK files 设置成功,单击“OK”保存设置。 图25 设置成功 设置IDEA的文本文件编码格式,解决乱码显示问题。 在IDEA首页,选择“File > Settings...”。 图26 选择Settings 编码配置。 在“Set
时间,如左表(state.ttl.left)设置TTL为60秒,右表(state.ttl.right)设置TTL为120秒: Hint方式格式: table_path /*+ OPTIONS(key=val [, key=val]*) */ key: stringLiteral
false spark.python.worker.memory 聚合过程中每个python worker进程所能使用的内存大小,其值格式同指定JVM内存一致,如512m,2g。如果进程在聚集期间所用的内存超过了该值,数据将会被写入磁盘。 512m spark.python.worker
eleteFileTime)、删除目录(deleteCatalogTime)所用的时间。 表分区个数 Hive所有表分区个数监控,返回值的格式为:数据库#表名,表分区个数。 HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计,展示的信息包括:用户、HQL语句、Map数目。
/home/XXXX chown XXXX /home/XXXX su - XXXX 访问OBS,无需再配置AK、SK和Endpoint。 OBS路径格式:obs://OBS并行文件系统名称/XXX hadoop fs -ls "obs://obs-example/job/hadoop-mapreduce-examples-3
Pipeline的Java/Scala示例程序。 本样例中一个发布者Job自己每秒钟产生10000条数据,另外两个Job作为订阅者,分别订阅一份数据。订阅者收到数据之后将其转化格式,并抽样打印输出。 FlinkPipelineScalaExample FlinkSqlJavaExample 使用客户端通过jar作业提交SQL作业的应用开发示例。
Pipeline的Java/Scala示例程序。 本样例中一个发布者Job自己每秒钟产生10000条数据,另外两个Job作为订阅者,分别订阅一份数据。订阅者收到数据之后将其转化格式,并抽样打印输出。 FlinkPipelineScalaExample FlinkSqlJavaExample 使用客户端通过jar作业提交SQL作业的应用开发示例。
String 参数解释: 资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制:
族名称 备集群ID 表名 开始时间必须早于结束时间 开始时间和结束时间需要填写时间戳的格式,例如执行date -d "2015-09-30 00:00:00" +%s将普通时间转化为时间戳格式。 指定主备集群写数据状态。 在主集群hbase shell界面,使用“hbase”用户执行以下命令保持写数据状态。
执行权限。单击“确定”,等待下载完成后,使用omm用户或root用户将获取的软件包复制到将要安装客户端的服务器文件目录。 客户端软件包名称格式为:“FusionInsight_Cluster_<集群ID>_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。
String 参数解释: 资源计划的起始时间,格式为“hour:minute”,表示时间在0:00-23:59之间。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time 是 String 参数解释: 资源计划的结束时间,格式与“start_time”相同。 约束限制:
解决扩容的节点ssh key不清理问题 大数据组件 解决Hive表存在多个TIMESTAP字段,在插入时存在某个字段不是时间格式会导致原来能够是时间格式的数据显示错位问题 解决Hive表int列分区,值为01场景,无法删除分区问题 解决FlinkServer页面单击任务详情,业务不能正常跳转问题
template_id 否 String 参数解释: 当集群类型为CUSTOM时,用于指定节点部署所使用的模板。 约束限制: 不涉及 取值范围: mgmt_control_combined_v2:管控合设模板,管理角色和控制角色共同部署在Master节点中,数据实例合设在同一节点组。该部署方式适用于100个以下的节点,可以减少成本。
”。 单击“新增访问密钥”申请新密钥,按照提示输入密码与验证码之后,浏览器自动下载一个“credentials.csv”文件,文件为csv格式,以英文逗号分隔,中间的为AK,最后一个为SK。 AK信息 SK信息 1 obs://obs-demo-analysis-hwt4/input/
gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 source_info String 参数解释: 数据源信息,为json格式。 约束限制: 不涉及。 取值范围: 不涉及 默认取值: 不涉及 connector_id String 参数解释: 数据连接ID。 约束限制:
单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。 客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。
<checkPointDir>指应用程序结果备份到HDFS的路径,自行指定即可,例如“/tmp”。 <brokers>指获取元数据的Kafka地址,格式为“Broker实例IP地址:Kafka连接端口”。 <topic>指读取Kafka上的topic名称。 <batchTime>指Stre
ert|analyze操作前需要单独对hdfs上的表目录赋予写权限。 当前对spark datasource表赋予Insert权限时,若表格式为:text|csv|json|parquet|orc,则不会修改表目录的权限。因此,对以上几种类型的datasource表赋予Inser