检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
security.auth.login.config={LocalPath}/jaas.conf" 在“jaas.conf”中指定Keytab和Prinical,示例如下: Client { com.sun.security.auth.module.Krb5LoginModule required
构造Table1,保证topic与producer一致。 从soket中读取数据,构造Table2。 使用Flink SQL对Table1和Table2进行联合查询,并进行打印。 父主题: Flink Join样例程序
在“服务”中勾选操作集群的“IoTDB”,单击“确定”。 在“主机”勾选1查看到的主机,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
构造Table1,保证topic与producer一致。 从soket中读取数据,构造Table2。 使用Flink SQL对Table1和Table2进行联合查询,并进行打印。 父主题: Flink Join样例程序
by子句限制了Hive表的Partition数量。增加distribute by 子句后,最终的输出文件数取决于指定列的cardinality和“spark.sql.shuffle.partitions”参数值。但如果distribute by的字段的cardinality值很小,例如,“spark
变得很大。 每个任务分片在执行中都需要同一份数据集合时,就可以把公共数据集Broadcast到每个节点,让每个节点在本地都保存一份。 大表和小表做join操作时可以把小表Broadcast到各个节点,从而就可以把join操作转变成普通的操作,减少了shuffle操作。 操作步骤
MRS 1.8.0版本之前未开启Kerberos认证的集群不支持访问权限细分。只有开启Kerberos认证才有角色管理权限,MRS 1.8.0及之后版本的所有集群均拥有角色管理权限。 MRS 2.1.0及之前版本:在MRS Manager页面选择“系统设置”>“配置”>“权限配置”查询。
当检测到资源组排队数大于阈值时产生该告警。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”) >Presto > resource-groups " 配置资源组。用户可通过"组件管理 > Presto > 服务配置(将“基础配置”切换为“全部配置”)
onData。 创建CarbonData Table 连接到CarbonData之后,需要创建CarbonData table用于加载数据和执行查询操作。 加载数据到CarbonData Table 创建CarbonData table之后,可以从CSV文件加载数据到所创建的table中。
r新建连接则需要重新认证,否则就会执行失败。因此,若长期执行应用过程中需要新建连接,用户需要在“url”中添加user.principal和user.keytab认证信息,以保证每次建立连接时认证成功,例如,“url”中需要加上“user.principal=sparkuser;user
系统”。将“GC_OPTS”参数值根据实际情况调大。 HDFS的文件对象数量(filesystem objects=files+blocks)和NameNode配置的JVM参数的对应关系建议如下: 文件对象数量达到10,000,000,则JVM参数建议配置为:-Xms6G -Xmx6G
Manager页面,选择“运维 > 告警 > 告警”,查找“ALM-45432 ClickHouse用户同步进程故障”告警。 查看该告警详情中涉及的主机名和附加信息。 若附加信息为“Process clickhouse-ugsync is not exit.”,执行3。 若附加信息为“Process
在“服务”中勾选操作集群的“IoTDB”,单击“确定”。 在“主机”勾选1查看到的主机,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
当前版本的Hue组件,不支持导入文件到Hive表时设置多个分隔符。 本章节适用于MRS 3.x及后续版本。 操作步骤 创建表时指定inputFormat和outputFormat: CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name
修改CarbonData表 SET和UNSET 当使用set命令时,所有新set的属性将会覆盖已存在的旧的属性。 SORT SCOPE SET SORT SCOPE命令示例: ALTER TABLE tablename SET TBLPROPERTIES('SORT_SCOPE'='no_sort')
ies.properties”文件。 具体properties.properties参数配置方法,参考配置Flume非加密传输数据采集任务和配置Flume加密传输数据采集任务对应典型场景中properties.properties文件参数列表的说明。 父主题: Flume常见问题
Topology 一个Topology代表用户的一个执行任务。一个Topology由输入(如kafka soruce)、输出(如kafka sink)和多个Data Transformation组成。 CheckPoint CheckPoint是Flink数据处理高可靠、最重要的机制。该机制
在“服务”中勾选操作集群的“IoTDB”,单击“确定”。 在“主机”勾选1查看到的主机,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
-XX:NumberOfGCLogFiles=20 -XX:GCLogFileSize=20M”。 此处默认已经添加GC日志。 操作步骤 优化GC。 调整老年代和新生代的比值。在客户端的“conf/flink-conf.yaml”配置文件中,在“env.java.opts”配置项中添加参数:“-XX:NewRatio”。如“
gionServer/install/hbase/lib目录下面有两个Phoenix包(phoenix-4.14.1-server.jar和phoenix-core-4.14.1.jar)包含这个类。 使用scp命令将上述两个包拷贝到异常RegionServer节点上相同目录下,