检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
取消和停止作业的区别如下: 取消作业:执行“cancel”命令时,指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止,Flink会定期开始中断执行线程直至作业停止。 停止作业:“stop”命令仅适用于Flink源(source)实现了Stoppabl
或者对core节点进行缩容)过程中,因为Master节点重启或者nodeagent进程意外退出等情况出现,使得退服(或缩容)任务失败,并且没有进行黑名单清理。此时DataNode节点会一直处于退服中的状态,需要人工介入进行黑名单清理。 处理步骤 进入服务实例界面。 MRS Manager界面操作:
取消和停止作业的区别如下: 取消作业:执行“cancel”命令时,指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止,Flink会定期开始中断执行线程直至作业停止。 停止作业:“stop”命令仅适用于Flink源(source)实现了Stoppabl
取消和停止作业的区别如下: 取消作业:执行“cancel”命令时,指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止,Flink会定期开始中断执行线程直至作业停止。 停止作业:“stop”命令仅适用于Flink源(source)实现了Stoppabl
取消和停止作业的区别如下: 取消作业:执行“cancel”命令时,指定作业会立即收到cancel()方法调用ASAP。如果调用结束后作业仍然没有停止,Flink会定期开始中断执行线程直至作业停止。 停止作业:“stop”命令仅适用于Flink源(source)实现了Stoppabl
在倾斜,以及查询条件值在表中不存在等场景,可能调整出非优化的Join顺序。 开启列统计信息自动收集时,需要在Reduce侧做聚合统计。对于没有Reduce阶段的insert任务,将会多出Reduce阶段,用于收集统计信息。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。
Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径权限,将提示缺少权限,实际创建数据库成功。 MRS对接LakeFormation后,权限策略约束限制: 通过L
ConfigNode进程使用的直接内存大小可以通过“定制 > 内存 > ConfigNode直接内存资源状况”获取。 若“GC_OPTS”中没有参数“-XX:MaxDirectMemorySize”,则需进行手动添加。 重启受影响的IoTDB服务或实例,观察界面告警是否清除。 是,处理完毕。
服务级别关注组件是否能够提供正常的服务。 主机级别关注主机的一系列指标是否正常。 本章节指导用户在日常运维中完成集群健康检查的工作,以保证集群各项参数、配置以及监控没有异常、能够长时间稳定运行。 执行MRS集群健康检查前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”
Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。 Spark使用小权限用户登录客户端创建数据库时,如果用户没有default库的OBS路径权限,将提示缺少权限,实际创建数据库成功。 MRS对接LakeFormation后,权限策略约束限制: 通过L
com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。
bad.lines:指定值为“false”,表示遇到不适用的行则停止执行。指定值为“true”,表示遇到不适用的数据行则跳过该行继续执行,如果没有在“configuration.xml”中定义不适用行,该参数不需要添加。 -Dimport.separator:分隔符,例如,-Dimport
的位置信息。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作,使用Hive客户端对Hive表进行操作。 管理Hive元数据表
的磁盘名称。 例如执行: lsscsi | grep "/dev/sda" 如果命令执行结果第三列显示ATA、SATA或者SAS,说明磁盘没有建立RAID;显示其他信息,则该磁盘可能建立了RAID。 是,执行12。 否,执行8。 执行smartctl -i /dev/sd[x]命令检查硬件是否支持smart。
bad.lines:指定值为“false”,表示遇到不适用的行则停止执行。指定值为“true”,表示遇到不适用的数据行则跳过该行继续执行,如果没有在“configuration.xml”中定义不适用行,该参数不需要添加。 -Dimport.separator:分隔符,例如,-Dimport
ZooKeeper集群信息,格式为IP:port。 {partitionNum} topic的分区数。 {replicationNum} topic中每个partition数据的副本数。 {Topic} Topic名称。 示例:在Kafka的客户端路径下执行命令,此处以ZooKeeper集群的IP:port是10
sh --zookeeper <zookeeper_host:port>/kafka --list bin/kafka-consumer-groups.sh --zookeeper <zookeeper_host:port>/kafka --describe --group test-consumer-group
使用Alluixo Alluixo在HA模式下出现Does not contain a valid host:port authority报错
LS/SSL)。 false true或false --ldap_uri-ip ldap ip - - --ldap_uri-port ldap port 389 - --max_log_files 进程日志的最大文件个数。 10 - --max_log_size 进程的日志文件大小最大值,单位
业务2的数据通过socket接收消息记录,可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>,启动一个简易的文本服务器。 启动应用程序连接netcat监听的port成功后,向netcat终端输入数据信息。 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。