正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在opengauss数据库中对表进行插入数据操作,查看Hudi导入的文件内容。 父主题: 创建CDL作业
到channel被终止后认为driver失联,然后整个应用停止。 解决办法:在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间(spark.rpc.io.connectionTimeout)大于或等于RPC响应超时时间(spark
若“col3”为分区列,其distinct(去重)的count值为3,“hive.max-partitions-per-writers”的值建议大于或等于3。 若结果表有多个分区列,如“col2”和“col3”都是分区列,“col2”的distinct的count值为4,“col3”的distinct的count值为3,则“hive
server的WAL分割,以避免数据不一致问题。一旦WAL分割完成,HMaster将进行用户region的分配。所以当在集群异常的场景下,WAL分割可能需要很长时间,这取决于多个因素,例如太多的WALs,较慢的I/O,region servers不稳定等。 为确保HMaster能够成功完成所有region server
3.x及之后版本集群的Manager操作,请单击,在弹出的确认窗中输入当前登录的用户密码确认身份,单击“确定”。 在弹出的窗口中,选择一个或多个需要恢复数据的组件,单击“确定”,等待系统自动恢复租户数据。 父主题: 管理MRS租户资源
process Result instance } 不要关闭WAL WAL是Write-Ahead-Log的简称,是指数据在入库之前,首先会写入到日志文件中,借此来确保数据的安全性。 WAL功能默认是开启的,但是,在Put类中提供了关闭WAL功能的接口: public void setWriteToWAL(boolean
用户资源最小上限百分比 (%) 表示用户使用的最小资源上限百分比。 任何时刻,一个队列中每个用户可使用的资源量均有一定的限制。当一个队列中同时运行多个用户的应用程序时,每个用户的使用资源量在一个最小值和最大值之间浮动,其中,最小值取决于正在运行的应用程序数目,而最大值则由此参数决定。 比
catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSFabric_IP:HSFabric_Port是HSFabric的URL,多个URL以逗号隔开。例如:“192.168.81.37:29902,192.168.195.232:29902,192.168.169.84:29902”。
如果设置Yarn角色时仅勾选到某个父队列的“提交”权限,使用拥有该角色权限的用户提交任务时,注意需要手动指定队列名称,否则当父队列下有多个子队列时,系统并不会自动判断,从而将任务提交到了“default”队列。 单击“确定”完成。 父主题: Yarn用户权限管理
apJoin,执行MapJoin时会生成localtask任务,localtask启动的jvm内存继承了父进程的内存。 当有多个join执行的时候,启动多个localtask,如果机器内存不够,就会导致启动localtask失败。 解决办法 进入Hive服务配置页面: MRS 3
catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSBroker_IP:HSBroker_Port是HSBroker的URL,多个URL以逗号隔开。例如:“192.168.81.37:2181,192.168.195.232:2181,192.168.169.84:2181”
ter的默认Kafka集群,用户也可以在KafkaManager的WebUI界面自行添加已经通过MRS控制台创建的Kafka集群,用于管理多个Kafka集群。 登录KafkaManager的WebUI界面。 在页面上方选择“Cluster > Add Cluster” 。 图1 添加集群
UI上进入到Topology界面,再单击进入要调试组件界面。 图1 进入拓扑的Component界面 在组件页面获取worker进程运行的主机ip地址,如果有多个则任选一个。 图2 获取Worker运行的主机 打开IDEA工程,在菜单栏中选择“Run > Edit Configurations”。
-release-1.12/dev/table/index.html。 Stream SQL Join介绍 SQL Join用于根据两个或多个表中的列之间的关系,从这些表中查询数据。Flink Stream SQL Join允许对两个流式table进行Join,并从中查询结果。支持类似于以下内容的查询:
LDAP用户pg_search_dn的密码为系统随机生成,具体可在主节点的“/etc/sssd/sssd.conf”或“/etc/ldap.conf”文件中获取。 修改MRS集群LDAP普通用户密码 MRS 3.1.0版本: 登录FusionInsight Manager,选择“集群 > 服务
er Server启动失败。 参考修改集群服务配置参数章节,进入ZooKeeper服务“全部配置”页面。不断尝试调大ZooKeeper配置文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。 表1 参数说明 参数
切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过class文件找到执行jar包,该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在PgSQL数据库中对表进行插入数据操作,查看Hudi导入的文件内容。 父主题: 创建CDL作业
引和组合索引的用户表,使用过滤器查询的结果与没有使用索引的表相同,但数据查询性能高于没有使用索引的表。 索引的使用规则如下: 对于为一个或多个列创建单个索引的情况: 当将此列用于AND或OR查询筛选时,使用索引可以提高查询性能。 例如,Filter_Condition(IndexCol1)AND
/** *从Kafka的一个或多个主题消息。 * <checkPointDir>是Spark Streaming检查点目录。 * <brokers>是用于自举,制作人只会使用它来获取元数据 * <topics>是要消费的一个或多个kafka主题的列表 * <batchTime>是Spark