检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
doop/common/lib/gsjdbc4-*.jar /tmp 报错中type为12时:调整数据库的pg_hba.conf文件,将address改成sqoop所在节点的ip。 场景二:(export场景)使用sqoop export命令抽取开源postgre到MRS hdfs或hive等。
客户端使用类 如何关闭ZooKeeper的SASL认证? 在MRS集群外客户端中执行kinit报错“Permission denied”如何处理? ClickHouse客户端执行SQL查询时报内存不足如何处理? MRS如何连接spark-shell? MRS如何连接spark-beeline?
准备好自定义jar包,并上传到客户端节点。本操作以“spark-test.jar”为例,上传到客户端节点“/tmp”目录下。 配置参数 以客户端安装用户,登录安装客户端的节点,执行如下命令: cd {客户端安装目录} source bigdata_env 如果集群已启用Kerberos认证(安全模式),执行以
避免并发使用同一个客户端连接 IoTDB客户端只能连接一个IoTDBServer,大量并发使用同一个客户端会对该客户端连接的IoTDBServer造成压力,可以根据业务需求连接多个不同的客户端来达到负载均衡。 使用SessionPool复用连接 分布式在Session内部做了缓存,实现客户端时
点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式: export 变量名=变量值 示例: JAVA_OPTS="-Xms2G -Xmx4G
系统可用内存”, 否则会导致IoTDB启动失败。 查询场景调优举例:如果查询的范围比较大,单个序列10000个点以上,JVM分配内存的20% / 序列数 > 160K,即为默认配置下存储引擎对查询最友好的状态。 序列和内存大小举例:500万序列,对应内存配置为:-Xms128G -Xmx128G
检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。 否,检查结束。 检查集群是否有安装紧急补丁 登录客户集群的主备节点,进入“/home/omm”目录。 查看是否存在紧急补丁的目录,例如MRSxxx或者xxxpatch。
>配置 > 全部配置”。搜索参数项“clickhouse-config-customize”添加名称为“mysql_port”,值为“9004”的参数值。 参数值可以自行设置。 修改完成后,单击“保存”。 单击“概览”页签,选择“ 更多 > 重启实例”或者“ 更多 > 滚动重启实例”。
FE(角色) > 自定义”,新增自定义参数“broker_timeout_ms”,默认值为10秒,需适当调大该参数值,如1000,并重启配置过期的FE实例。 父主题: Doris常见问题
'>','>=','!>','!<'。 true spark.sql.dropPartitionsInBatch.limit 支持批量删除的最大分区数。 1000 父主题: Spark SQL企业级能力增强
如何开发Flume第三方插件 该操作指导用户进行第三方插件二次开发。 本章节适用于MRS 3.x及之后版本。 将自主研发的代码打成jar包。 安装Flume服务端或者客户端,如安装目录为“/opt/flumeclient”。 建立插件目录布局。 进入“Flume客户端安装目录/f
'test')); 描述 向表中插入新的数据行。 如果指定了列名列表,那么这些列名列表必须与query语句产生列表名完全匹配。表中不在列名列表中的每一列,其值会设置为null。 如果没有指定列名列表,则query语句产生的列必须与将要插入的列完全匹配。 使用insert into
运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 配置好Flink客户端,具体配置参考从零开始使用Flink的步骤1至步骤4。 启动session。 普通集群(未开启Kerberos认证)
点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式: export 变量名=变量值 示例: JAVA_OPTS="-Xms2G -Xmx4G
自定义”,新增自定义参数“streaming_load_rpc_max_alive_time_sec”,默认值为1200秒,需适当调大该参数值,并重启配置过期的BE实例。 父主题: Doris常见问题
name; 图2 执行结果 可在Yarn上查看执行的任务。 登录FusionInsight Manager页面,选择“集群 > 服务 > Yarn > 概览”,单击“ResourceManager WebUI”后面对应的链接,进入Yarn的WebUI页面,查看对应任务。 图3 作业任务
sh查看当前消费情况。 查看Offset保存在Kafka上的Consumer Group列表: ./kafka-consumer-groups.sh --list --bootstrap-server <Broker的任意一个节点的业务IP:Kafka集群IP端口号> --command-config
properties中的group.id与命令中--group的参数均配置为待查询的group。 Kafka集群IP端口号安全模式下是21007,普通模式下是9092。 使用KafkaUI查看当前消费情况 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight
jar”,与开源PgSQL服务不兼容导致报错。 处理步骤 用户在“pg_hba.conf”文件配置白名单。 驱动重复,集群自带,将其余驱动清除,所有Core节点上的gsjdbc4 jar包去掉,在sqoop/lib目录下添加PgSQL Jar包即可。 mv /opt/Bigdata/FusionInsi
检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。 否,检查结束。 检查集群是否有安装紧急补丁 登录客户集群的主备节点,进入“/home/omm”目录。 查看是否存在紧急补丁的目录,例如MRSxxx或者xxxpatch。