检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
持“*”通配符,例如:192.168.1.10,192.168.1.20或者192.168.1.*。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 database 适用该策略的Spark2x数据库名称。 “Include”策略适用于当
不涉及 min_capacity 是 Integer 参数解释: 指定该节点组的最小保留节点数。 约束限制: 不涉及 取值范围: 0-500 默认取值: 不涉及 max_capacity 是 Integer 参数解释: 指定该节点组的最大节点数。 约束限制: 不涉及 取值范围: 0-500
Array of strings 参数解释: 缩容Task节点时指定待删除Task节点的ID列表。 约束限制: 当scale_type为扩容时,该参数不生效。 当scale_type为缩容且该参数不为空时,删除指定的Task节点。 当scale_type为缩容且server_id
在Spark应用程序运行节点,执行如下命令使用Spark Launcher方式提交。之后,可通过Spark WebUI查看运行情况,或通过获取指定文件查看运行结果,可参见在Linux环境中查看Spark程序调测结果。 java -cp $SPARK_HOME/conf:$SPARK_
运行Python样例程序 由于Python样例代码中未给出认证信息,请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。 bin/spark-submit --master yarn --deploy-mode client --keytab /opt/FIclient/user
产生告警的元素类型。 部件名 产生告警的元素名称。 对系统的影响 Flume Channel的磁盘空间使用量有继续增长的趋势,将会使数据导入到指定目的地的时间增长,当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume
ta2 -R和chown omm:wheel ${BIGDATA_DATA_HOME}/data2 -R。 在Manager管理界面,单击指定的NodeManager实例并切换到“实例配置”。 将配置项“yarn.nodemanager.local-dirs”或“yarn.nodemanager
begin_lon, begin_lat, ts from hudi_incr_table where fare > 20.0").show() 进行指定时间点提交的查询。 val beginTime = "000" val endTime = commits(commits.length -
运行Python样例程序 由于Python样例代码中未给出认证信息,请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。 bin/spark-submit --master yarn --deploy-mode client --keytab /opt/FIclient/user
在Spark应用程序运行节点,执行如下命令使用Spark Launcher方式提交。之后,可通过Spark WebUI查看运行情况,或通过获取指定文件查看运行结果。 java -cp $SPARK_HOME/conf:$SPARK_HOME/jars/*:SparkLauncherExample
的问题 解决Hive配置Redis缓存频繁访问表key导致Redis热键问题 解决磁盘写速率和磁盘读速率两个指标无法正常上报问题 解决查看指定时间段内的资源概况,监控数据部分缺失问题 解决NameNode退服缓存残留问题 解决Metastore监控指标缺失问题 解决认证krb_test_user失败问题
MRS集群节点OS盘分区说明 分区类型 分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。 /tmp 10GB 临时文件存放目录。 /var 10GB 操作系统运行目录。 /var/log OS盘剩余空间都分配给“/var/log”分区
true(默认值):添加随机后缀。 false:不添加随机后缀。 metrics.reporter.aom.groupingKey - 否 指定分组键,是所有指标的分组和全局标签,以“k1=v1,k2=v2”的形式传入。 通过FlinkResource对接AOM。 选择“FlinkResource(角色)
安装前处理 如果MRS集群节点故障或者网络不通,需要先隔离该节点,否则补丁会安装失败。 新特性 CDL支持表字段大写。 Flink写网易DDB时支持指定拆分键。 Flink支持upsertkafka监控数据写入influxdb。 Flink流读Hudi支持消息滞留时间、消息堆积时间监控。
持“*”通配符,例如:192.168.1.10,192.168.1.20或者192.168.1.*。 Policy Label 为当前策略指定一个标签,可以根据这些标签搜索报告和筛选策略。 Resource Path 资源路径,配置当前策略适用的HDFS路径文件夹或文件,可填写多
执行以下命令进入安装包所在目录,安装客户端: cd FusionInsight_Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录(绝对路径),例如安装到“/opt/client”目录,等待客户端安装完成。 ./install.sh /opt/client ...
FE实例IP地址:HTTP端口/api/{数据库名}/{表名}/_stream_load -H "label:table1_20230217"表示,指定导入数据标签为table1_20230217,不指定时系统会自动生成。 -H "column_separator:,"表示,CSV文件中多字段值的分隔符为逗号,可根据实际数据格式调整分隔符。
据时,确保HDFS/OBS输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤
3) 数组 ARRAY_ELEM 通过下标访问数组。 ARRAY_ELEM(ARRAY[1,2,3], 1) ARRAY_PREPEND 指定位置插入数据到数组。 ARRAY_APPEND(ARRAY[1,2,3], 4) ARRAY_CAT 连接数组。 ARRAY_CAT(ARRAY[1
Config conf = new Config(); //将客户端配置的plugin列表写入config指定项中,安全模式必配 conf.put(Config.TOPOLOGY_AUTO_CREDENTIALS, auto_tgts);