检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传1生成的Jar包,“Main Class”选择“指定”,并在下面的类名填写要执行的类,然后单击“提交”。
在“src\main\resources”路径下找到“application.properties”配置文件,在该文件中新增以下内容: 执行GaussDB(DWS)样例 spring.datasource.dws.url=jdbc:postgresql://dws节点IP地址:8000
JDBC_INSERT_BOLT"; private static final String JDBC_LOOKUP_BOLT = "JDBC_LOOKUP_BOLT"; @SuppressWarnings ("unchecked") public static void main
MetaspaceSize=128M -XX:MaxMetaspaceSize=128M -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=65 -XX:+PrintGCDetails
修改如下参数值,切换JDBCServer实例至多实例模式: 参数名称 值 spark.scheduler.allocation.file #{conf_dir}/fairscheduler.xml spark.thriftserver.proxy.enabled false 保存配置
HDFS HA架构 HA即为High Availability,用于解决NameNode单点故障问题,该特性通过主备的方式为主NameNode提供一个备用者,一旦主NameNode出现故障,可以迅速切换至备NameNode,从而不间断对外提供服务。
#According to the date and number of days to get the date of the import file. date.day = 1 #Date Format.Import file name contains the date format.Format
表2 配置Guardian参数 参数 示例 含义 token.server.access.iam.domain.id xxx 访问IAM的用户对应的账号 ID。 参考获取账号ID信息获取账号ID信息。
#According to the date and number of days to get the date of the import file. date.day = 1 #Date Format.Import file name contains the date format.Format
(普通模式不涉及) 在修改集群域名后,需要重新下载客户端,以保证客户端配置文件中kerberos.domain.name配置为正确的服务端域名。 使用Kafka客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
若配置的动作为”拦截”,当系统识别到SQL语句满足防御规则后,SQL任务将被拦截,不会继续运行,系统回显信息如下: Error: Error while compiling statement: FAILED: RuleException DYNAMIC_0004 Self-read
test -c 设置程序入口点的类名(如“main”或“getPlan()”方法)。该参数仅在jar程序未指定其清单的类时需要。 com.bigdata.mrs.test 确认作业配置信息,单击“确定”,完成作业的新增。
io.XXXsql.jdbc.XXXDriver"); } /** * Program entry * * @param args no need program parameter */ public static void main
不支持Surrogate Pair编码方式。例如,\ uD800 \ uDC00不被视为U + 10000,必须将其指定为\ x {10000}。 边界字符(\b)无法被正确处理,因为它一个不带基字符的非间距标记。
ANALYZE TABLE 查询(Select)、插入(Insert) SHOW COLUMNS 查询(Select) SHOW TABLE STATUS 查询(Select) SHOW TABLE PROPERTIES 查询(Select) SELECT 查询(Select) EXPLAIN
表2 配置Guardian参数 参数 含义 取值 token.server.access.iam.domain.id 访问IAM的用户对应的账号ID。 参考获取账号ID信息获取账号ID信息。
val file = sc.textFile("hdfs://...") val errors = file.filter(_.contains("ERROR")) errors.cache() errors.count() textFile算子从HDFS读取日志文件,返回file
flink stop -d,--drain:在触发savepoint和停止作业之前,发送MAX_WATERMARK。 -p,--savepointPath <savepointPath>:savepoint的储存路径,默认目录state.savepoints.dir。
public static void main(String[] args) throws IOException { init(); dfsAdmin = new DFSColocationAdmin(conf); dfs = new DFSColocationClient
Yarn ResourceManager长时间运行后发现大量ContainerIdPBImpl对象占用内存,可能是内存泄漏。 HDFS客户端leaserenewer线程泄漏。 HDFS重启后权限属性丢失,导致数据无法读取。 备NameNnode处于安全模式,但集群没有上报告警。