检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDK需进行安全加固,具体操作如下。 到Oracle官方网站获取与JDK版本对应的JCE(Java Cryptography Extension)文件。JCE文件解压后包含“local_policy.jar”和“US_export_policy.jar”。拷贝jar包到如下路径。 Linux:
Doris数据变更规范 该章节主要介绍Doris数据变更时需遵循的规则和建议。 Doris数据变更规则 应用程序不能直接使用delete或者update语句变更数据,可以使用CDC的upsert方式来实现。 不建议业务高峰期或在表上频繁的进行加减字段,建议在业务前期规划建表时预留
接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
-xdev -size +500M -exec ls -l {} \;,查看该节点上超过500MB的文件,查看该磁盘中,是否有误写入的大文件存在。 是,执行11。 否,执行12。 处理该误写入的文件,并等待2分钟,查看告警是否清除。 是,执行完毕。 否,执行12。 联系磁盘管理员,对磁盘进行扩容。
网络 确保本地与Kafka服务所在的VPC的至少一个节点在网络上互通。 访问云服务器的安全认证 本地可以通过密钥或密码方式登录访问Linux弹性云服务器 父主题: 准备Kafka应用开发环境
ALM-16007 Hive GC 时间超出阈值 告警解释 系统每60秒周期性检测Hive服务的GC时间,当检测到Hive服务的GC时间超出阈值(连续3次检测超过12秒)时产生该告警。用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Hive”修改阈值。当Hive
除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程 在“New Project”页面选择“Java”,然后配置工程需要的J
除了导入MapReduce样例工程,您还可以使用IntelliJ IDEA新建一个MapReduce工程。 操作步骤 打开IntelliJ IDEA工具,选择“File > New > Project”,如图1所示。 图1 创建工程 在“New Project”页面选择“Java”,然后配置工程需要的J
(args.length >= 2) { // 用户更改了默认的keytab文件名,这里需要将新的keytab文件名通过参数传入 conf.put(Config.TOPOLOGY_KEYTAB_FILE, args[1]); } // 定义KafkaSpout KafkaSpout
配置HetuEngine物化视图的有效期与数据刷新能力 物化视图的有效期 创建物化视图的“mv_validity”字段为物化视图的有效期,HetuEngine只会使用有效期内的物化视图进行自动改写。 物化视图的数据刷新 如果需要数据定期更新,需要定时刷新物化视图,可以使用如下两种方式实现:
jar。add jar所指定的路径可以是本地路径也可以是HDFS上的路径。 场景二: show functions会从外部的Catalog获取当前database中所有的function。SQL中使用function时,JDBCServer会加载该function对应的jar。 如果jar不存
jar。add jar所指定的路径可以是本地路径也可以是HDFS上的路径。 场景二: show functions会从外部的Catalog获取当前database中所有的function。SQL中使用function时,JDBCServer会加载该function对应的jar。 若jar不存在
xml”、“hiveclient.properties”文件放到样例工程的“hive-jdbc-example-multizk\src\main\resources”目录下。 检查并修改resources目录下hiveclient.properties文件中“zk.port”和“zk.quorum”参数的值:
值pid_max。 若PID使用率超过阈值,则编辑“/etc/sysctl.conf”文件,将“kernel.pid_max”参数值增大为3查询到的pid_max值的一倍,若无该参数则请在文件末尾添加。 例如修改参数为“kernel.pid_max=65536”,然后执行以下命令使参数立即生效。
xml”、“hiveclient.properties”文件放到样例工程的“hive-jdbc-example-multizk\src\main\resources”目录下。 检查并修改resources目录下hiveclient.properties文件中“zk.port”和“zk.quorum”参数的值:
ClickHouse集群业务规划 集群规模 建议单集群不超过256节点规模。 集群负载 对于不同业务负载的业务,需要分开集群部署,便于不同负载的业务进行资源隔离。 集群并发 由于ClickHouse单个SQL会最大化使用每个主机上的CPU/内存/IO资源,对于复杂SQL查询(复杂
tWAL无法完成,则会再次提交相同的任务,在一定时间内多次提交了相同的任务,当其中某次任务执行完毕时会删除这个temp文件,所以在后来的任务执行时无法找到这个文件,故出现FileNotFoudException。需做如下调整: 当前“hbase.splitlog.manager.
使用广播变量 操作场景 Broadcast(广播)可以把数据集合分发到每一个节点上,Spark任务在执行过程中要使用这个数据集合时,就会在本地查找Broadcast过来的数据集合。如果不使用Broadcast,每次任务需要数据集合时,都会把数据序列化到任务里面,不但耗时,还使任务变得很大。
force命令,停止FlumeClient。 执行vi ../conf/log4j.properties命令,打开log4j.properties文件,修改“flume.root.logger”的取值为“${flume.log.level},console”。 执行./flume-manage
配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.MrsObsCredentialsProvider:通过MRS云服务委托获取凭证。