检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果Streaming应用中使用了state函数,则不允许开启对接Kafka可靠性功能。 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.streaming.Kafka.reliability Spark Streaming对接Kafka是否开启可靠性功能:
val resultValue = hiveValue + hbaseValue.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
1版本为例: 在pom.xml文件中添加“<properties>”参数,填写变量,方便后面统一修改版本。 在“dependencies”参数中设置各个jar包的版本的时候可以直接使用上述定义的参数传递。 如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。
执行以下命令,修改系统用户密码。 kpasswd 系统用户名称 例如修改系统用户“test1”密码。 kpasswd test1 根据界面提示输入原始密码后重新设置新密码,默认密码复杂度要求: 密码字符长度至少为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~`
等待5分钟后,在“告警管理”页签,查看该告警是否恢复。 是,处理完毕。 否,执行5。 收集故障信息。 在MRS Manager界面,单击“系统设置 > 日志导出”。 请联系运维人员,并发送已收集的故障日志信息。 参考信息 无。 父主题: MRS集群告警处理参考
在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Mapreduce”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
1版本为例: 在pom.xml文件中添加“<properties>”参数,填写变量,方便后面统一修改版本。 在“dependencies”参数中设置各个jar包的版本的时候可以直接使用上述定义的参数传递。 如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。
val resultValue = hiveValue + hbaseValue.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
/tmp 按照如下示例,在Hive客户端创建关联关系型数据库的外表。 -- 关联oracle linux6版本示例 -- 如果是安全模式,需设置admin权限 set role admin; -- 添加连接关系型数据库的驱动Jar包,不同数据库有不同的驱动Jar ADD JAR hdfs:///tmp/ojdbc6
不支持涉及直接读写HDFS的操作的脱敏。 不支持复杂数据类型array、map、struct的脱敏。 自定义脱敏策略仅支持字符串类型字段,且脱敏后的值会强制设置为“***”。 脱敏策略传递时,若目标表已有脱敏策略且与源表有冲突,则目标表脱敏策略强制重置为“Custom:“***””。 简单的未提交
上,Doris不会清理这些文件,需要手动清理。 导出命令的超时时间同查询的超时时间,可以通过SET query_timeout=xxx进行设置。 对于结果集为空的查询,依然会产生一个大小为0的文件。 文件切分会保证一行数据完整的存储在单一文件中,因此文件的大小并不严格等max_file_size。
如果是安全模式,建表的用户需要“ADMIN”权限,ADD JAR的路径请以实际路径为准。 -- 关联oracle linux6版本示例 -- 如果是安全模式,设置admin权限 set role admin; -- 添加连接关系型数据库的驱动jar包,不同数据库有不同的驱动JAR ADD JAR hdfs:///tmp/ojdbc6
1版本为例: 在pom.xml文件中添加“<properties>”参数,填写变量,方便后面统一修改版本。 在“dependencies”参数中设置各个jar包的版本的时候可以直接使用上述定义的参数传递。 如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。
val resultValue = hiveValue + hbaseValue.toInt // 设置结果到put对象 put.addColumn(Bytes.toBytes(columnFamily), Bytes.toBytes("cid")
在“服务”中勾选“Controller”和“NodeAgent”,在主机中勾选主备OMS节点及告警上报节点主机,单击“确定”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
下载”。 在“服务”中勾选操作集群的“HetuEngine”,单击“确定”。 在“主机”中勾选对应角色所在的主机,单击“确定”。 单击右上角的,设置日志收集的“开始时间”和“结束时间”,分别为告警产生时间的前后30分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
1版本为例: 在pom.xml文件中添加“<properties>”参数,填写变量,方便后面统一修改版本。 在“dependencies”参数中设置各个jar包的版本的时候可以直接使用上述定义的参数传递。 如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。
使用序号指定加密列时,序号从0开始。0代表第1列,1代表第2列,依次类推。 创建列加密表时,表所在的目录必须是空目录。 使用insert语句向设置列加密的表中导入数据。 假设test表已存在且有数据: insert into table <table_name> select <col_list>
[nameservice ID] 利用已通过的协议创建namenode代理的Client Failover proxy provider类。 将参数值设置为“org.apache.hadoop.hdfs.server.namenode.ha.BlackListingFailoverProxyProvider”,
“图表”中的“租户CPU占用率平均值”的具体数值表示当前租户查询任务占用所有BE节点CPU资源的时间占比平均值。 由于排队设计不感知FE的个数,所以租户设置的并发数只在FE粒度生效,因此,“图表”中的“租户查询并发数总和”代表租户整体的并发情况。 服务级别监控 在FusionInsight Manager首页,选择“集群