检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“MetaStore(角色) > 自定义”,对参数文件“hivemetastore-site.xml”添加自定义参数,设置“名称”为“hive.mapreduce.per.task.max.s
derr、stdin及syslog文件。要新增目录,比如新增/srv/BigData/yarn/data2/nm/containerlogs目录,应首先删除/srv/BigData/yarn/data2/nm/containerlogs下的文件。之后,为/srv/BigData/
况下,当日志大小超过1MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>_<编号>.gz”。最多保留最近的20个压缩文件。 日志归档规则用户不能修改。 表1 DBService日志列表 日志类型 日志文件名 描述 DBServer运行相关日志 dbservice_serviceCheck
用户及该用户的user.keytab、krb5.conf为示例,实际操作时请联系管理员获取相应权限的账号以及对应账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
查看“ips.ini”文件中是否配置了集群所有节点IP地址,如果配置了请执行3.c,否则添加节点IP地址到该文件中: cd /root/MRS_3x_Patch_Diskmgt_v2.1_20230322/ vim ips.ini 执行脚本卸载补丁,需要保证私钥文件“/tmp/xxxx
tWAL无法完成,则会再次提交相同的任务,在一定时间内多次提交了相同的任务,当其中某次任务执行完毕时会删除这个temp文件,所以在后来的任务执行时无法找到这个文件,故出现FileNotFoudException。需做如下调整: 当前“hbase.splitlog.manager.
max_running_application_per_user int 每个使用者运行应用的最大数量。 max_master_share string 该队列共享的百分比。 max_allocation_unit object 单个container允许的最大资源,该资源以vcores和内存等形式存在。
max_running_application_per_user int 每个使用者运行应用的最大数量。 max_master_share string 该队列共享的百分比。 max_allocation_unit object 单个container允许的最大资源,该资源以vcores和内存等形式存在。
Hudi clean与archive逻辑解耦,不执行clean也能执行归档。 解决Hudi的.schema目录下文件找不到的问题。 解决Hudi clean触发时偶现文件mv to trash失败,导致.clean为空,影响Flink流读作业的问题。 Hudi支持changelog特性。
TA_HOME}/FusionInsight_ClickHouse_*/*_ClickHouseServer/etc/users.xml”文件中参数“password_sha256_hex”的值,即为存储修改后的密码。 cd ${BIGDATA_HOME}/FusionInsig
Major合并,详见合并Segments。 SEGMENT_INDEX 这会将一个segment内的所有Carbon索引文件(.carbonindex)合并为一个Carbon索引合并文件(.carbonindexmerge)。 这增强了首次查询性能。详见表1。 CUSTOM Custom合并,详见合并Segments。
STATISTICS 生成sizeInBytes和rowCount。 使用ANALYZE语句收集统计信息时,无法计算非HDFS数据源的表的文件大小。 生成表级别统计信息(不扫表): ANALYZE TABLE src COMPUTE STATISTICS NOSCAN 只生成si
用户在Ranger WebUI上对指定service设置权限策略,Ranger插件会定期从RangerAdmin处更新策略并缓存在组件本地文件,当有客户端请求需要进行鉴权时,Ranger插件会对请求中携带的用户在策略中进行匹配,随后返回接受或拒绝。 UserSync用户同步 Us
接口参数说明 命令 参数 含义 oozie version 无 显示Oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
并写入Doris 离线数据加载:通过Spark视图读取Hive外表数据并写入Doris 离线数据加载:通过StreamLoad将本地CSV文件导入Doris 离线数据加载:通过Broker Load将ORC格式的Hive数据导入Doris 实时数据加载:通过FlinkSQL将订单表Kafka数据实时同步到Doris
在重连接执行计划代价比较中维度(行数)所占的比重:行数 * 比重 + 文件大小 *(1 - 比重)。 0.7 0-1 spark.sql.statistics.size.autoUpdate.enabled 开启当表的数据发生变化时,自动更新表的大小信息。注意如果表的数据文件总数量非常多时,这个操作会非常耗费资源,减慢对数据的操作速度。
-xdev -size +500M -exec ls -l {} \;,查看该节点上超过500MB的文件,查看该磁盘中,是否有误写入的大文件存在。 是,执行11。 否,执行12。 处理该误写入的文件,并等待2分钟,查看告警是否清除。 是,执行完毕。 否,执行12。 联系磁盘管理员,对磁盘进行扩容。
UI界面排版优化 MRS Manager操作及显示易用性优化 MRS Manager增加大数据服务滚动重启能力 MRS Manager新增文件句柄数量监控 MRS Manager新增大数据组件发生重启事件上报 MRS 镜像 解决ECS VNC登录不停打印输出问题 解决操作系统日志转储配置问题