检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
c”。否则会导致连接生成的临时文件无法删除,长期会累积产生大量的垃圾文件。 在使用beeline客户端时,如果需要在一行中输入多条语句,语句之间以“;”分隔,需要将“entireLineAsCommand”的值设置为“false”。 设置方法:如果未启动beeline,则执行beeline --entireLin
数据库名 group 创建数据库时使用的用户组 permission 创建数据库时使用的权限 location 数据库的位置 comment 数据库的备注,比如描述 properties 数据库属性 返回结果 参数 描述 database 新创建的数据库的名字 例子 curl -ik
如何在导入Hive表时指定输出的文件压缩格式? 问题现象 如何在导入Hive表时指定输出的文件压缩格式? 处理步骤 当前Hive支持以下几种压缩格式: org.apache.hadoop.io.compress.BZip2Codec org.apache.hadoop.io.compress
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务延迟:主机网络读包丢包率超过阈值时,导致请求响应减慢、业务延迟。
Restart时,升主后的ResourceManager就可以通过加载之前的主ResourceManager的状态信息,并通过接收所有NodeManager上container的状态信息,重构运行状态继续执行。这样应用程序通过定期执行检查点操作保存当前状态信息,就可以避免工作内容的丢失。
core-site文件 开启安全模式时填写此参数。连接hdfs时需要用到的配置。在本地选择1获取的“core-site.xml”文件。 core-site.xml hdfs-site文件 开启安全模式时填写此参数。连接hdfs时需要用到的配置。在本地选择1获取的“hdfs-site.xml”文件。
(Pending)的任务数量,并把挂起状态的任务数量和阈值进行比较。当检测到挂起状态的任务数超过阈值时产生该告警。 用户可通过在MRS Manager中的“系统设置 > 阈值配置 > 服务 > Yarn > 队列root正在挂起的任务 > 队列root正在挂起的任务”修改阈值。
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响到Hive数据的读写,可能导致任务执行变慢,甚至服务异常重启。
Hive管理员权限不支持管理HDFS的权限。 如果数据库中的表或者表中的文件数量比较多,在授权时可能需要等待一段时间。例如表的文件数量为1万时,可能需要等待2分钟。 表2 设置角色 任务场景 角色授权操作 设置Hive管理员权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive”,勾选“Hive管理员权限”。
其值需要被动态添加(add),更新(update)或显示(display)的参数名称。 parameter_value 将要设置的“parameter_name”的新值。 注意事项 以下为分别使用SET和RESET命令进行动态设置或清除操作的属性: 表2 属性描述 属性 描述 hoodie.insert
该章节主要介绍创建Doris表时需遵循的规则和建议。 Doris建表规则 在创建Doris表指定分桶buckets时,每个桶的数据大小应保持在100MB~3GB之间,单分区中最大分桶数量不超过5000。 表数据超过5亿条以上必须设置分区分桶策略。 表的分桶列不要设置太多,一般情况下设置1或2个列即
ding的应用的数量,当root队列上处于pending状态的应用的数量超过60时,触发该告警。 告警属性 告警ID 告警级别 是否自动清除 18023 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。
SparkSQL天然与Hive集成,无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景,通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项;该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中,为后续的跨引擎操作数据以及数据管理提供便利。
告警模块按60秒周期检测Yarn当前挂起的内存量大小,当Yarn上面挂起的内存量大小超过阈值时,触发该告警。挂起的内存量表示当前所有提交的Yarn应用还没有满足的内存量总和。 告警属性 告警ID 告警级别 是否自动清除 18024 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名
系统每小时周期性检测租户所关联的每个目录的空间使用率(每个目录已使用的空间大小/每个目录分配的空间大小),并把每个目录实际的空间使用率和该目录设置的阈值相比较。当检测到租户所关联的目录空间使用率高于该目录设置的阈值时,产生该告警。 当上报告警的目录的空间使用率小于或等于该目录设置的阈值时,告警恢复。
tering都会导致部分或全部数据重写。 列的默认值设置要与列的类型一致,如不一致会进行类型强转,导致默认值精度丢失或者默认值为NULL。 历史数据的默认值与列第一次设置的默认值一致,多次修改列的默认值不会影响历史数据的查询结果。 设置默认值后rollback不能回滚默认值配置。
402653184 B = 384 MB 可能原因 目录配置的剩余的空间小于写文件实际需要的空间。 原因分析 HDFS支持设置某目录的配额,即限制某目录下的文件最多占用空间大小,例如如下命令是设置“/tmp/tquota”目录最多写入150MB的文件(文件大小*副本数)。 hadoop dfsadmin
Oozie定时任务没有准时运行如何处理 问题 在Hue或者Oozie客户端设置执行Coordinator定时任务,但没有准时执行。 回答 设置任务时,需要使用UTC时间。 例如在“job.properties”中配置“start=2016-12-20T09:00Z”。 修改配置后重新启动定时任务即可。
(包括修改作业分组的名称、删除指定分组、在指定分组下创建作业的权限、从外部将作业批量导入到指定分组的权限、将其他分组的作业迁移到指定分组的权限) 在“权限”的表格中选择“ Loader > 作业分组”。 在指定作业分组的“权限”列,勾选“分组编辑”。 设置Loader作业分组下所有作业的编辑权限
SQL查询语句提交类型。 SQL:直接运行手动输入的SQL语句。 Script:以加载HDFS或者OBS中的SQL脚本文件运行SQL。 SQL SQL语句 “SQL类型”参数为“SQL”时参数有效,请输入待运行的SQL语句,然后单击“检查”来检查SQL语句的正确性,确保输入语句正确。 如果同时