检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在下拉菜单中选择SparkSQL表文件的压缩格式,未配置或选择“NONE”表示不压缩数据。 enum 是 NONE Spark ORC文件版本 通过该字段配置ORC文件的版本(当SparkSQL表文件的存储格式是ORC时)。 enum 是 0.12 输出分隔符 配置分隔符。 string
Hive文件压缩格式 在下拉菜单中选择Hive表文件的压缩格式,未配置或选择“NONE”表示不压缩数据。 enum 是 NONE Hive ORC文件版本 通过该字段配置ORC文件的版本(当Hive表文件的存储格式是ORC时)。 enum 是 0.12 输出分隔符 配置分隔符。 string 是 无
是,表示当前本服务未启用Ranger鉴权插件,可单击“启用Ranger鉴权”启用该功能。 否,表示当前本服务已启用Ranger鉴权插件,可通过Ranger管理界面配置访问该服务资源的权限策略。 若不存在该选项,则表示当前服务不支持Ranger鉴权插件,未开启Ranger鉴权。 父主题:
是,表示当前本服务未启用Ranger鉴权插件,可单击“启用Ranger鉴权”启用该功能。 否,表示当前本服务已启用Ranger鉴权插件,可通过Ranger管理界面配置访问该服务资源的权限策略。 如果不存在该选项,则表示当前服务不支持Ranger鉴权插件,未开启Ranger鉴权。 父主题:
对冻结后的表进行Msck元数据修复时,需要先解冻数据。如果对冻结表进行过备份后恢复操作,则可以直接执行Msck元数据修复操作,且解冻只能通过msck repair命令进行操作。 对冻结后的分区进行rename时,需要先解冻数据,否则会提示分区不存在。 删除存在冻结数据的表时,被冻结的数据会同步删除。
test_db.carbon RENAME TO test_db.carbondata; 系统响应 CarbonData库中的文件夹将显示新表名称,可以通过运行SHOW TABLES显示新表名称。 父主题: DDL
在下拉菜单中选择SparkSQL表文件的压缩格式,未配置或选择“NONE”表示不压缩数据。 enum 是 NONE Spark ORC文件版本 通过该字段配置ORC文件的版本(当SparkSQL表文件的存储格式是ORC时)。 enum 是 0.12 输出分隔符 配置分隔符。 string
对冻结后的表进行Msck元数据修复时,需要先解冻数据。如果对冻结表进行过备份后恢复操作,则可以直接执行Msck元数据修复操作,且解冻只能通过msck repair命令进行操作。 对冻结后的分区进行rename时,需要先解冻数据,否则会提示分区不存在。 删除存在冻结数据的表时,被冻结的数据会同步删除。
Hive实例分为Hiveserver和Metastore两种,健康状态有Good,Concerning ,Unknown三种状态,这三种状态是通过jmx通信来判定,与实例通信正常时为Good,通信异常时为Concerning,无法通信时为Unknown。 父主题: 使用Hive
test_db.carbon RENAME TO test_db.carbondata; 系统响应 CarbonData库中的文件夹将显示新表名称,可以通过运行SHOW TABLES显示新表名称。 父主题: CarbonData语法参考
jar文件后,服务器默认保留5分钟,5分钟内单击确定则完成UDF创建,超时后单击确定则创建UDF失败并弹出错误提示:本地UDF文件路径有误。 在UDF列表中,可查看当前应用内所有的UDF信息。可在对应UDF信息的“操作”列编辑或删除UDF信息(只能删除未被使用的UDF项)。 (可选)如果需要立即运行或开发作业
有异常、能够长时间稳定运行。 执行MRS集群健康检查前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。
Hudi表创建前,需要先在LakeFormation上添加Hudi表目录的路径授权,赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。
5m cache的存活时间,单位:分钟 hive.metastore-refresh-interval 5m 元数据缓存刷新时间,单位:分钟 通过hive创建表tb3,此时Hetu-cli查询结果: show tables; Table ------- tb1 tb2
有,建议修改新密码。 加强环境管理面账户密码管控,确保不泄露不扩散。 部分安全厂商已经提供了针对该漏洞的预防措施,您可联系对应的安全厂商,通过在安全设备上设置拦截规则来预防此类攻击。 父主题: MRS Fastjson漏洞修复指导
Hudi表创建前,需要先在LakeFormation上添加Hudi表目录的路径授权,赋予OBS读写权限。 Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。 Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。
一致,怀疑Kafka消费丢数据。 可能原因 业务代码原因 Kafka生产数据写入异常 Kafka消费数据异常 解决办法 Kafka排查: 通过consumer-groups.sh来观察写入和消费的offerset的变化情况(生产一定数量的消息,客户端进行消费,观察offerset的变化)。
rpc-address.haclusterX.remotenn2”不区分主备NameNode。NameNode RPC端口默认为“25000”,不支持通过Manager修改。 MRS 3.x及之后版本,修改参数“dfs.namenode.rpc-address”,在“haclusterX.r
在MRS管理控制台,在“现有集群”列表,单击指定的集群名称,进入集群信息页面。 如需给其他用户开通访问MRS Manager的权限,请执行6-9,添加对应用户访问公网的IP地址为可信范围。 单击弹性公网IP后边的“添加安全组规则”,如图3所示。 图3 集群详情 进入“添加安全组规则”页面,添加
要完成数据搬迁,采购升级节点硬件配置实现Master规格提升,而MRS服务借助云服务的优势,实现一键式Master节点升级,并在升级过程中通过Master节点的主备HA保证已有业务的不间断,方便快捷帮助用户解决主节点规格升级问题。 Master节点具体升级操作请参见升级Master节点规格。