检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
${TableName},drop table ${TableName}时失败。 原因分析 删除文件操作是单线程串行执行的,Hive分区数过多导致在元数据数据库会保存大量元数据信息,在执行删表语句时删除元数据就要用很长时间,最终在超时时间内删除不完,就会导致操作失败。 超时时间可通过登录FusionInsight
通过Java API提交Oozie作业开发思路 通过典型场景,用户可以快速学习和掌握Oozie的开发过程,并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,仅job配置“job
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(例如自定义udf包)区分x86和TaiShan版本,如何让Spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端Spark2x
通过Java API提交Oozie作业开发思路 通过典型场景,用户可以快速学习和掌握Oozie的开发过程,并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,只是job配置“job
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x
Manager角色界面创建一个角色。 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”。 在“default”队列的“权限”列,勾选“提交”,单击“确定”保存。 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限
--port ClickHouse的端口号 --database 数据库名 --multiline 输入用户密码 参考Kafka引擎表使用语法说明,在ClickHouse中创建Kafka引擎表。例如,如下建表语句在default数据库下,创建表名为kafka_src_tbl3,To
ou=People,dc=huawei,dc=com或cn=%s,ou=People,dc=huawei,dc=com --ldap_passwords_in_clear_ok LDPA 密码是否以明文发送 如果设置为true,将允许LDAP密码在网络上明文发送 【取值范围】 true或false
参数描述 表1 CLEAN FILES FOR TABLE参数描述 参数 描述 db_name 数据库名称。数据库名称由字母,数字和下划线组成。 table_name 数据库中的表的名称。表名由字母,数字和下划线组成。 注意事项 无。 示例 添加carbon配置参数 carbon
BS的用户,需要属于supergroup组。可登录FusionInsight Manager界面,选择“系统 > 权限 > 用户”,在用户列表中单击用户所在行的“修改”,在“用户组”中为该用户绑定“supergroup”组即可。 需排查OBS是否开启AccessLabel功能,若
查看数据分布情况 select FQDN(), database, table, sum(data_compressed_bytes) from clusterAllReplicas(逻辑集群名称, system.parts) where database='库名' and table='表名'
查看当前用户实时的连接个数和使用率对比历史数据是否有明显的异常增长,已经达到设定的最大连接数。 是,执行8。 否,执行9。 如果对比历史数据发现该用户的连接有明显的增加,甚至达到了设定的最大连接数,那么该用户的连接可能存在异常,需要和业务方进行确认。 检查用户的连接个数是否符合业务需求。 确认该用户的连接个数是否符合业务需求。
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1
使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(例如自定义udf包)区分x86和TaiShan版本,如何让Spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端Spark2x
通过Java API提交Oozie作业开发思路 通过典型场景,用户可以快速学习和掌握Oozie的开发过程,并且对关键的接口函数有所了解。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,代码示例只涉及了MapReduce作业,其他作业的API调用代码是一样的,仅job配置“job
第三方jar包跨平台(x86、TaiShan)支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x
使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。
MRS集群服务启用Ranger鉴权 操作场景 该章节指导用户如何启用Ranger鉴权。安全模式默认开启Ranger鉴权,普通模式默认关闭Ranger鉴权。 操作步骤 登录FusionInsight Manager页面,具体请参见访问集群Manager。选择“集群 > 服务 > 需要启用Ranger鉴权的服务名称”。
MRS集群服务启用Ranger鉴权 操作场景 该章节指导用户如何启用Ranger鉴权。安全模式默认开启Ranger鉴权,普通模式默认关闭Ranger鉴权。 操作步骤 登录FusionInsight Manager页面,具体请参见访问FusionInsight Manager(MRS