检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
id from hive.mvschema.t1; storage_table:物化视图数据物化成物理表的位置 创建物化视图时的catalog必须指定mv,schema可以自行创建 AS SELECT子句需注意创建物化视图的“AS SELECT”的子句列出的事项 创建有效期为1天不启动自动刷新的物化视图
需确保GC_OPT设置正确,否则进程启动会失败。 见页面默认配置。 job.record.batch.delete.count 25 JobServer每一批老化数据的条数。 job.record.expire.count 500000 JobServer老化数据的条数。
-所有实例”是否长时间占满,如果占满需要单击“配置”,调整以下RegionServer参数: 表1 RegionServer handler占满时参数调优 参数名称 参数描述 调整策略 hbase.regionserver.handler.count 在RegionServer上启动的
HBase 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。
hive 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。
在“集群 > 服务”页面,启动IoTDB服务。 父主题: 恢复MRS集群组件数据
hive 个数 配置数据操作的MapReduce任务中同时启动的map数量。参数值必须小于或等于3000,建议以SFTP服务器当前最大连接数作为其取值。 20 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。
服务获权并判断:当接收到客户端的DDL、DML的SQL命令时,SparkSQL服务会向MetaStore服务获取客户端用户对数据库信息的已有权限,并检查是否包含了所需的所有权限,如果是则继续执行,否则拒绝该用户的操作。
在FusionInsight Manager界面,选择“运维 > 日志 > 在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][DB Service]”,在日志中查看具体告警原因,并进行处理。
如果设置,此配置值将替换<code> spark.yarn.jars </ code>,并存档在所有应用程序的容器中使用。存档应包含其根目录中的jar文件。与以前的选项一样,存档也可以在HDFS上托管,用来加快文件分发速度。
表1 周期备份参数 参数 示例 参数说明 开始时间 2024/11/22 10:29:11 任务第一次启动的时间。 周期 1天 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。
如果设置,此配置值将替换<code> spark.yarn.jars </ code>,并存档在所有应用程序的容器中使用。存档应包含其根目录中的jar文件。与以前的选项一样,存档也可以在HDFS上托管,用来加快文件分发速度。
com.huawei.bigdata.flink.examples.WriteIntoKafka /opt/test.jar --topic" + " topic-test -bootstrap.servers xxx.xxx.xxx.xxx:21007 --security.protocol SASL_PLAINTEXT" + " --sasl.kerberos.service.name
启动集群失败。 请检查MRS集群状态、Master节点状态、集群网络通信、安全组规则是否正常 400 12000104 VPC|ECS|DSS|DCC|OpenStack service error. VPC|ECS|DSS|DCC|Openstack服务错误。
新特性和优化 MRS租户面支持Yarn on CCE容器化部署 补丁兼容关系 MRS 3.1.2-LTS.2.11补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。
com.huawei.bigdata.flink.examples.WriteIntoKafka /opt/test.jar --topic" + " topic-test -bootstrap.servers xxx.xxx.xxx.xxx:21007 --security.protocol SASL_PLAINTEXT" + " --sasl.kerberos.service.name
Submitting tokens for job: job_1456738266914_0006 13405 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Kind: HDFS_DELEGATION_TOKEN, Service
中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS 周边云服务对接类 MRS对接LakeFormation云服务 使用MRS Spark SQL访问DWS表 使用MRS Hive表对接OBS文件系统 MRS Hive对接CSS
Ranger插件都是由组件侧自身的鉴权接口扩展而来,用户在Ranger WebUI上对指定service设置权限策略,Ranger插件会定期从RangerAdmin处更新策略并缓存在组件本地文件,当有客户端请求需要进行鉴权时,Ranger插件会对请求中携带的用户在策略中进行匹配,随后返回接受或拒绝
在Hue的WebUI界面设置动态存储策略之前,需先在Manager界面设置冷热数据迁移的CRON表达式,并启动自动冷热数据迁移特性。 操作方法为: 修改HDFS服务的NameNode的如下参数值。参数修改方法请参考修改集群服务配置参数。