检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置心跳上报的内容,当“上报心跳”开关设置为打开时启用,不能为空。支持数字、字母、下划线、竖线、冒号、空格、英文逗号和句号字符,长度小于等于256。 设置周期上报心跳报文后,在某些集群容错自动恢复的场景下(例如主备OMS倒换)可能会出现报文上报中断的现象,此时等待自动恢复即可。 单击“确定”,设置完成。 参考信息
待备份表需要来自同一个数据库。 单击“确定”保存。 在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。 备份任务执行完成后,系统自动在备集群的备份路径中为每个备份任务创建子目录,目录名为“备份任务名_数据源_任务创建时间”,数据源每次备份的最新备份文件保存在此目
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 分隔转换 原始数据包含NULL值,当前行成为脏数据。 配置分割后字段列数,大于原始数据实际可分割出来的字段列数,当前行成为脏数据。 取模转换 原始数据包含NULL值,当前行成为脏数据。 配置输入字段列数,
MetaStore(角色) > 自定义”,添加“hive-ext.skip.grant.partition”参数,值为“true”。添加该参数后在库授权时会跳过分区扫描。需要重启Metastore实例生效。 相关概念 表1 使用Hive表、列或数据库场景权限一览 操作场景 用户需要的权限
如果设置了numrecords和jobid,jobid列表按字典顺序排列,待jobid返回后,可以得到numrecords的最大值。如果jobid没有设置, 而numrecords设置了参数值,jobid按字典顺序排列后,可以得到numrecords的最大值。相反,如果numrecords没有设
delay:立刻生效 在删除表或修改表语法中加上no delay,表示立即删除,否则会等8分钟以后进行删除,如果未加no delay语法,删除表后需要立即创建同名的表名可能会遇到错误,创建不成功。 order by:排序字段 查询时最常使用且过滤性最高的字段作为排序字段。依次按照访问频
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.JavaDstreamKafkaWriter: Spark版本升级后,推荐使用新接口createDirectStream,老接口createStream仍然存在,但是性能和稳定性差,建议不要使用老接口开发应用程序。
行后续步骤可不影响业务性能。 搜索“HIVE_GC_OPTS”参数并修改,把Xms调小,具体要根据业务评估,最小设置为Xmx的一半,修改完后保存配置并重启服务。 父主题: 使用Hive
默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 MRS部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后
duce界面上任务的只读权限。 check_sec_ldap 用于内部测试主LDAP是否工作正常。用户组随机存在,每次测试时创建,测试完成后自动删除。系统内部组,仅限组件间内部使用。 compcommon 系统内部组,用于访问集群公共资源。所有系统用户和系统运行用户默认加入此用户组。
待备份的数据不存在。 单击“确定”保存。 在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。 备份任务执行完成后,系统自动在备集群的备份路径中为每个备份任务创建子目录,目录名为“备份任务名_数据源_任务创建时间”,数据源每次备份的最新备份文件保存在此目
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
份任务将失败,需要重新创建Hive的备份任务。如果下次执行全量则备份正常。 通过Manager备份功能对Hive表层级的HDFS目录做备份后,Hive表将无法被删除重建。 前提条件 如果数据要备份至远端HDFS中,需满足以下条件: 需要准备一个用于备份数据的备集群,认证模式需要与主集群相同。
0.0-HBase-2.0-client.jar”。 图6 删除原有的驱动包 图7 添加Phoenix Jar包 单击“找到类”,加载完成后在左侧框中选择“org.apache.phoenix.jdbc.PhoenixDriver”。 图8 加载驱动类 添加Zookeeper Base
配置输入字段列数,大于原始数据实际包含的字段列数,全部数据成为脏数据。 分隔转换 原始数据包含NULL值,当前行成为脏数据。 配置分割后字段列数,大于原始数据实际可分割出来的字段列数,当前行成为脏数据。 取模转换 原始数据包含NULL值,当前行成为脏数据。 配置输入字段列数,
JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情可参考https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8
keytab //使用--files指定jaas.conf和keytab文件。 运行Python样例代码: 运行Python样例代码时需要将打包后的Java项目的jar包添加到streamingClient010/目录下。 bin/spark-submit --master yarn --deploy-mode
单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: MRS集群告警处理参考
10),('peach',6),('lemon',12),('apple',7); 将fruit表中的数据行加载到fruit_copy表中,执行后表中有5条记录: insert into fruit_copy select * from fruit; 先清空fruit_copy表,再将