检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hbase.examples”包的“TestMain”类main方法中的testHBaseDualReadSample注释,确保“com.huawei.bigdata.hbase.examples”包的“HBaseDualReadSample”类中的“IS_CREATE_CONNE
场景说明 对于需要使用动态分区插入(使用历史分区更新)数据到目的表中,且和数据源表是同一张表时,由于直接在原表上执行insert overwrite可能会导致数据丢失或数据不一致的风险,建议先使用一个临时表来处理数据,再执行insert overwrite操作。 操作步骤 假设存在如下一张表:
图3 Project Defaults 在打开的“Project Structure”页面中,选择“SDKs”,单击绿色加号添加JDK。 图4 添加JDK 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图5 选择JDK目录
tables,written_rows order by written_rows limit 10; 业务上建议一次写入一个分区,写入频率不要太快,不要小批量数据的插入,适当增大每次插入的时间间隔。 如果没有触发Merge,或者Merge较慢,需要调整参数加快Merge。 加速Merge
tables,written_rows order by written_rows limit 10; 业务上建议一次写入一个分区,写入频率不要太快,不要小批量数据的插入,适当增大每次插入的时间间隔。 如果没有触发Merge,或者Merge较慢,需要调整参数加快Merge。 加速Merge
导入结束,IDEA主页显示导入的样例工程。 右键单击“pom.xml”,选择“Add as Maven Project”,将该项目添加为Maven Project。若"pom.xml"图标如所示,可直接进行下一步骤操作。 设置项目使用的Maven版本。 在IntelliJ IDEA的菜单栏中,选择“File
用户MRS集群选的是企业项目A(包含MRS FULLACCESS和ECS FULLACCESS权限)。 VPC选的是企业项目B。 安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。 经过分析用户的VPC企业项目B里缺少vpc readonly权限导致了该报错的发生。 处理步骤
B监测和告警,通过监测和相关告警项对作业的RocksDB参数进行调优。当作业调优后,建议关闭RocksDB的监测和告警,因为RocksDB的监测和告警会损失RocksDB的5%~10%性能。 为了避免对其他作业的影响,RocksDB监测的相关配置通过自定义参数生效,本章节为您介绍
access topics 可能原因 当前用户没有消费Kafka数据的权限。 处理步骤 登录FusionInsight Manager,选择“系统 > 权限 > 用户”,单击提交CDL任务用户所在行的“修改”,添加“kafkaadmin”用户组,单击“确定”。 使用该用户登录FusionInsight
用程序结果备份到HDFS的路径,<brokers>指获取元数据的Kafka地址,<topic>指读取Kafka上的topic名称,<batchTime>指Streaming分批的处理间隔。 由于Spark Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同,
own”默认为“false”,系统不会完全等待AM正常退出,所以概率性的会出现有时能正常退出,任务状态显示失败,有时异常退出,状态未来得及上报的情况。 处理步骤 执行Spark Streaming任务时,添加Spark任务参数“--conf spark.streaming.sto
表1中“权限名称”列为IoTDB开源支持的相关权限,如果MRS用户需要使用对应的权限进行相关操作,则需参考表1中“用户需要的权限”列在Manager上赋予对应用户相应的权限,相关操作请参见创建IoTDB权限角色。 表1 IoTDB权限一览 权限名称 说明 用户需要的权限 示例 SET_STORAGE_GROUP
对于minor压缩,在阶段1中要合并的segment数量和在阶段2中要合并的已压缩的segment数量。 如何调优 每次CarbonData加载创建一个segment,如果每次加载的数据量较小,将在一段时间内生成许多小文件,影响查询性能。配置该参数将小的segment合并为一个大的segment,然后对数据进行排序,可提高查询性能。
auto_scaling_policy_tags 否 Boolean 参数解释: 是否查询弹性伸缩策略标签。 约束限制: 不涉及 取值范围: true:查询弹性伸缩策略标签 false:不查询弹性伸缩策略标签 默认取值: 不涉及 请求参数 无 响应参数 状态码: 200 表3 响应Body参数
_file”后的“上传文件”上传3的认证凭据文件。添加参数“hdfs.hadoop_kerberos_principal”的值,以“用户名@域名”的方式进行设置,例如:clickhouseuser@HADOOP.COM。 如果ClickHouse对接的是HDFS的HA模式,还需要执行以下操作:
信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Flink的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。
API样例程序开发思路 场景说明 本样例调用FlinkServer的RestAPI创建租户。 数据规划 准备用户认证文件:登录Manager下载用户凭证,获取“user.keytab”和“krb5.conf”文件。 准备待创建的租户信息,如“tenantId”为“92”,“tenantN
> 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_hudi”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add
(property_name=property_value, ...); 描述 这条命令并不会将SCHEMA当前的内容移动到修改后的路径下,也不会修改与指定schema关联的表或分区,它只会修改新添加进数据库的表的上级目录。 示例 Create schema foo; --修改schema 存储路径 ALTER
1及之后版本) 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 OMS数据库主备不同步会导致主数据库上的数据无法正常同步至备数据库,在告警上报时间段若主实例异常可能