检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
────── ┴───── ┴──────────┴─────────┘ --删除表t1的列test01 ALTER TABLE t1 DROP COLUMN test01; --查询修改后的表t1 desc t1 ┌─name────┬─type─┬─default_type─
提前关闭文件,提升写数据性能。但是由于提前关闭了文件,可能在读取数据的时候由于块找不到或者NameNode元数据中记录的数据块信息和DataNode中存储的真实副本不一致而失败。因此该特性不适用于写完数据即读的场景,请结合业务场景谨慎使用该特性。 该功能适用于MRS 3.2.0-LTS
JDBC接口调用样例程序 Doris JDBC接口样例程序开发思路 创建Doris连接 创建Doris数据库 创建Doris表 向Doris表中插入数据 查询Doris表数据 删除Doris表 父主题: Doris开发指南(普通模式)
根据业务实际需要,在“用户组”添加的所有组中选择一个组作为用户创建目录和文件的主组。 下拉列表包含“用户组”中添加的全部组。 由于一个用户可以属于多个组(包括主组和附属组,主组只有一个,附属组可以有多个),设置用户的主组是为便于维护以及遵循hadoop社区的权限机制。此外用户的主组和其他组在权限控制方面,作用一致。
方法三:数据老化,按照业务逻辑分析大的维度表是否可以通过数据老化清理无效的维度数据从而降低数据规模。 数据量非常小的事实表 这种可以在预估很长一段时间的数据增长量的前提下使用非分区表预留稍宽裕一些的桶数来提升读写性能。 确认表内桶数 Hudi表的桶数设置,关系到表的性能,需要格外引起注意。
scala:68) 可能原因 __consumer_offsets无法创建。 原因分析 查看日志,发现大量__consumer_offset创建异常。 查看集群发现当前Broker数量为2。 查看__cosumer_offset topic要求副本为3,因此创建失败。 解决办法 可
JobGateway提供了如下表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 对于配置了冷热分离策略的表,无法读取和写入OBS上的冷数据,同时本地盘上的热数据变冷后,无法移动到OBS上。 可能原因 ClickHouse访问OBS的endpoint等参数错误。 OBS服务异常。
修改系统域名后,系统管理员在修改域名以前添加的“机机”用户,请重新下载keytab文件。 修改系统域名后,请重新下载并安装集群客户端。 修改系统域名后,如果有运行中的HetuEngine计算实例,需要重启HetuEngine的计算实例。 前提条件 系统管理员已明确业务需求,并规划好不同系统的域名。 域名只能包含大写字母、数字、圆点(
客户端和服务端的配置不同,就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数,可以防止客户端访问结果显示乱码。 操作步骤 在Manager系统中,选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“yarn
客户端和服务端的配置不同,就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数,可以防止客户端访问结果显示乱码。 操作步骤 在Manager系统中,选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“yarn
相同的用户组和具有对应的FlinkServer应用管理权限角色,如参考创建FlinkServer权限角色勾选“应用查看”。 作业状态为“运行中”的作业可以查看作业详情。 作业状态为“运行失败”、“运行成功”和“停止”的作业可以进行Checkpoint故障恢复。 父主题: 使用Flink
原因分析 出现该异常可能都是由于Knox线程数不足。 处理步骤 以root用户分别登录OMS主节点和备节点。 在主备OMS节点的gateway-site.xml文件中增加以下配置,适当增加线程池。 vi /opt/knox/conf/gateway-site.xml <property>
Manager创建的人机用户,需要具有正在使用的Topic的生产消费权限。 密码为用户manager_user的密码。 如果使用开源kafka-client Jar包,密码中的特殊字符会被限定只能使用“$”。 如果使用MRS kafka-client Jar包,密码中支持的特殊字符为Manager支持的特殊字符,例如~`
下要求该文件夹的完整路径不包含空格。 图1 导入样例工程到Eclipse中 单击“Finish”。 导入成功后,com.huawei.bigdata.hive.example包下的HCatalogExample类,为HCatalog接口样例代码 设置Eclipse的文本文件编码格式,解决乱码显示问题。
Hive JDBC访问样例程序 Hive JDBC样例程序开发思路 创建Hive表 加载数据到Hive表中 查询Hive表数据 实现Hive进程访问多ZooKeeper 使用JDBC接口提交数据分析任务 父主题: 开发Hive应用
迁移工具时产生的错误日志。 日志级别 ClickHouse提供了如表2所示的日志级别。 运行日志的级别优先级从高到低分别是error、warning、trace、information、debug,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2
nger WebUI界面为MRS集群内的用户或用户组绑定LakeFormation角色,则绑定的用户或用户组拥有该角色的权限。 前提条件 已创建角色,并为该角色添加权限,具体操作请参考角色授权。 已完成MRS与LakeFormation实例的对接。 操作步骤 登录MRS管理控制台
图1 设置Eclipse的编码格式 修改样例(未开启Kerberos认证集群可跳过此步骤)。 在4获取新建开发用户的krb5.conf和user.keytab文件后,修改presto.properties中的KerberosPrincipal为对应新建用户的principal,修改
[1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java