检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi DDL语法说明 CREATE TABLE CREATE TABLE AS SELECT DROP TABLE SHOW TABLE ALTER RENAME TABLE ALTER ADD COLUMNS ALTER COLUMN TRUNCATE TABLE 父主题:
创建CDL作业 创建CDL数据同步任务作业 创建CDL数据比较任务作业 使用CDL从PgSQL同步数据到Kafka 使用CDL从PgSQL同步数据到Hudi 使用CDL从Opengauss同步数据到Hudi 使用CDL从Hudi同步数据到DWS 使用CDL从Hudi同步数据到ClickHouse
使用Guardian Guardian日志介绍
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。
配置自定义rowkey实现 使用BulkLoad工具批量导入HBase数据时,支持用户自定义的组合rowkey实现。用户可编写rowkey实现代码,导入时根据该代码逻辑进行组合rowkey导入。 配置自定义rowkey实现步骤如下: 用户编写自定义rowkey的实现类,需要继承接口,该接口所在的Ja
mmands.html 常用Command YARN Commands可同时供普通用户和管理员用户使用,它包含了少量普通用户可以执行的命令,比如jar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yar
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
ClickHouse多租户特性通过“用户 > 租户角色 > 资源profiles管理”的模型,使用户拥有对集群资源的管理能力,目前支持内存和CPU优先级管理。多租户设计模型如下图所示: 通过FusionInsight Manager服务配置和租户管理页面的操作,用户可以实现设置服务内存限额、
mands.html。 常用Command YARN Commands可同时供普通用户和管理员用户使用,它包含了少量普通用户可以执行的命令,比如jar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yar
mands.html。 常用Command YARN Commands可同时供普通用户和管理员用户使用,它包含了少量普通用户可以执行的命令,比如jar、logs。而大部分只有管理员有权限使用。 用户可以通过以下命令查看YARN用法和帮助: yarn --help 用法:进入Yar
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。
开启Flink作业RocksDB监测步骤 使用具有FlinkServer管理员权限的用户登录FusionInsight Manager。 选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 单击“作业管理”进入作业管理页面。 找到待调
件问题是制约Hadoop集群规模扩展的关键问题。 本工具主要有如下两个功能: 扫描表中有多少低于用户设定阈值的小文件,返回该表目录中所有数据文件的平均大小。 对表文件提供合并功能,用户可设置合并后的平均文件大小。 支持的表类型 Spark:Parquet、ORC、CSV、Text、Json。
中单击“确定”保存配置。 选择“集群 > 待操作集群的名称 > 服务 > Impala > 实例”,勾选配置状态为“配置过期”的实例,选择“更多 > 重启实例”重启受影响的Impala实例。 父主题: 使用Impala
nager主节点的hostname。 可以登录Manager界面,选择“集群 > 服务 > Yarn > 实例”查看“ResourceManager(主)”的“主机名称”获取。 8088:ResourceManager的端口号。 可以登录Manager界面,选择“集群 > 服务 >
查询可用区信息 功能介绍 在创建集群时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{region_id}/available-zones 表1 路径参数 参数 是否必选 参数类型 描述 region_id
read.threadpool.size”参数,修改该参数值为“0”。 单击“保存”保存配置。 单击“实例”,勾选所有RegionServer实例,选择“更多 > 滚动重启实例”,滚动重启RegionServer使配置生效。 父主题: HBase常见问题
使用客户端安装用户登录客户端节点,执行如下命令进入客户端目录。 cd /opt/hadoopclient 执行以下命令加载环境变量。 source bigdata_env source Hudi/component_env kinit 创建的业务用户 新创建的用户首次认证需要修改密码。
MRS集群中Impala服务是否支持磁盘热插拔? 回答 Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。 由于是非多副本存储的临时数据,不提供磁盘热插拔能力。