正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备HBase应用开发和运行环境 准备开发环境 在进行二次开发时,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
<outputPath>命令之前,<outputPath>目录必须不存在,否则会报错。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。 对于MapReduce访问多组件样例程序,操作步骤如下。 获取“hbase-site.xml”、“hiveclient.properties”和“hive-site
主页界面的左侧展示集群已安装服务组件列表信息,可查看当前集群已安装各服务的状态和告警情况。 每个服务名称左侧的表示当前该服务运行状态良好,表示当前服务启动失败,表示当前服务未启动。 同时服务名称右侧可查看当前该服务是否产生了告警,如果存在告警,则以图标区分告警的级别并显示告警数。 如果服务右侧显示则表示该服务配置已过期。
BULK_INSERT(批量插入):用于初始数据集加载, 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表,该操作性能是最高的,但是无法控制小文件,而UPSERT和INSERT操作使用启发式方法可以很好的控制小文件。 UPSERT(插入更新): 默认操作类型。Hudi会根据
登录”,以root用户登录该实例。 图4 登录RDS实例 在实例“首页”即可单击“新建数据库”创建新的数据库。 如果没有创建新的数据库,会导致MRS配置数据连接失败。 图5 新建数据库 在页面顶部选择“账号管理 > 用户管理”。 对于MRS 3.x之前版本,当用户选择的数据连接为“RDS服务MySQL
登录”,以root用户登录该实例。 图1 登录RDS实例 在实例“首页”即可单击“新建数据库”创建新的数据库。 如果没有创建新的数据库,会导致MRS配置数据连接失败。 图2 新建数据库 在页面顶部选择“账号管理 > 用户管理”。 对于MRS 3.x之前版本,当用户选择的数据连接为“RDS服务MySQL
当IDEA可以识别出Scala SDK时,在设置界面,选择编译的依赖jar包,然后单击“OK”应用设置。 图18 Add Scala Support 当系统无法识别出Scala SDK时,需要自行创建。 单击“Create...”。 图19 Create... 在“Select JAR's for
BULK_INSERT(批量插入):用于初始数据集加载, 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表,该操作性能是最高的,但是无法控制小文件,而UPSERT和INSERT操作使用启发式方法可以很好的控制小文件。 UPSERT(插入更新): 默认操作类型。Hudi会根据
使用Hive CBO功能优化查询效率 操作场景 在Hive中执行多表Join时,Hive支持开启CBO(Cost Based Optimization),系统会自动根据表的统计信息,例如数据量、文件数等,选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
的名称 > IoTDB > 普通用户权限”,勾选root根目录的“设置数据库”权限。 单击“root”,选择对应的存储组,勾选“创建”、“修改”、“写”、“读”、“删除”权限,单击“确定”保存。 选择“用户 > 添加用户”,在新增用户界面,创建一个机机用户,例如developuser。
Maven Projects”,进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件,并修改代码匹配登录用户后,文件列表如下图所示。 图2 doris-example待编译目录列表 编译方式有以下两种: 方法一 选择“Maven >
b”目录。将样例工程中“conf”的配置文件上传到Linux中“conf”目录。 在“/opt/test”根目录新建脚本“run.sh”,修改内容如下并保存: #!/bin/sh BASEDIR=`cd $(dirname $0);pwd` cd ${BASEDIR} for file
info("Securitymode start."); // // //!!注意,安全认证时,需要用户手动修改为自己申请的机机账号 // securityPrepare(); // } //
Maven Projects”,进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件,并修改代码匹配登录用户后,文件列表如下图所示。 图2 doris-example待编译目录列表 编译方式有以下两种: 方法一 选择“Maven >
info("Securitymode start."); // // //!!注意,安全认证时,需要用户手动修改为自己申请的机机账号 // securityPrepare(); // } //
Config(); // 配置安全插件 //setSecurityPlugin(conf); if (args.length >= 2) { // 用户更改了默认的keytab文件名,这里需要将新的keytab文件名通过参数传入 conf.put(Config.TOPOLOGY_KEYTAB_FILE
Base集群配置文件获取的配置文件及认证文件上传到Linux中“conf”目录。 在“/opt/test”根目录新建脚本“run.sh”,修改内容如下并保存: #!/bin/sh BASEDIR=`cd $(dirname $0);pwd` cd ${BASEDIR} for file
参数类型 描述 result String 参数解释: 更新映射请求操作结果。 取值范围: succeeded:操作成功 failed:操作失败 请求示例 /v2/274ee662a7e24cc99bfc858c4558dbf6/data-connector/7d169c6c-ab
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS