检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 Quick Start 在下拉框中选择“Structure for New Projects”。 图2 Configure 在弹出的“Project Structure for New Projects”页面中,选择“SDKs”,单击加号添加JDK。 图3 Project Structure
parameter_name 其值需要被动态添加(add),更新(update)或显示(display)的参数名称。 parameter_value 将要设置的“parameter_name”的新值。 注意事项 以下为分别使用SET和RESET命令进行动态设置或清除操作的属性: 表2 属性描述
如果创建MRS集群时暂未绑定弹性公网IP,在“弹性公网IP”下拉框中选择可用的弹性公网IP。如果用户创建集群时已经绑定弹性公网IP,直接执行3.b。 如果没有弹性公网IP,可先单击“管理弹性公网IP”创建弹性公网IP,然后在弹性公网IP下拉框中选择创建的弹性公网IP。 如果在使用完后需要解绑
配置Hive单表动态视图的访问控制权限 操作场景 MRS中安全模式下Hive可以创建一个视图并控制用户访问权限,支持授权给不同的用户访问,又可以限定不同用户只能访问的不同数据。 在视图中,Hive可以通过获取当前客户端提交任务的用户的内置函数“current_user()”来进行
配置Hive单表动态视图的访问控制权限 操作场景 MRS安全模式下Hive可以创建一个视图并控制用户访问权限,支持授权给不同的用户访问,又可以限定不同用户只能访问的不同数据。 在视图中,Hive可以通过获取当前客户端提交任务的用户的内置函数“current_user()”来进行过
c”。 在“Presto Catalog”下方的下拉框中选中“schema”,同时在其对应的输入框中输入“*”。 在“schema”下方的下拉框中选中“table”,同时在其对应的输入框中输入“*”。 在“table”下方的下拉框中选中“column”,同时在其对应的输入框中输入“*”。
使用Flume服务端从本地采集动态日志保存到HDFS 操作场景 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使
parameter_name 其值需要被动态添加(add),更新(update)或显示(display)的参数名称。 parameter_value 将要设置的“parameter_name”的新值。 注意事项 以下为分别使用SET和RESET命令进行动态设置或清除操作的属性: 表2 属性描述
parameter_name 其值需要被动态添加(add),更新(update)或显示(display)的参数名称。 parameter_value 将要设置的“parameter_name”的新值。 注意事项 以下为分别使用SET和RESET命令进行动态设置或清除操作的属性: 表2 属性描述
本章节指导用户在HSConsole界面添加集群外部的Hive类型数据源。 添加Hive数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/etc/hosts”文件中,添加待对接数据源
向动态分区表中插入数据时,在重试的task中出现"Failed to CREATE_FILE"异常 问题 向动态分区表中插入数据时,shuffle过程中大面积shuffle文件损坏(磁盘掉线、节点故障等)后,为什么会在重试的task中出现"Failed to CREATE_FILE"异常?
使用Flume服务端从本地采集动态日志保存到HDFS 该任务指导用户使用Flume服务端从本地采集动态日志保存到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任
向动态分区表中插入数据时,在重试的task中出现"Failed to CREATE_FILE"异常 问题 向动态分区表中插入数据时,shuffle过程中大面积shuffle文件损坏(磁盘掉线、节点故障等)后,为什么会在重试的task中出现"Failed to CREATE_FILE"异常?
Hudi连接器支持元数据缓存,以便更快地提供对各种操作的元数据请求。可参考调整HetuEngine元数据缓存。 动态过滤 开启动态过滤有助于Hudi连接器的Join算子的计算优化。可参考调整HetuEngine动态过滤。 带分区条件查询 建立分区表并且查询带分区过滤条件有助于过滤部分分区数据,从而提高性能。
添加MySQL数据源 本章节适用于MRS 3.3.0及之后的版本。 HetuEngine支持配置MySQL数据源实现对MySQL数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加MySQL类型的JDBC数据源。 添加MySQL数据源前提条件 数据源与HetuEngine集群节点网络互通。
添加Oracle数据源 本章节适用于MRS 3.5.0及之后的版本。 HetuEngine支持配置Oracle数据源实现对Oracle数据源的接入与查询功能。本章节指导用户在集群的HSConsole界面添加Oracle类型的JDBC数据源。 前提条件 数据源与HetuEngine集群节点网络互通。
源池的成员。 通过Manager添加资源池 登录Manager。选择“租户资源”。 MRS 2.x及之前版本选择“租户管理”。 选择“资源池 > 添加资源池”。 设置资源池的属性。 MRS 3.x及之后版本: 图1 添加资源 “集群”:选择待添加资源池的集群名称。(MRS 3.3
HBase多表联合查询动态过滤优化 HBase支持动态过滤优化。 开启动态过滤功能,需先开启HBase单表查询范围扫描优化功能,然后还需要在计算实例的“coordinator.config.properties”和“worker.config.properties”参数文件中添加自定义参数“
指定租户是否是一个叶子租户: 选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。 选择“非叶子租户”:当前租户为非叶子租户,支持添加子租户。 计算资源 - 为当前租户选择动态计算资源。(部分版本该参数名称为“动态资源”,请以实际为准。) 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。
其他用户库表操作 参照表格上述相关操作添加对应权限。 给用户添加其他用户库表的HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权限策略。 如果用户在执行命令时指定了HDFS路径,需要给该用户添加HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权