检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。当分区列的数据偏斜(数据集中在一个或者几个值)时,个别Map需要处理绝大部分数据,进而导致索引失效,造成SQL查询性能急剧下降。 g
r_1_Flume_ClientConfig.tar 如果在集群外节点安装Flume客户端,需执行如下步骤配置安装环境。在集群内节点安装可不执行该步骤。 执行以下命令,安装客户端运行环境到新的目录,例如“/opt/Flumeenv”。安装时自动生成目录。 sh /opt/clie
缩容集群 功能介绍 对MRS集群进行缩容。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/shrink 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释:
AM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台导出集群配置 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
参数文件等内容。 如需还原某次配置变更,可单击记录所在行“操作”列的“还原配置”按钮,在弹出的窗口中单击“确定”。 针对同一服务实例下的同一配置,如果修改了多次,还原配置时必须从该配置的最新修改时间开始还原,不能从中间某次进行还原。 部分配置项在修改参数值后需重启对应服务才会生效
登录Doris集群中已安装好MySQL客户端的MRS Master节点,执行如下命令进入Doris数据库。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 (若集群已启用Kerberos认证(安全模式)需执行该命令) mysql -u数据库登录用户 -p数据库登录用户密码
使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。当分区列的数据偏斜(数据集中在一个或者几个值)时,个别Map需要处理绝大部分数据,进而导致索引失效,造成SQL查询性能急剧下降。 g
不涉及 默认取值: 不涉及 start_time Long 参数解释: 作业执行开始时间,十三位时间戳。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 end_time Long 参数解释: 作业执行结束时间,十三位时间戳。 约束限制: 不涉及 取值范围: 不涉及 默认取值:
> 滚动重启服务”。 重启服务会造成业务中断,滚动重启可以尽量减少或者不影响业务运行。 重启Ranger组件会影响所有受Ranger控制组件的权限,可能影响业务的正常运行,请在集群空闲或业务量较少时执行重启。重启Ranger组件前,Ranger中的策略依然生效。 图8 重启服务 启
REFRESH TABLE参数描述 参数 描述 db_name 数据库名。如果未指定,则选择当前数据库。 table_name 表名。 注意事项 在执行此命令之前,应将旧表的表结构定义schema和数据复制到新数据库位置。 对于旧版本仓库,源集群和目的集群的时区应该相同。 新的数据库和旧数据库的名字应该相同。
扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考如何配置网络ACL出规则?。 未关联网络ACL时切换子网 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“网络信息”区域的“默认生效子网”右侧单击“切换子网”。
保存配置,重启Spark服务。 登录Spark客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env source Spark/component_env 安全模式执行以下命令,普通模式无需执行: kinit test,输入密码完成认证(首次登录需要修改密码)
通过管理控制台管理资源池 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“租户管理”。 单击“资源池”页签。 在资源池列表指定资源池所在行的“操作”列,单击“修改”。 修改资源池主机。 增加主机:在界面左边主机列表,勾选指定的主机名称加入资源池。
通过管理控制台启停组件步骤 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“组件管理”。 在指定服务所在行,单击“停止”执行停止操作。 如果需要启动服务则单击“启动”。 通过Manager启停组件步骤 MRS
总和超过100%,Doris租户将创建失败。 “并发数”:租户最大可运行查询任务的并发数,超过并发数的查询会进入等待队列。 “队列长度”:租户最大等待执行的查询任务数。 “队列等待时长(毫秒)”:租户等待执行的查询任务的最大等待时长,单位为毫秒。 “开启内存软隔离”:默认关闭内存
nt distinct出现次数超过1就进行“提示”,超过6就进行“拦截”的规则。 图2 添加Doris SQL防御规则 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export
preCombineField 表的Pre-Combine字段,该字段为必填字段。 payloadClass 使用preCombineField字段进行数据过滤的逻辑,默认使用DefaultHoodieRecordPayload,同时也提供了多种预置Payload供用户使用,如Overwri
其中“sparkthriftserver2x”是ZooKeeper上的目录,表示客户端从该目录下随机选择JDBCServer实例进行连接。 示例:安全模式下通过Beeline客户端连接时执行以下命令: sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2:/
选需要导出的作业。 “指定组别”:表示导出某个指定分组中的所有作业。选择“指定分组”,在分组列表中勾选需要导出的作业分组。 “是否导出密码”:导出时是否导出连接器密码,勾选时,导出加密后的密码串。 单击“确定”,开始导出作业。当弹出框中进度条显示100%,则说明作业导出完成。 父主题:
POST /v1.1/{project_id}/clusters/{cluster_id}/tags/action 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id 是 String 参数解释: 集群ID。如果指定集群ID,则获取该集群做过补丁更新的最新版本元数据。获取方法,请参见获取集群ID。