检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 选择Remote 选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调试命
set hoodie.write.lock.zookeeper.url=<zookeeper_url>; --设置使用ZooKeeper地址。 set hoodie.write.lock.zookeeper.port=<zookeeper_port>; --设置使用ZooKeeper端口。
=> 'SIMPLE', hoodie.datasource.write.table.type => 'MERGE_ON_READ'); 系统响应 执行完成后可通过desc formatted table来查看表属性。 父主题: Hudi CALL COMMAND语法说明
column1 = 'xxx'); 示例5: delete from columncarbonTable1 where column2 >= 4; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: CarbonData语法参考
)] 描述 创建一个空的schema。schema是表、视图以及其他数据库对象的容器。当指定可选参数IF NOT EXISTS时,如果系统已经存在同名的schema,将不会报错。 Schema默认路径为hdfs://hacluster/user/hive/warehouse/。
client实例都会尝试再次连接NameNode,导致应用长时间等待超时。 当位于同一JVM进程中的客户端对无法访问的NameNode进行连接时,会对系统造成负担。为了避免这种负担,MRS集群搭载了NameNode blacklist功能。 在新的Blacklisting DFSClient
件上的锁定,则放弃尝试读取或更新缓存。单位为秒。 5 由HDFS客户端创建的缓存文件必须由其他客户端重新使用。因此,这些文件永远不会从本地系统中删除。若禁用该功能,可能需要进行手动清理。 父主题: HDFS性能调优
件上的锁定,则放弃尝试读取或更新缓存。单位为秒。 5 由HDFS客户端创建的缓存文件必须由其他客户端重新使用。因此,这些文件永远不会从本地系统中删除。若禁用该功能,可能需要进行手动清理。 父主题: HDFS性能调优
集群属性”,查看集群的“认证模式”并记录。 选择“集群 > 服务 > Hive”,单击页面右上角的“更多”查看Hive是否启用Ranger鉴权。 选择“系统 > 权限 > 用户”,单击“添加用户”,配置以下参数并单击“确定”,创建执行自定义函数的用户: 用户名:填写用户名称,例如:test。 用户类型:选择“人机”用户。
Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。 Read:读权限 Write:写权限 Execute:执行权限 Select/Deselect
AM用户被授予的策略中必须包含允许“mrs:cluster:list”的授权项,该接口才能调用成功。 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,MRS集群管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下:
table carbon01; 上述命令将从物理上删除所有DELETE SEGMENT命令删除的segment和合并后的旧的segment。 系统响应 可在driver日志中查看命令运行成功或失败。 父主题: DML
查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查是否有打开了第三方AD对接 登录FusionInsight Manager界面,单击“系统”页签。 选择“权限 > 第三方AD”,查看是否开启了第三方AD对接。 是,需要关闭第三方AD对接开关。 否,检查结束。 父主题: 回滚补丁
查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查是否有打开了第三方AD对接 登录FusionInsight Manager界面,单击“系统”页签。 选择“权限 > 第三方AD”,查看是否开启了第三方AD对接。 是,需要关闭第三方AD对接开关。 否,检查结束。 父主题: 回滚补丁
此采样方法将表划分为数据的逻辑段,并按此粒度对表进行采样。此采样方法要么从特定数据段中选择所有行,要么跳过它(基于采样百分比与运行时计算的随机值之间的比较)。系统采样中行的选择依赖于使用的connector。例如,如果使用Hive数据源,这将取决于数据在HDFS上的布局。这种采样方法不能保证独立的抽样概率。
tering的表 如果需要对指定分区进行clustering,参考格式:predicate => "dt = '2021-08-28'" 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
021-08-28/.*?log.*?', merge => false, limit => 1); 注意事项 仅MOR表会用到此命令。 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
useKeyTab=true keyTab="/opt/client/user.keytab" principal="hivetest@系统域名" useTicketCache=false storeKey=true debug=true; };
查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查是否有打开了第三方AD对接 登录FusionInsight Manager界面,单击“系统”页签。 选择“权限 > 第三方AD”,查看是否开启了第三方AD对接。 是,需要关闭第三方AD对接开关。 否,检查结束。 父主题: 回滚补丁
查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查是否有打开了第三方AD对接 登录FusionInsight Manager界面,单击“系统”页签。 选择“权限 > 第三方AD”,查看是否开启了第三方AD对接。 是,需要关闭第三方AD对接开关。 否,检查结束。 父主题: 回滚补丁