检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
py”为Python客户端样例代码,“python-examples/pyhs2/haconnection.py”为Python客户端接口API。 “python-examples/hive_python_client”脚本提供了直接执行SQL的功能,例如:sh hive_python_client
言进行Kudu应用程序开发。 Kudu采用的接口与Apache Kudu保持一致,请参考https://kudu.apache.org/apidocs/。 父主题: Kudu应用开发概述
的、且超过数据倾斜阈值的分桶拆散,变成多个task处理一个桶的数据机制,提高CPU资源利用率,提高系统性能。 未产生倾斜的数据,将采用原有方式进行分桶并运行。 使用约束: 只支持两表Join的场景。 不支持FULL OUTER JOIN的数据倾斜处理。 示例:执行下面SQL语句,a表倾斜或b表倾斜都无法触发该优化。
需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。
平滑次数大于1,Hive数据仓库空间使用率小于或等于阈值的90%时,告警恢复。 MRS集群管理员可通过增加仓库容量或释放部分已使用空间的方式降低仓库空间使用率。 告警属性 告警ID 告警级别 是否自动清除 16001 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
业务存在大SQL任务,占用过多计算资源,导致其他提交的任务无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > He
业务存在大SQL任务,占用过多计算资源,导致其他提交的任务无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > He
de的剩余空间都已经给副本预留,则写入HDFS数据失败。 可能原因 告警阈值配置不合理。 HDFS集群配置的磁盘空间不足。 HDFS的业务访问量太大,超过了已有DataNode的负载能力。 处理步骤 查看阈值设置是否合理 在FusiongInsight Manager首页,选择“运维
UI”后的“NameNode(1记录的主机名,x)”,打开NameNode WebUI页面。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 在HDFS“概览”的基本信息区域
Master2节点IP地址 在Manager查看主备管理节点 当前操作仅适用于MRS 3.x及之后版本。 登录Manager页面,具体操作请参考访问MRS集群Manager。 单击“主机”,进入主机页面。 查看并记录主备管理节点IP。 图1 查看并记录主备管理节点IP 主机名称前带有表
业务存在大SQL任务,占用过多计算资源,导致其他提交的任务无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > He
离线数据加载:通过CDM将Hive外表数据迁移到Doris 应用场景 离线数据,端到端时延无要求。在存在DataArts Studio工具的场景下,数据加载使用CDM进行将离线的Hive外表数据迁移到MRS Doris。 方案架构 离线数据可以从数据湖加载,也可以直接加载本地文件
dc=com -w LDAP管理员密码 -e ppolicy | grep krbLoginFailedCount OMS浮动IP地址获取方式:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示OMS浮动IP地址,请记录“inet”的实
更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。 更改Broker单个实例的存储目录需要重新启动实例,该节点Broker实例重启时无法提供服务。 服务参数配置如果使用旧的存储目录,需要更新为新目录。
概览”,选择“更多 > 重启服务”,重启HBase服务。 HBase服务重启期间,HBase服务的业务无法使用,包括数据读写、表相关操作、访问HBase WebUI界面等。 等待几分钟后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行14。 收集故障信息 在FusionInsight
本地(或位于HDFS上)的TsFile文件。 用户可以将TsFile文件写入到HDFS上,进而满足Hadoop、Flink等数据处理任务的访问。 对于写入到HDFS或者本地的TsFile文件,可以利用TsFile-Hadoop或TsFile-Flink连接器,允许Hadoop或Flink进行数据处理。
更改Broker单个实例的存储目录,只对单个实例生效,其他节点Broker实例存储目录不变。 对系统的影响 更改Broker角色的存储目录需要重新启动服务,服务重启时无法访问。 更改Broker单个实例的存储目录需要重新启动实例,该节点Broker实例重启时无法提供服务。 服务参数配置如果使用旧的存储目录,需要更新为新目录。
为它有较好的Encoding/Decoding速度和可以接受的压缩率。 NONE BLOCKSIZE 配置HFile中block块的大小,不同的block块大小,可以影响HBase读写数据的效率。越大的block块,配合压缩算法,压缩的效率就越好;但是由于HBase的读取数据是以
deviceinformationid='1010'; 在执行数据查询操作后,如果查询结果中某一列的结果含有中文字等非英文字符,会导致查询结果中的列不能对齐,这是由于不同语言的字符在显示时所占的字宽不尽相同。 在Spark-shell上使用CarbonData 用户若需要在Spark-shell上使用Car
IDEA中的JDK配置为Oracle JDK。 若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。