检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0万之间的数据丢失。 针对上述背景,提供配置Streaming对接Kafka更高级别的可靠性。对接Kafka可靠性功能开启后,上述场景处理方式如下。 若Spark Streaming应用在运行应用时Kafka上topic的offset变小,则会将Kafka上topic最新的off
Linux:“JDK安装目录/jre/lib/security” Windows:“JDK安装目录\jre\lib\security” 请访问Open JDK开源社区获取JCE文件。 如果客户端程序需要支持SM4加密算法,则需要更新Jar包: 在“客户端安装目录/JDK/jdk/
key上的不同过滤器参数。例如示例中三个COUNT DISTINCT都在user_id列上。Flink可以只使用一个共享状态实例,而不是三个状态实例,以减少状态访问和状态大小,在某些工作负载下可以获得显著的性能提升。 拆分distinct聚合优化聚合中数据倾斜 通过两阶段聚合能消除常规的数据倾斜,但是
ence-fraction指定,默认值0.6)的概率写到磁盘空间使用率低的节点。 第三副本等其他后续副本的存储情况,也参考第二个副本的选择方式。 前提条件 集群里DataNode节点的磁盘总容量偏差不能超过100%。 操作步骤 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。
当合并SummingMergeTree表的数据片段时,ClickHouse会把所有具有相同主键的行进行汇总,将同一主键的行替换为包含sum后的一行记录。 如果主键的组合方式使得单个键值对应于大量的行,则可以显著地减少存储空间并加快数据查询的速度。 AggregatingMergeTree 该引擎继承自Merg
ence-fraction指定,默认值0.6)的概率写到磁盘空间使用率低的节点。 第三副本等其他后续副本的存储情况,也参考第二个副本的选择方式。 前提条件 集群里DataNode节点的磁盘总容量偏差不能超过100%。 操作步骤 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。
resourcemanager.state-store.async.load 对已完成的application采用ResourceManager异步恢复方式。 true yarn.resourcemanager.zk-state-store.num-fetch-threads 启用异步恢复功能
} String url = sBuilder.toString(); 直连Impalad实例时,若当前连接的Impalad实例故障则会导致访问Impala失败。 加载Hive JDBC驱动。 // 加载Hive JDBC驱动 Class.forName(HIVE_DRIVER);
} String url = sBuilder.toString(); 直连Impalad实例时,若当前连接的Impalad实例故障则会导致访问Impala失败。 加载Hive JDBC驱动。 // 加载Hive JDBC驱动 Class.forName(HIVE_DRIVER);
“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 在MRS管理控制台执行健康检查 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
针对实例组进行的配置参数修改,将同时对组内所有的实例生效。 本操作适用于MRS 3.x及之后版本。 管理MRS角色实例组 登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 在Manager界面单击“集群 > 服务”。 单击服务视图中待操作的服务名称。 选择“实例组”。 单击,按照界面提示填写参数。
在Manager修改了服务配置参数并重启了服务,已安装的客户端需要重新下载并安装,或者使用配置文件更新客户端。 更新客户端配置 方法一: 访问集群Manager,在“集群”下拉列表中单击需要操作的集群名称。 选择“更多 > 下载客户端 > 仅配置文件”。 此时生成的压缩文件包含所有服务的配置文件。
Use the new password to log into FusionInsight again. 重启后部分主机与服务可能无法访问并触发告警,执行“restart-RealmConfig.sh”后大约需要1分钟自动恢复。 使用重置后的admin用户及密码(例如Admi
hema变更,用户可以将状态数据编码/解码成二进制数据以支持schema迁移。 Source的容错性支持列表 Sources 支持的Options 容错支持 说明 File source path:必填,文件路径 maxFilesPerTrigger:每次trigger最大文件数(默认无限大)
MRS集群创建成功后,在集群列表中单击MRS集群名称进入集群概览页面。 单击“集群管理页面 ”后的“前往 Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可单击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认
为“777”,将此目录内的日志权限修改为“666”。 集群内节点安装客户端 获取客户端软件包。 参考访问FusionInsight Manager(MRS 3.x及之后版本)访问Manager,单击“集群”在“概览”选择“更多 > 下载客户端”,弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”。
包含Kafka服务的客户端已安装,安装路径如:/opt/client。 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink WebUI,如:flinkuser。 JDBC作为Sink表(以MySQL为例) 在对应数据库如MySQL中创建用于接受数据的空表,如表“customer_t1”。
和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措
言进行Kudu应用程序开发。 Kudu采用的接口与Apache Kudu保持一致,请参考https://kudu.apache.org/apidocs/。 父主题: Kudu应用开发概述
py”为Python客户端样例代码,“python-examples/pyhs2/haconnection.py”为Python客户端接口API。“hive_python_client”脚本提供了直接执行SQL的功能,如:sh hive_python_client 'show ta