检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
48MB Driver配置 Spark Driver可以理解为Spark提交应用的客户端，所有的代码解析工作都在这个进程中完成，因此该进程的参数尤其重要。
hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令： hetu-cli --catalog clickhouse_1 --schema default 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。
48MB Driver配置 Spark Driver可以理解为Spark提交应用的客户端，所有的代码解析工作都在这个进程中完成，因此该进程的参数尤其重要。
这意味着特殊的谓词，聚合函数或者其他一些操作，可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处： 提升整体的查询性能。 减少HetuEngine和数据源之间的网络流量。 减少远端数据源的负载。
HetuEngine跨源功能简介 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。
根据实际填写 hive_sync.db 选填 Hive的数据库名，默认为default。 根据实际填写 hive_sync.support_timestamp 选填 是否支持时间戳。 True changelog.enabled 选填 是否写入changelog消息。
21428 local_table_name 待导入的本地库名.本地表名。 testdb1.testtb1 thread_num 并发导入线程数。 10 data_format 待导入数据的格式。 CSV is_security_cluster 是否为安全模式集群。
创建Bucket索引表调优 Bucket索引常用设置参数： Spark： hoodie.index.type=BUCKET hoodie.bucket.index.num.buckets=5 Flink index.type=BUCKET hoodie.bucket.index.num.buckets
hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令： hetu-cli --catalog hudi_1 --schema default 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。
cd opt/flume-client/fusionInsight-flume-1.9.0/bin 执行以下命令，生成并得到Flume客户端密钥库密码、信任列表密码和keystore-password加密的私钥信息。
cd opt/flume-client/fusionInsight-flume-1.9.0/bin 执行以下命令，生成并得到Flume客户端密钥库密码、信任列表密码和keystore-password加密的私钥信息。
配置MRS集群告警事件消息通知 MRS联合消息通知服务(SMN)，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。 在MRS管理控制台，按照集群维度，在集群信息页面的告警页签中能够提供选择是否使能通知服务，只有对应集群开关开启以后
MRS 1.5.1.4补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.5.1.4 发布时间 2018-08-23 解决的问题 Spark组件问题： 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下，对数据进行压缩时，出现转换为SHORT_INT
创建FlinkServer数据连接 操作场景 通过数据连接，访问不同的数据服务，当前FlinkServer支持HDFS、Kafka、Redis类型的数据连接。 创建数据连接 访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 数据连接管理
ClickHouse 在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse Scope”，勾选对应数据库的创建权限。单击对应的数据库名称，根据不同任务场景，勾选对应表的“读”、“写”权限，单击“确定”保存。
例如，如下建表语句在default数据库下，创建表名为kafka_src_tbl3，Topic名为kafkacktest2、消息格式为JSONEachRow的Kafka引擎表。
例如，如下建表语句在default数据库下，创建表名为kafka_src_tbl3，Topic名为kafkacktest2、消息格式为JSONEachRow的Kafka引擎表。
访问集群Manager 操作场景 MRS集群使用FusionInsight Manager对集群进行监控、配置和管理，用户在集群安装完成后即可登录FusionInsight Manager。 通过弹性IP访问FusionInsight Manager 登录MRS管理控制台页面。 单击
首先在Spark的配置文件“hive-site.xml”中，查看Hive的数据库路径的配置，默认为“/user/hive/warehouse”。
计费项 MRS集群的计费项由MRS服务管理费用和IaaS基础设施资源费用（弹性云服务器、云硬盘）组成。 图1 MRS费用组成 具体内容如表1所示。 表1 MRS集群计费项 计费项 计费项说明 适用的计费模式 计费公式 MRS服务管理费用 计费因子：MRS服务管理，以核为单位计费，每个
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
