检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SERDNSDOMAIN”,变量值设为非空字符串,图中以“test”为例。 连续单击“确定”,完成系统环境变量的设置。 关闭样例工程,重新打开,运行。 查看调测结果 查看运行结果获取应用运行情况 HdfsExample Windows样例程序运行结果如下所示。 ... 1308 [main]
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 “基本信息”界面
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 基本信息界面
ght_Cluster_1_Services_ClientConfig/Hive/config”下的“hive-site.xml”文件。 打开“hive-site.xml”文件,搜索“hive.metastore.uris”,其对应的值即为Metastore URL的值。搜索“hive
解决Flinkserver SQL校验失败的问题。 解决Flink客户端不支持-yD或-D配置keytab和principal的问题。 解决Flink算子chain打开时sink算子出现异常被source算子捕获,作业tm不失败的问题。 解决MRS实时任务告警通知不显示具体作业名称的问题。 解决Flume自定义时间拦截器未生效的问题。
compaction.enable true 该参数用于配置打开/关闭水平压缩。在每个DELETE和UPDATE语句之后,如果增量(DELETE / UPDATE)文件超过指定的阈值,则可能发生水平压缩。默认情况下,该参数值设置为“true”,打开水平压缩功能,可将参数值设置为“false”来关闭水平压缩功能。
Flink对Hudi表的COW表、MOR表类型读写支持详情见表1。 表1 Flink对Hudi表的读写支持 Flink SQL COW表 MOR表 批量写 支持 支持 批量读 支持 支持 流式写 支持 支持 流式读 支持 支持 前提条件 集群已安装HDFS、Yarn、Flink和Hudi等服务。 包
compaction.enable true 该参数用于配置打开/关闭水平压缩。在每个DELETE和UPDATE语句之后,如果增量(DELETE / UPDATE)文件超过指定的阈值,则可能发生水平压缩。默认情况下,该参数值设置为“true”,打开水平压缩功能,可将参数值设置为“false”来关闭水平压缩功能。
登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“租户管理”。 单击“添加租户”,打开添加租户的配置页面,根据集群版本参见对应表格内容为租户配置属性。 表1 租户参数一览表(MRS 3.x版本) 参数名 示例 描述 名称 ta1
请尝试重新发起调用,或联系技术支持,或检查集群状态是否正常 400 0161 Failed to delete jobs in batches. 批量删除作业失败 请尝试重新发起调用,或联系技术支持,或检查集群状态是否正常 400 0162 Failed to query the job
在“配置”区域“监控和告警配置”下,单击“监控指标转储配置”。 表3介绍转储参数。 表3 转储参数 参数名称 参数说明 是否必选 监控指标转储开关 指定是否打开监控指标数据对接功能。 是 FTP IP地址 指定监控指标数据对接后存放监控文件的FTP服务器。 是 FTP端口 指定连接FTP服务器的端口。
则拥有该租户的逻辑集群相关权限。 创建ClickHouse租户 登录FusionInsight Manager,单击“租户资源”。 单击,打开添加租户的配置页面,参见表1为租户配置属性。 表1 租户参数一览 参数名 描述 集群 选择要创建租户的集群。 名称 指定当前租户的名称,长
chPartitions算子一次性处理一个partition的数据,那么对于每个 partition,只要创建一个数据库连接即可,然后执行批量插入操作,此时性能是比较高的。 RDD共享变量 在应用开发中,一个函数被传递给Spark操作(例如map和reduce),在一个远程集群上
keep.min.commits 归档操作保留的commit数。 20 hoodie.commits.archival.batch 这控制着批量读取并一起归档的提交即时的数量。 10 hoodie.parquet.small.file.limit 该值应小于maxFileSize,
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 “基本信息”界面
群名称,进入集群信息页面。 在集群详情页,单击“租户管理”。 在左侧租户列表,将光标移动到需要添加子租户的租户节点上,单击“添加子租户”,打开添加子租户的配置页面,参见以下表格内容为租户配置属性。 表1 租户参数一览表(MRS 3.x版本) 参数名 示例 描述 名称 ta1 指定
检查网络是否存在问题,如果网络没有问题,检查是否配置主机和IP的对应关系 Linux 执行cat /etc/hosts命令。 Windows 打开“C:\Windows\System32\drivers\etc\hosts”。 解决方法参考4。 解决办法 ZooKeeper连接地址配置错误。
Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 “基本信息”界面
Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面 单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 “基本信息”界面