检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
log 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。
图表区展示的监控报表,请参考查看MRS集群资源监控指标。 监控图表的数据来源可在图表的左下方查看,每个监控报表可以放大查看具体数值,也可以关闭不再显示。 图5 监控状态的报表 告警分析: MRS 3.3.0及之后版本的Manager主页界面中,告警信息展示页面与历史版本有所不同,具体请以实际页面呈现为准。
lang.IllegalArgu mentException: Illegal character in queryat index 81: https://XXX:20026/Yarn/ResourceManager/21/cluster/scheduler? openQueues= ^default$
在本地Windows环境中调测HetuEngine应用 操作场景 在程序代码完成开发后,可以在Windows环境下进行编译,本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows环境下的Intellij IDEA开发环境中,单击IDEA右侧Maven导入依赖。
的成本开销 简化云存储和对象存储接入 简化数据管理,提供对多数据源的单点访问 应用程序部署简易 有关Alluxio的详细信息,请参见:https://docs.alluxio.io/os/user/stable/cn/Overview.html。 父主题: 组件介绍
配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关 切换Hive执行引擎为Tez Hive负载均衡 配置Hive单表动态视图的访问控制权限
参数优化部分适配于MRS 3.2.0及以后版本。 该规范中与开源社区不一致的点,以本文档为准。 参考资料 Flink开源社区开发文档:https://nightlies.apache.org/flink/flink-docs-stable/。 父主题: Flink应用开发规范
简化数据管理,提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开发,具体的API接口内容请参考https://docs.alluxio.io/os/javadoc/2.0/index.html。 父主题: Alluxio应用开发概述
120 INFO [main] 1.Get http client for sending https request, username is admin, webUrl is https://10.112.16.93:28443/web/. basicAuth.BasicAuthAccess
key”后加密工具执行时会重新生成新的随机密钥并保存在“.loader-tools.key”中。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 shLoader客户端安装目录/Loader/loader-tools-1.99.3/encrypt_toolpassword
安全模式下Yarn和HBase的权限管理默认是开启的,因此在安全模式下默认需要配置Yarn和HBase权限。 在普通模式下,Yarn和HBase的权限管理默认是关闭的,即任何用户都有权限,因此普通模式下默认不需要配置Yarn和HBase权限。如果用户修改了YARN或者HBase的配置来开启权限管理,则
tsd_protocol = https tsd_hostname : 访问OpenTSDB时所连接的TSD实例主机名称。 tsd_port:访问OpenTSDB的端口,默认端口为4242。 tsd_protocol:访问OpenTSDB的请求协议。默认为https。 运行样例。 开发完
使用CDL同步openGauss数据到Hudi(ThirdKafka) 操作场景 本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面,从ThirdKafka导入openGauss数据到Hudi。 前提条件 集群已安装CDL、Hudi服务且运行正常。
使用CDL同步drs-oracle-avro数据到Hudi(ThirdKafka) 操作场景 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从ThirdKafka导入drs-avro-oracle数据库数据到Hudi。 该章节内容适用于MRS
据写入Elasticsearch的功能。 Flink支持1.12.0及以后版本,Elasticsearch支持7.x及以后版本但不支持HTTPS的Elasticsearch集群。 数据规划 如果使用自定义数据源,需保证源端集群和目标端之间网络端口通信正常。 如果使用Kafka,M
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 请求参数 无 响应参数 无 请求示例 删除作业执行对象请求示例 DELETE https://{endpoint}/v1.1/{project_id}/job-executions/{job_execution_id} 响应示例
ergeTree、CollapsingMergeTree、VersionedCollapsingMergeTree引擎,使用方式参见:https://clickhouse.tech/docs/zh/engines/table-engines/mergetree-family/collapsingmergetree/。
ergeTree、CollapsingMergeTree、VersionedCollapsingMergeTree引擎,使用方式参见:https://clickhouse.tech/docs/zh/engines/table-engines/mergetree-family/collapsingmergetree/。
log 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考算子帮助及表3。
log 压缩 使用SFTP协议导入数据时,是否开启压缩传输功能以减小带宽使用。 选择“true”,表示开启压缩。 选择“false”,表示关闭压缩。 true 设置数据转换 单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。