检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
12000ms Spark/Spark2x 内存 JDBCServer2x堆内存使用率统计 JDBCServer2x堆内存使用率统计。 95% JDBCServer2x直接内存使用率统计 JDBCServer2x直接内存使用率统计。 95% JDBCServer2x非堆内存使用率统计 JDBCServer2x非堆内存使用率统计
Snapshot Locking Mode 任务启动执行快照时的锁模式。 minimal:仅在获取数据库schema和其他元数据时,持有全局读锁。 extend:在整个执行快照期间都持有全局读锁,阻塞全部写入操作。 none: 无锁模式,要求启动CDL任务期间不能有schema的变更。 可选参数,单击显示该参数。
设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,设置数据保存方式。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名,用于最终保存传输的数据。 说明: 表名可以使用宏定义,具体请参考Loader算子配置项中使用宏定义。 test
Base NameSpace的RWXA权限)和HDFS权限(对应HFile输出目录的读写权限)。 如果集群已启用Kerberos认证(安全模式),需修改Spark“客户端安装目录/Spark/spark/conf/spark-defaults.conf”配置文件中的“spark.yarn
principal名(即开发用户名)。 security.kerberos.login.principal:flinkuser 对于HA模式,如果配置了ZooKeeper,还需要设置ZK kerberos认证相关的配置。配置如下: zookeeper.sasl.disable:
ive”和登录客户端的用户名,未开启Kerberos认证的集群配置用户名“omm”和登录客户端的用户名。 如需使用Hive在beeline模式下创建表时,配置内置用户“hive”。 单击“确定”。 勾选“我同意授权MRS用户(组)与IAM委托之间的信任关系。”,并单击“确定”,完成MRS用户与OBS权限的映射关系。
设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面参考下表填写参数。 表4 输出设置参数 参数名 说明 示例 架构名称 数据库模式名。 dbo 表名 数据库表名,用于最终保存传输的数据。 test 临时表名 数据库临时表名用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。
主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理,主备集群必须已配置跨集群互信。如果主集群部署为普通模式,不需要配置跨集群互信。 主备集群必须已配置跨集群拷贝。 主备集群上的时间必须一致
不涉及 默认取值: 不涉及 clusterState String 参数解释: 集群状态(默认为英文,当X-Language请求头被设置为zh-cn,该字段会返回中文,因此请谨慎设置X-Language等语言请求头)。 约束限制: 不涉及 取值范围: starting:启动中。 running:运行中。
0, totalShortCircuitBytesRead : 0, totalZeroCopyBytesRead : 0 进入debug模式(可选)。 make gdb 执行该命令之前需要安装GDB,安装步骤可参考安装GDB。 执行结果如下。 [root@10-120-85-2
集群组件包含:Hive等。 Kerberos认证:开启 其他参数根据实际需要进行配置。 集群购买完成后安装集群全量客户端,详细操作请参考安装客户端(3.x版本)。 例如客户端安装路径为“/opt/newclient”。 配置Hive集群存算分离,详细操作请参考配置MRS集群通过IAM委托对接OBS。
yaml”文件中的“parallelism.default”配置选项来指定所有执行环境的默认并行度。 配置进程参数 Flink on YARN模式下,有JobManager和TaskManager两种进程。在任务调度和运行的过程中,JobManager和TaskManager承担了很大的责任。
不涉及 取值范围: 不涉及 默认取值: 不涉及 表5 AvailableTag 参数 参数类型 描述 mode String 参数解释: 模式,分为专属dedicated和共享shared。 约束限制: 不涉及 取值范围: dedicated:专属可用区。 shared:共享可用区。
"MonitorServer:1,2", "Nimbus:1,2", "UI:1,2", "JDBCServer2x:1,2,3", "JobHistory2x:2,3", "SparkResource2x:1,2,3", "oozie:2,3", "LoadBalancer:2,3", "TezUI:1
15补丁前,需要先安装MRS 3.1.0.0.8补丁,以支持root权限的补丁能力。 安装MRS 3.1.0.0.15补丁前,如果之前有装过MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz补丁,需要先卸载该补丁,卸载完之后请等待10分钟再执行MRS 3.1.0
不涉及 默认取值: 不涉及 clusterState String 参数解释: 集群状态(默认为英文,当X-Language请求头被设置为zh-cn,该字段会返回中文,因此请谨慎设置X-Language等语言请求头)。 约束限制: 不涉及 取值范围: starting:启动中。 running:运行中。
处理应用更关注原始数据处理的吞吐量,因此,目前已有的HDFS模型都运作良好。 然而,随着技术的发展,Hadoop逐渐被用于以随机I/O访问模式的操作为主的上层应用上,如Hive、HBase等,而这种时延要求较高的场景中,低时延的高速磁盘(如SSD磁盘)可以得到广泛的应用。为了支持
例。 Doris冷热分离使用实践 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql
由于冷热数据都在同一张表中,因此用户所有的查询操作都只需在一张表内进行。在查询时,建议通过配置TimeRange来指定查询的时间范围,系统将会根据指定的时间范围决定查询模式,包括仅查询热存储、仅查询冷存储或同时查询冷存储和热存储。如果查询时未限定时间范围,则会导致查询冷数据。在这种情况下,查询吞吐量会受到冷存储的限制。
用户名:连接IoTDB数据源的IoTDB用户名。当IoTDB所在集群为非安全模式时,需使用IoTDB默认用户“root”。 密码:连接IoTDB数据源的IoTDB用户密码。当IoTDB所在集群为非安全模式时,需使用IoTDB默认用户“root”的密码。 开启ssl:选择“否”。 (可选)根据需求可添加自定义配置。