检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'url' = 'jdbc:mysql://MySQL的服务器IP:MySQL的服务器端口/mysql', 'table-name' = 'customer_t1', 'username' = 'username', --连接MySQL数据库的用户名 'password'
total_request_count 周期时间内查询总次数 INFO active_success_count 周期时间内主集群查询成功次数 INFO active_error_count 周期时间内主集群查询失败次数 INFO active_timeout_count 周期时间内主集群查询超时次数 INFO
字段类型约束:Hive 3.1不支持String转成int。 UDF不兼容:Hive 3.1版本UDF内的Date类型改为Hive内置。 索引功能废弃。 驱动不兼容:Hive 3.1和Hive 1.2版本的JDBC驱动不兼容。 Hive 3.1对ORC文件列名大小写,下划线敏感。
从该流程可以看出,如果未对这两个配置参数根据具体使用场景进行配置,会造成挂起迹象。建议根据使用场景,配置合适的超时时间,如果是长时间操作,则把超时时间设置长一点;如果是短时间操作,则把超时时间设置短一点。而重试次数可以设置为:“(hbase.client.retries.number)*60*
Hudi MRS 3.1.2及以后 ClickHouse MRS 3.1.1及以后 IoTDB MRS 3.2.0及以后 MySQL MySQL 5.7、MySQL 8.0及以后 Oracle Oracle 12及以后版本 GBase GBase8a V950及以后版本 普通模式 Hive
<path/for/output> <tablename> 注意事项 如果column qualifier上建有索引,在该字段的批量删除操作会失败,即不允许在建有索引的字段上执行批量删除。 如果不设置执行结果输出数据文件(delete.hfile.output),默认是“/tmp/deletedata/表名”。
total_request_count 周期时间内查询总次数 INFO active_success_count 周期时间内主集群查询成功次数 INFO active_error_count 周期时间内主集群查询失败次数 INFO active_timeout_count 周期时间内主集群查询超时次数 INFO
默认值 hoodie.index.class 用户自定义索引的全路径名,索引类必须为HoodieIndex的子类,当指定该配置时,其会优先于hoodie.index.type配置。 "" hoodie.index.type 使用的索引类型,默认为布隆过滤器。可能的选项是[BLOOM |
'id1'; 每天订单量稳定,可采用天作为分区键。 历史分区更新不频繁,主要数据更新在新分区。 调优建议: 使用Bucket索引建表(Spark-SQL),并且索引键为订单ID, 分区键为日期。 定期使用compaction合并日志,提高查询性能。 SQL示例: set hoodie
is FE节点地址,做侵入式修改。 SDK 服务通过MySQL协议与Doris建立连接,部分语言的SDK已经提供了高可用能力,例如MySQL JDBC可以使用自动重试机制,建立连接时通过如下配置设置数据源: jdbc:mysql:loadbalance://[host1][:port]
Doris冷热分离使用实践 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p
口 支持范围:MRS 3.1.3及之后版本 HSBroker 是 否 否 确保业务侧和HetuEngine服务端HSBroker、Coordinator(随机分布在Yarn NodeManger)所在业务节点网络互通 需对外开放Coordinator的IP,端口 支持范围:MRS
解决方法 MRS集群上服务众多,如果不限制端口范围可能导致其他服务端口被占用而导致异常,因此MRS集群给每个服务分配的端口范围是固定的,Flink端口范围是[32326-32390]。 当Flink作业单个taskmanager分配的slot数过多时会导致分配端口不足,可通过在“客户
Records处理: carbon.options.is.empty.data.bad.record 指定空数据是否被视为bad record。有关详细信息,请参阅 Bad Records处理: carbon.options.sort.scope 指定数据加载期间排序的范围。 carbon
Records处理: carbon.options.is.empty.data.bad.record 指定空数据是否被视为bad record。有关详细信息,请参阅 Bad Records处理: carbon.options.sort.scope 指定数据加载期间排序的范围。 carbon
second:表示导入任务的超时时间(单位为秒),如果导入任务在设定的时间内未完成则会被系统取消,状态变为“CANCELLED”。默认超时时间为600秒,如果导入的源文件无法在规定时间内完成导入,可以在Stream Load请求中设置单独的超时时间,或调整“stream_load
<path/for/output> <tablename> 注意事项 如果column qualifier上建有索引,在该字段的批量删除是会失败的,即不允许在建有索引的字段上执行批量删除。 如果不设置执行结果输出数据文件(delete.hfile.output),默认是/tmp/deletedata/表名。
IndexServer2x进程GC时间超出阈值 告警解释 系统每60秒周期性检测IndexServer2x进程的GC时间,当检测到IndexServer2x进程的GC时间超出阈值(连续3次检测超过12秒)时产生该告警。用户可通过“运维 >告警 > 阈值设置 > Spark2x > GC时间 > Ind
端对象存储上的数据提供高速缓存能力,从而来加速计算任务执行。 MemArtsCC在存储层面将远端对象存储(OBS)上的对象进行切片,并建立索引,大幅提升缓存数据的读取性能。通过ZooKeeper实现轻量化的服务发现,提供超高可用性。基于LRU算法管理分片数据的生命周期。 MemArtsCC主要特点
务器”,在“后端服务器”界面查看ELB与后端服务器连接是否正常。 在MySQL客户端使用ELB访问Doris 登录安装了MySQL的节点,执行以下命令连接Doris,详细操作请参见快速使用Doris: mysql -u数据库登录用户 -p数据库登录用户密码 -PELB前端端口 -hELB公网IP地址