检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager,修改该用户初始密码。 集群未启用Kerberos认证(普通模式) 登录安装了MySQL客户端的节点,使用admin用户连接Doris服务。 mysql -uadmin -P数据库连接端口 -hDoris FE实例IP地址 admin用户默认密码为空。 数据库连接端口为Doris
使用具有Doris管理权限的用户通过MySQL客户端连接到Doris。 执行以下命令创建数据库example_db: create database if not exists example_db; 执行以下命令查看数据库信息: SHOW DATABASES; mysql> SHOW DATABASES;
mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html,安装MySQL
配置过滤条件相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 操作:配置操作符。 比较值:配置比较值,可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立,更新字段的值;如果不成立,则不更新。
配置过滤条件相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 操作:配置操作符。 比较值:配置比较值,可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是 无 数据处理规则 首先判断条件是否成立。如果成立,更新字段的值;如果不成立,则不更新。
多流join场景建议join字段设置为主键 如果join字段不为主键,会导致Flink shuffle task按照hash进行数据处理,导致在Flink中无法保序。同时状态后端中同一个join key字段会保留多份,join时会产生笛卡尔积。 比如A表字段为“id, field1”,B表字段为“id
doris_audit_log_tbl__ limit 1; 图1 已执行完成的SQl语句 各字段的介绍请参见表1。 审计日志表字段介绍 表1 审计日志表字段介绍 字段名称 字段类型 字段描述 query_id varchar(48) 查询任务的ID。 time datetime 查询开始时间。
解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。 Hudi clean与archive逻辑解耦,不执行clean也能执行归档。 解决Hudi的.schema目录下文件找不到的问题。 解决Hudi clean触发时偶现文件mv to trash失败,导致.clean为空,影响Flink流读作业的问题。
使用hive-table方式同步数据报错 使用hcatalog方式同步hive parquet表报错 使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错 父主题: 使用Sqoop
示MERGE-ON-READ表。未指定type的话,默认值为“cow”。 preCombineField 表的Pre-Combine字段,该字段为必填字段。 payloadClass 使用preCombineField字段进行数据过滤的逻辑,默认使用DefaultHoodieRe
数据连接类型。 约束限制: 不涉及 取值范围: RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) 默认取值: 不涉及 source_info 是
参数描述 表1 CREATE TABLE As SELECT参数描述 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 using 参数hudi,定义和创建Hudi
使用新建的人机用户重新登录FusionInsight Manager,修改该用户初始密码。 登录安装了MySQL客户端的节点,使用新创建的用户及修改后的密码连接Doris服务。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -udorisuser -p -PFE查询连接端口
0及之后版本集群。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 开启Doris慢查询功能 登录FusionInsight Manager,选择“集群
driver.OracleDriver SQLServer:com.microsoft.jdbc.sqlserver.SQLServerDriver mysql:com.mysql.jdbc.Driver postgresql:org.postgresql.Driver gaussdb200:com
hmap作为缓存,以提高聚合性能。hashmap替代了之前的ColumnarBatch支持,从而避免拥有聚合表的宽模式(大量key字段或value字段)时产生的性能问题。 操作步骤 要启动聚合算法优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。
否,请执行7。 在“字段映射”填写字段对应关系。然后执行7。 “字段映射”的对应关系,表示用户数据中每一列与数据库的表字段的匹配关系。 表1 “字段映射”属性 参数 说明 列号 表示业务数据的字段顺序。 样本 表示业务数据的第一行值样例。 列族 “目的连接”为hbase-conn
blocksize”,将其设置为268435456,上传数据,block大小还是原来的大小。 原因分析 HDFS客户端的“hdfs-site.xml”文件中的dfs.blocksize大小没有更改,以客户端配置为准。 解决办法 确保“dfs.blocksize”为512的倍数。 重新下载安装客户端或者更改客户端配置。
使用BulkLoad工具批量删除HBase数据 操作场景 BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase数据做批量删除。 使用BulkLoad工具批量删除HBase数据 执行如下命令删除从“row_start”到“row_stop”的行,并且
hmap作为缓存,以提高聚合性能。hashmap替代了之前的ColumnarBatch支持,从而避免拥有聚合表的宽模式(大量key字段或value字段)时产生的性能问题。 操作步骤 要启动聚合算法优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。