检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Doris对接Hudi数据源 配置Spark读写Doris数据 配置Flink读写Doris数据 通过JDBC Catalog对接MySQL/Doris数据源 父主题： Doris企业级能力增强
CDL常见问题 为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后，该用户仍能够操作自己创建的任务 父主题： 使用CDL
后缀名 源文件导入成功后对输入文件增加的后缀值。该值为空，表示不加后缀。 压缩 使用SFTP协议导数据时，是否开启压缩传输功能以减小带宽使用。“true”为开启压缩，“false”为关闭压缩。 hdfs-connector 输入路径 HDFS中源文件的输入路径。 路径过滤器
说明： 该配置仅用于MySQL专用连接器，当数据列内容中包含默认分隔符时，需要设置自定义分隔符，否则会出现数据错乱。 string 否 , 换行分隔符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 说明： 该配置仅用于MySQL专用连接器，当数
添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB数据源 添加MySQL数据源 添加Oracle数据源 添加GBase数据源 父主题： 使用HetuEngine
说明： 该配置仅用于MySQL专用连接器，当数据列内容中包含默认分隔符时，需要设置自定义分隔符，否则会出现数据错乱。 string 否 , 换行分隔符 用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 说明： 该配置仅用于MySQL专用连接器，当数
使用hive-table方式同步数据报错 使用hcatalog方式同步hive parquet表报错 使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错 父主题： 使用Sqoop
默认队列。使用此参数时，业务用户需要具有该租户对应角色的权限。MRS 3.3.0及以后版本是否可选根据如下判断： 可选：未启用租户的严格校验模式。 必选：启用了租户的严格校验模式。 --schema：（可选）指定要访问数据源下的schema名称。 --user：（普通模式下必选）
使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS Hive 使用CDM服务迁移MRS HDFS数据至OBS
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 配置ClickHouse对接HDFS源文件（MRS 3.2.0-LTS） 配置ClickHouse对接HDFS源文件（MRS 3.3.0-LTS及之后版本）
GROUP BY a,b; 命令执行后查看各个分组的数据条数是否相差不大，如果相差超过2/3或1/2，则需要重新选择分桶字段。 2千万以内数据禁止使用动态分区。动态分区会自动创建分区，而小表用户关注不到，会创建出大量不使用的分区分桶。 创建表时，排序键key不能太多，一般建议3~5个
计日志文件去统计并分析业务量、业务类型等。Doris审计日志表功能默认是关闭的，可通过参数“enable_audit_log_table”开启该功能。 该功能仅适用于MRS 3.5.0及之后版本。 当前审计日志表功能中未记录Broker Load、Export、Stream Lo
已安装包含HetuEngine服务的集群客户端，安装目录如“/opt/hadoopclient”。 HetuEngine服务及计算实例运行状态正常。 如集群已启用Kerberos认证，需提前创建HetuEngine的用户并授予相关权限，且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限。
离线数据加载：通过Doris Catalog读取Hive外表数据并写入Doris 离线数据加载：通过Doris Catalog读取RDS-MySQL数据并写入Doris 离线数据加载：通过Spark视图读取Hive外表数据并写入Doris 离线数据加载：通过StreamLoad将本地CSV文件导入Doris
管理Loader连接（MRS 3.x及之后版本） Loader作业源连接配置说明 Loader作业目的连接配置说明 管理Loader作业 准备MySQL数据库连接的驱动 数据导入 数据导出 作业管理 算子帮助 客户端工具说明 Loader日志介绍 样例：通过Loader将数据从OBS导入HDFS
单击“保存”。 查看作业 访问Loader页面，默认显示Loader作业管理页面。 如果集群启用了Kerberos认证，则默认显示所有当前用户创建的作业，不支持显示其他用户的作业。 如果集群未启用Kerberos认证，则显示集群中全部的作业。 在“Sqoop作业”中输入指定作业的名称或连接类型，可以筛选该作业。
启动从PgSQL中抓取数据到Hudi任务报错 现象描述 启动从PgSQL中抓取数据到Hudi任务报错：Record key is empty 可能原因 Hudi表主键参数“table.primarykey.mapping”未配置。 处理步骤 登录FusionInsight Manager，选择“集群
batch”或“TabletWriter add batch with unknown id”。 原因分析 系统并发量较大或数据量大导致任务执行超时。 处理步骤 登录MySQL客户端，执行以下命令适当调大“query_timeout”参数值，默认为300秒。 SET GLOBAL query_timeout =
unt(*)查询。同时因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语意正确性。 Unique模型针对需要唯一主键约束的场景，可以保证主键唯一性约束。但是无法利用ROLLUP等预聚合带来的查询优势。适合数据有大量更新的场景。对于聚合查询有较高性能需求的用户，推荐使用写时合并实现。
本代码样例操作流程如下： 使用JDBC连接到Doris。 创建数据库。 在数据库中创建表。 向表中插入数据。 查询表数据。 删除表。 开发思路 Doris兼容MySQL协议，使用SQL语言就可以进行常见的操作。 开发流程主要分为以下几部分： 建立连接：建立和Doris服务实例的连接。 创建库：创建Doris数据库。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
