华为云用户手册

数据保护技术 流水线通过多种数据保护手段和特性，保证通过流水线的数据安全可靠。 表1 流水线的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密（HTTPS） 流水线所有API均采用HTTPS传输协议。 构造请求 个人数据保护 流水线通过控制个人数据访问权限以及记录操作日志等方法防止个人数据泄露，保证您的个人数据安全。 云审计 服务支持的操作列表 隐私数据保护 涉及到用户的数据库账号信息需要存储时，提供敏感 数据加密 存储。 - 数据备份 支持用户数据备份。 - 父主题： 安全

身份认证与访问控制 身份认证 用户访问流水线的方式有多种，包括流水线用户界面、API，无论访问方式封装成何种形式，其本质都是通过流水线提供的REST风格的API接口进行请求。 流水线的接口需要经过认证请求后才可以访问成功。流水线支持两种认证方式： Token认证：通过Token认证调用请求，访问流水线服务用户界面默认使用Token认证。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。推荐使用AK/SK认证，其安全性比Token认证要高。请参见AK/SK鉴权。关于认证鉴权的详细介绍及获取方式，请参见认证鉴权。 访问控制 流水线支持通过权限控制（ IAM 权限）进行访问控制。 表1 流水线访问控制 访问控制方式 简要说明 详细介绍 权限控制 IAM权限 IAM权限是作用于云资源的，IAM权限定义了允许和拒绝的访问操作，以此实现云资源权限访问控制。默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限。 IAM产品介绍、流水线权限管理 父主题： 安全

责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的 云安全 挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。 华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施，包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题： 安全

规格与限制 表2 流水线使用限制 指标类别 指标项 限制值 流水线服务 单租户下最大流水线条数 5000 最大同时执行并发数 体验版：1 基础版：5 专业版：10 企业版：20 单租户下最大标签数量 100 单项目下最大标签数量 100 单项目下最大通用参数组数量 5 单项目下最大分组数量 100 单租户下最多任务模板数量 5000 单项目下最多任务模板数量 100 单条流水线 最大Stage阶段数量 16 最大Job任务数量 256 单阶段最大Job任务数量 100 最大Step步骤数量 512 单Job最大Step步骤数量 16 最大自定义参数个数 100 最大源码仓库数 1 审核任务最大审核人数 10 延时任务最大延时次数 3 历史执行记录最大保留天数 90 最大配置定时任务个数 10 最大支持监听分支条件数 32 最大支持监听路径条件数 32 表3 发布管理限免版本使用限制 指标类别 指标项 限制值 云原生发布 单项目下最大环境数量 50 单个环境最大策略数量 5 单个策略最大任务数量 10 单个环境最大自定义环境变量个数 50 单个环境最大自定义环境变量可查看历史版本数 20 表4 策略使用限制 指标类别 指标项 限制值 策略管理 单租户下最大自定义规则条数 2000 单租户下所有项目中项目级策略最大总和 1000 单租户下最大自定义策略条数 500 单项目下最大自定义策略条数 100 单策略中最大自定义规则条数 20 表5 微服务使用限制 指标类别 指标项 限制值 微服务 单租户下最大微服务数量 500 单项目下最大微服务数量 50 表6 变更使用限制 指标类别 指标项 限制值 变更 单个微服务下最大进行中的变更数量（即处于开发中、待发布、发布中的变更总数） 50 单个变更关联最大关联工作项数量 10 发布流水线最大运行变更数量 10

命名限制 表1 流水线命名限制 限制项 说明 流水线名称 支持中文、大小写英文字母、数字、“-”、“_”。 长度范围为1~128个字符。 规则名称 支持中文、大小写英文字母、数字、“-”、“_”。 长度范围为1~128个字符。 策略名称 支持中文、大小写英文字母、数字、“-”、“_”。 长度范围为1~128个字符。 自定义插件名称 支持空格、中文、大小写英文字母、数字、“-”、“_”、“.”。 长度范围为1~50个字符。 参数名称 支持大小写英文字母、数字、“_”。 长度范围为1~128个字符。

基本概念 表1 流水线服务基本概念 词汇 定义 任务编排 用户基于生产交付业务流编排流水线阶段和任务，通常是在流水线新建、复制和编辑操作场景下进行定义。 阶段 阶段是流水线上的基本组成部分，主要用于对流水线纳管的“构建”、“代码检查”、“接口测试”、“部署”等执行任务做业务流程上的分类编排管理，方便聚合管理业务关联性强的执行任务，让流水线上的业务流更加直观。 任务 任务是流水线上可管理的最小执行单元，可以在流水线阶段中进行纳管和串并行编排，通常是“构建”、“代码检查”、“接口测试”、“部署”等类型的任务。 执行计划 执行计划用于定义流水线自动触发的一些配置规则和运行规则，通过配置执行计划可以使流水线的自动化运行更加灵活易用。 准出条件 用户在定义流水线时，在阶段中配置的用于进行自动化看护的质量指标卡点，通过配置策略，来实现阶段准出的校验，并最终控制流水线的执行。 流水线模板 用于复用创建流水线的模板。

什么是流水线 流水线（CodeArts Pipeline）提供可视化、可编排的CI/CD持续交付软件生产线，帮助企业快速转型，实现DevOps持续交付高效自动化，缩短应用TTM（Time to Market）交付周期，提升研发效率。 流水线本质上是一个可视化的自动化任务调度平台，需要配合软件开发生产线中编译构建、代码检查、测试计划、部署等服务的自动化任务使用。根据用户需要的场景，如开发测试环境应用部署、生产环境应用部署等，对这些自动化任务进行自定义编排，一次配置后就可以一键自动化触发调度执行，避免频繁低效的手工操作。 流水线是软件开发生产线中的一个服务，不支持单独购买，需配合软件开发生产线其他服务使用，开通任意软件开发生产线套餐即可使用。CodeArts采用包年/包月计费模式，提供体验版、基础版、专业版、企业版四种套餐，以满足不同规模用户的使用需求，购买开通方式请参考购买CodeArts。 流水线服务包括以下特性： 表1 流水线服务主要功能特性 特性 描述 流水线自定义编排 可根据用户使用场景的需要，对构建、代码检查、子流水线、仓库管理、部署、延时执行、人工审核、接口测试等多种类型的任务进行纳管和执行编排。 流水线可视化增删改查 提供图形化界面的流水线创建、编辑、删除和执行状态查看功能。其中，查看功能支持跳转到对应的任务界面查看其日志等详情信息。 流水线插件管理 插件平台内置多款经典系统插件，满足DevOps日常需求，同时支持插件自定义能力，业务团队开发者可根据自己业务自定义开发流水线插件，以扩展流水线自动化调度能力覆盖的业务范围。 流水线执行参数配置 流水线支持自定义参数，在执行时由用户指定参数值，任务用指定值替换相应参数执行。 流水线执行计划 支持配置事件触发、定时任务、并发策略和抢占策略四种执行计划。 流水线权限管理 支持在项目中配置各角色默认的流水线权限；支持在流水线任务中配置各角色和人员的查看、执行、编辑和删除权限。 流水线通知订阅 用户可根据需要设置事件发生时是否发送通知。 流水线串/并行执行配置 根据用户需求，可配置同一阶段内的任务串行执行或并行执行。 流水线部分任务执行 根据用户需求，可选择流水线中的某一个或多个任务单独执行。 流水线历史执行记录 支持查看流水线最近90天的历史执行记录。 流水线微服务变更 支持基于微服务的DevOps轻量变更模式。 流水线策略分层管理 在租户级和项目级都有策略，实现租户的全局管控和项目的局部管控。 流水线自定义规则 提供了自定义规则能力，可以根据实际需求从插件市场中选择插件生成规则。 流水线准出条件 支持创建规则、策略以实现流水线准出条件的统一管控。 发布管理服务 提供调测与发布编排、自动化上线的发布管理服务，支撑产品DevOps持续交付。

配置流水线钉钉通知 将流水线信息推送到钉钉。 访问CodeArts Pipeline首页。 在流水线列表页搜索目标流水线，单击操作列，选择“编辑”。 进入流水线“任务编排”页面，切换至“通知订阅”页面。 单击“第三方通知”下“钉钉”，根据需要填写通知信息，填写完成后即可激活通知。 图4 配置钉钉通知 表2 配置钉钉通知 操作项 说明 URL 填写钉钉机器人通知URL。 加签密钥 钉钉自定义机器人可以开启安全设置，若未使用加签，无需填写加签密钥。 事件类型 选择要通知的事件，可选择已完成、失败、暂停、挂起、忽略五种事件类型。 通知内容 选择要通知的内容，可选择流水线名称、流水线执行描述、执行人、触发信息、项目名称、执行时间、运行状态七种通知内容。 @user_id 填写要接受通知的飞书的user_id，多个user_id之间以逗号分隔。 配置完成后，保存流水线。

配置流水线飞书通知 将流水线信息推送到飞书。 访问CodeArts Pipeline首页。 在流水线列表页搜索目标流水线，单击操作列，选择“编辑”。 进入流水线“任务编排”页面，切换至“通知订阅”页面。 单击“第三方通知”下“飞书”，根据需要填写通知信息，填写完成后即可激活通知。 图5 配置飞书通知 表3 配置飞书通知 操作项 说明 URL 填写飞书机器人通知URL。 事件类型 选择要通知的事件，可选择已完成、失败、暂停、挂起、忽略五种事件类型。 通知内容 选择要通知的内容，可选择流水线名称、流水线执行描述、执行人、触发信息、项目名称、执行时间、运行状态七种通知内容。 @user_id 填写要接受通知的飞书的user_id，多个user_id之间以逗号分隔。 加签密钥 飞书自定义机器人可以开启安全设置，若未使用加签，无需填写加签密钥。 配置完成后，保存流水线。

配置流水线站内 消息通知 通过服务动态的方式推送通知。流水线执行成功、执行失败、被删除以及配置被更新时，可以配置给创建人、执行人、收藏人发送服务动态。 访问CodeArts Pipeline首页。 在流水线列表页搜索目标流水线，单击操作列，选择“编辑”。 进入流水线“任务编排”页面，切换至“通知订阅”页面。 单击“系统消息”下“站内消息通知”，根据需要开启/关闭通知。 在流水线首页右上角单击，会弹出“通知”侧滑框，即可查看通知消息。 图1 配置服务动态通知 配置完成后，保存流水线。

配置流水线邮件消息通知 通过邮件通知的方式推送通知。流水线执行成功、执行失败、被删除以及配置被更新时，可以配置给创建人、执行人、收藏人发送邮件。 访问CodeArts Pipeline首页。 在流水线列表页搜索目标流水线，单击操作列，选择“编辑”。 进入流水线“任务编排”页面，切换至“通知订阅”页面。 单击“系统消息”下“邮件通知”，根据需要开启/关闭通知。 图2 配置邮件通知 配置完成后，保存流水线。

配置流水线企业微信通知 将流水线信息推送到企业微信。 访问CodeArts Pipeline首页。 在流水线列表页搜索目标流水线，单击操作列，选择“编辑”。 进入流水线“任务编排”页面，切换至“通知订阅”页面。 单击“第三方通知”下“企业微信”，根据需要填写通知信息，填写完成后即可激活通知。 图3 配置企业微信通知 表1 配置企业微信通知 操作项 说明 URL 填写企业微信机器人通知URL。 事件类型 选择要通知的事件，可选择已完成、失败、暂停、挂起、忽略五种事件类型。 通知内容 选择要通知的内容，可选择流水线名称、流水线执行描述、执行人、触发信息、项目名称、执行时间、运行状态七种通知内容。 @user_id 填写要接受通知的企业微信的user_id，多个user_id之间以逗号分隔。 配置完成后，保存流水线。

监控指标中存在已拒绝的连接数是什么原因？ 当监控指标中出现“已拒绝的连接数”时，请确认客户端连接数是否已经超过实例的最大连接数限制。 Redis 4.0及以上版本的实例，仅在主备、集群和读写分离实例的数据节点中支持查看“已拒绝的连接数”。 查看最大连接数：单击实例名称，进入实例详情页面，选择“配置参数”页签，查看maxclients参数的值（读写分离实例暂不支持该参数，可通过D CS 实例规格查询实例最大连接数）。 查看实际连接数：单击实例名称，进入实例详情页面，选择“性能监控”页签，找到“活跃的客户端数量”监控项查看。 如果客户端连接数已到达连接上限，可以根据需要调整maxclients参数，如果maxclients参数已经是最大可配连接数，仍不满足需求，则需要考虑增加实例分片。 父主题： 监控告警

迁移实例数据 登录分布式缓存服务管理控制台。 在管理控制台左上角单击，选择源Redis所在的区域。 单击左侧菜单栏的“数据迁移”。页面显示迁移任务列表页面。 单击右上角的“创建在线迁移任务”。 设置迁移任务名称和描述。 配置在线迁移任务虚拟机资源的VPC、子网和安全组。 迁移任务需要与源Redis和目标Redis实例网络互通，请选择与Redis实例相同的VPC。 迁移任务创建后，会占用一个租户侧IP，即控制台上迁移任务对应的“迁移机IP”，如果目标Redis配置了IP白名单，需要放通迁移机IP。 迁移任务所选安全组的“出方向规则”需放通源端Redis和目标端Redis的IP和端口（安全组默认情况下为全部放通，则无需单独放通），以便迁移任务的虚拟机资源能访问源Redis和目标Redis。 在线迁移任务创建完成后，单击在线迁移任务右侧“操作”列的“配置”，配置在线迁移的源Redis、目标Redis等信息。 迁移方法请选择“全量迁移＋增量迁移”，仅当选择“全量迁移＋增量迁移”的迁移方法时，支持通过控制台交换源端与目标端实例的IP地址。如果选择“全量迁移”，需要手动切换业务连接Redis的IP地址。 表1 在线迁移方法说明 迁移类型 描述 全量迁移 该模式为Redis的一次性迁移，适用于可中断业务的迁移场景。全量迁移过程中，如果源Redis有数据更新，这部分更新数据不会被迁移到目标Redis。 全量迁移＋增量迁移 该模式为Redis的持续性迁移，适用于对业务中断敏感的迁移场景。增量迁移阶段通过解析日志等技术， 持续保持源Redis和目标端Redis的数据一致。 增量迁移，迁移任务会在迁移开始后，一直保持迁移中状态，不会自动停止。需要您在合适时间，在“操作”列单击“停止”，手动停止迁移。停止后，源端数据不会丢失，只是目标端不再写入数据。增量迁移在传输链路网络稳定情况下是秒级时延，具体的时延情况依赖于网络链路的传输质量。 当迁移方法选择“全量迁移+增量迁移”时，支持选择是否启用“带宽限制”。 启用带宽限制功能，当数据同步速度达到带宽限制时，将限制同步速度的继续增长。 选择是否“自动重连”。如开启自动重连模式，迁移过程中在遇到网络等异常情况时，会无限自动重连。 自动重连模式在无法进行增量同步时，会触发全量同步，增加带宽占用，请谨慎选择。 “源Redis实例”和“目标Redis实例”，请分别选择需要升级的Redis 3.0实例和新建的高版本Redis实例。 如果源Redis和目标Redis为密码访问模式，请分别在“源Redis实例密码”和“目标Redis实例密码”处输入实例密码后，单击密码右侧的“测试连接”，检查实例密码是否正确、网络是否连通。如果源Redis和目标Redis为免密访问模式，无需输入密码，直接单击“测试连接”。 在“源DB”和“目标DB”中，可以选择是否需要指定具体迁移的DB。例如源端输入5，目标端输入6时，表示迁移源Redis DB5中的数据到目标Redis的DB6。当源端不指定DB，目标端指定DB时，表示默认迁移源端的全部数据到目标端指定的DB；当目标端不指定DB时，表示默认迁移到与源端对应的DB。本次操作“源DB”和“目标DB”置空即可。 单击“下一步”。 确认迁移信息，然后单击“提交”，开始创建迁移任务。 可返回迁移任务列表中，观察对应的迁移任务的状态，迁移成功后，任务状态显示“成功”。 如果是增量迁移，会一直保持迁移中的状态。 如需手动停止迁移，请选中需要停止的迁移任务，单击“停止”。 数据迁移后，目标端与源端重复的Key会被覆盖。 如果出现迁移失败，可以单击迁移任务名称，进入迁移任务详情页面，查看“迁移日志”。

前提条件 创建与Redis 3.0相同VPC和子网，相同实例类型、相同访问密码、且规格不小于原实例规格的高版本Redis实例。例如，用户需要将Redis 3.0 16GB主备实例升级到Redis 5.0版本，则需要提前创建一个不小于16GB的Redis 5.0主备实例。 创建Redis实例的操作，请参考创建DCS Redis缓存实例。 手动备份Redis 3.0源实例数据。备份数据的操作，请参考如何导出Redis实例数据？。

迁移后验证 数据迁移前如果目标Redis中数据为空，迁移完成后，可以通过以下方式确认数据的完整性： 连接源Redis和目标Redis。连接Redis的方法请参考Redis-cli客户端连接Redis。 输入info keyspace，查看keys参数和expires参数的值。 对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致，则表示数据完整，迁移正常。 注意：如果是全量迁移，迁移过程中源Redis更新的数据不会迁移到目标实例。

约束与限制 DCS Redis 3.0实例支持绑定弹性IP公网访问，Redis 4.0及以上版本的实例不支持直接绑定弹性IP，公网访问方式需通过ELB实现，开启Redis 4.0及以上版本实例公网访问的方式请参考开启Redis公网访问并获取公网访问地址，如果用户业务依赖公网访问，升级前请先进行评估。 通过数据迁移的方式升级Redis版本，对客户业务可能有以下影响： 数据同步完成后，需要交换源Redis与目标Redis实例的IP地址，交换IP地址时会有一分钟内只读和30秒左右的中断。 如果升级后实例与原实例密码不一致，数据同步完成后，需要切换访问Redis的密码，切换时需要停止业务。因此，建议升级前后实例密码保持一致。 建议在业务低峰期进行实例升级操作。

方案概述 Redis开源社区自2019年5月19日发布Redis 3.0最后一个小版本后，一直未对Redis 3.0进行更新。华为云DCS也于2021年3月发布了停售DCS Redis 3.0的公告。 鉴于Redis 3.0版本较老，开源社区已不再对其进行更新，DCS提供的Redis 4.0/5.0/6.0/7.0高版本兼容Redis 3.0，建议客户尽快将DCS Redis 3.0升级到高版本。 DCS暂不支持直接升级实例版本，只能通过数据迁移将低版本实例中的数据迁移到高版本，从而实现Redis版本升级。本章节介绍如何通过数据迁移+交换实例IP的方式升级Redis 3.0实例到高版本。

不同实例类型的副本和分片数 单机实例：单机实例只有1个节点，1个Redis进程，当Redis进程故障后，DCS为实例重新拉起一个新的Redis进程。 主备/读写分离实例：分片数为1，包含一个主节点，一个或多个备节点。当主节点出现故障时，会进行主备倒换，恢复业务。 集群实例：集群实例由多个分片组成，每个分片默认是一个双副本的主备实例。例如一个3分片，2副本的集群实例，则每个分片都有2个节点（1个主节点，1个备节点）。 实例类型 分片数 副本数 负载均衡 占用IP数 单机 单分片 单副本，不支持多副本 - 1个 主备 单分片 默认双副本，支持配置为2-10副本 企业版主备实例仅支持2副本 不支持 占用IP个数=副本数 读写分离 单分片 默认双副本，支持2-6副本 支持 1个 Proxy集群 多分片 双副本，不支持其他副本数 支持 1个 Cluster集群 多分片 默认双副本，支持配置为1-5副本 不支持 占用IP个数=副本数*分片数

Duplicate模型 数据既没有主键，也没有聚合需求时，可以使用Duplicate数据模型建表。Duplicate模型数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留。 而在建表语句中指定的DUPLICATE KEY，只是用来指明底层数据按照指定的列进行排序。 建Duplicate模型表语句如下： CREATE TABLE IF NOT EXISTS example_db.example_tbl ( `timestamp` DATETIME NOT NULL COMMENT "日志时间", `type` INT NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息", `op_id` BIGINT COMMENT "负责人id", `op_time` DATETIME COMMENT "处理时间" ) DUPLICATE KEY(`timestamp`, `type`, `error_code`) DISTRIBUTED BY HASH(`type`) BUCKETS 1 PROPERTIES ( "replication_allocation" = "tag.location.default: 1" );

基本概念 在Doris中，数据以表（Table）的形式进行逻辑上的描述。 一张表包括行（Row）和列（Column），Row即用户的一行数据，Column用于描述一行数据中不同的字段。Column可以分为Key和Value两大类，从业务角度看，Key和Value可以分别对应维度列和指标列。 Doris的数据模型主要分为以下三类： Aggregate Unique Duplicate 更多Doris数据模型介绍请参见Doris数据模型。在MySQL客户端连接Doris后创建表具体操作请参见快速使用Doris。

Aggregate模型 建Aggregate模型表语句示例如下： CREATE TABLE IF NOT EXISTS example_db.example_tbl ( `user_id` LARGEINT NOT NULL COMMENT "用户id", `date` DATE NOT NULL COMMENT "数据灌入日期时间", `city` VARCHAR(20) COMMENT "用户所在城市", `age` SMALLINT COMMENT "用户年龄", `gender` TINYINT COMMENT "用户性别", `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间", `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费", `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间", `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间" ) AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `gender`) DISTRIBUTED BY HASH(`user_id`) BUCKETS 1 PROPERTIES ( "replication_allocation" = "tag.location.default: 1" ); 当导入数据时，对于Key列相同的行会聚合成一行，而Value列会按照设置的AggregationType进行聚合。 AggregationType目前有以下四种聚合方式： SUM：求和，多行的Value进行累加。 REPLACE：替代，下一批数据中的Value会替换之前导入过的行中的Value。 MAX：保留最大值。 MIN：保留最小值。 表中的列按照是否设置了AggregationType，分为Key (维度列) 和Value（指标列）。例如，没有设置AggregationType的，如user_id、date、age等称为Key，而设置了AggregationType的称为Value。

Unique模型 读时合并 这类表没有聚合需求，只需保证主键（user_id和username）的唯一性。且Unique模型的读时合并实现完全可以用Aggregate模型中的REPLACE方式替代。建表示例如下： CREATE TABLE IF NOT EXISTS example_db.example_tbl ( `user_id` LARGEINT NOT NULL COMMENT "用户id", `username` VARCHAR(50) NOT NULL COMMENT "用户昵称", `city` VARCHAR(20) COMMENT "用户所在城市", `age` SMALLINT COMMENT "用户年龄", `gender` TINYINT COMMENT "用户性别", `phone` LARGEINT COMMENT "用户电话", `address` VARCHAR(500) COMMENT "用户地址", `register_time` DATETIME COMMENT "用户注册时间" ) UNIQUE KEY(`user_id`, `username`) DISTRIBUTED BY HASH(`user_id`) BUCKETS 1 PROPERTIES ( "replication_allocation" = "tag.location.default: 1" );

数据模型的选择建议 因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，适合有固定模式的报表类查询场景，但是该模型不适用于count(*)查询。同时因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语义正确性。 Unique模型针对需要唯一主键约束的场景，可以保证主键唯一性约束。但是无法利用ROLLUP等预聚合带来的查询优势。 对于聚合查询有较高性能需求的用户，推荐使用写时合并实现。 Unique模型仅支持整行更新，如果用户既需要唯一主键约束，又需要更新部分列（例如将多张源表导入到一张Doris表的场景），则可以考虑使用Aggregate模型，同时将非主键列的聚合类型设置为REPLACE_IF_NOT_NULL。 Duplicate适合任意维度的Ad-hoc查询。虽然无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势（只读取相关列，而不需要读取所有Key列）。

多流Join场景支持配置表级别的TTL时间 本章节适用于 MRS 3.3.0及以后版本。 在Flink双流Join场景下，如果Join的左表和右表其中一个表数据变化快，需要较短时间的过期时间，而另一个表数据变化较慢，需要较长时间的过期时间。目前Flink只有表级别的TTL（Time To Live：生存时间），为了保证Join的准确性，需要将表级别的TTL设置为较长时间的过期时间，此时状态后端中保存了大量的已经过期的数据，给状态后端造成了较大的压力。为了减少状态后端的压力，可以单独为左表和右表设置不同的过期时间。不支持where子句。 可通过使用Hint方式单独为左表和右表设置不同的过期时间，如左表（state.ttl.left）设置TTL为60秒，右表（state.ttl.right）设置TTL为120秒： Hint方式格式： /*+ OPTIONS('state.ttl.left'='60S', 'state.ttl.right'='120S') */ 在SQL语句中配置示例： 示例1： CREATE TABLE user_info (`user_id` VARCHAR, `user_name` VARCHAR) WITH ( 'connector' = 'kafka', 'topic' = 'user_info_001', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup', 'scan.startup.mode' = 'latest-offset', 'value.format' = 'csv' ); CREATE table print( `user_id` VARCHAR, `user_name` VARCHAR, `score` INT ) WITH ('connector' = 'print'); CREATE TABLE user_score (user_id VARCHAR, score INT) WITH ( 'connector' = 'kafka', 'topic' = 'user_score_001', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup', 'scan.startup.mode' = 'latest-offset', 'value.format' = 'csv' ); INSERT INTO print SELECT t.user_id, t.user_name, d.score FROM user_info as t JOIN -- 为左表和右表设置不同的TTL时间 /*+ OPTIONS('state.ttl.left'='60S', 'state.ttl.right'='120S') */ user_score as d ON t.user_id = d.user_id; 示例2 INSERT INTO print SELECT t1.user_id, t1.user_name, t3.score FROM t1 JOIN -- 为左表和右表设置不同的TTL时间 /*+ OPTIONS('state.ttl.left' = '60S', 'state.ttl.right' = '120S') */ ( select UPPER(t2.user_id) as user_id, t2.score from t2 ) as t3 ON t1.user_id = t3.user_id; 父主题： Flink企业级能力增强

CDL同步任务支持的数据类型及映射关系 主要介绍CDL同步任务支持的数据类型，以及源端数据库数据类型跟Spark数据类型的映射关系。 表3 PgSQL和Spark数据类型映射关系 PostgreSQL数据类型 Spark（Hudi）数据类型 int2 int int4 int int8 bigint numeric(p, s) decimal[p,s] bool boolean char string varchar string text string timestamptz timestamp timestamp timestamp date date json, jsonb string float4 float float8 double 表4 MySQL和Spark数据类型映射关系 MySQL数据类型 Spark（Hudi）数据类型 int int integer int bigint bigint double double decimal[p,s] decimal[p,s] varchar string char string text string timestamp timestamp datetime timestamp date date json string float double 表5 Ogg/Ogg Oracle Avro（MRS 3.3.0及之后版本）和Spark数据类型映射关系 Oracle数据类型 Spark（Hudi）数据类型 NUMBER(3)，NUMBER(5) bigint INTEGER decimal NUMBER(20) decimal NUMBER decimal BINARY_DOUBLE double CHAR string VARCHAR string TIMESTAMP, DATETIME timestamp timestamp with time zone timestamp DATE timestamp 表6 DRS Opengauss Json和Spark数据类型映射关系（MRS 3.3.0及之后版本支持） Opengauss Json数据类型 Spark（Hudi）数据类型 int2 int int4 int int8 bigint numeric(p,s) decimal[p,s] bool boolean varchar string timestamp timestamp timestampz timestamp date date jsonb string json string float4 float float8 double text string 表7 DRS Oracle Json和Spark数据类型映射关系（MRS 3.3.0及之后版本支持） Oracle Json数据类型 Spark（Hudi）数据类型 number(p,s) decimal[p,s] binary double double char string varchar2 string nvarchar2 string timestamp timestamp timestamp with time zone timestamp date timestamp 表8 DRS Oracle Avro和Spark数据类型映射关系（MRS 3.3.0及之后版本支持） Oracle Avro数据类型 Spark（Hudi）数据类型 number[p,s] decimal[p,s] float(p) float binary_double double char(p) string varchar2(p) string timestamp(p) timestamp date timestamp 表9 openGauss和Spark数据类型映射关系（MRS 3.3.0及之后版本支持） Opengauss数据类型 Spark（Hudi）数据类型 int1 int int2 int int4 int int8 bigint numeric(p,s) decimal[p,s] bool boolean char string bpchar string nvarchar2 string text string date date timestamp timestamp timestampz timestamp json string jsonb string float4 float float8 double real float 表10 Spark（Hudi）和DWS数据类型映射关系 Spark（Hudi）数据类型 DWS数据类型 int int long bigint float float double double decimal[p,s] decimal[p,s] boolean boolean string varchar date date timestamp timestamp 表11 Spark（Hudi）和ClickHouse数据类型映射关系 Spark（Hudi）数据类型 ClickHouse数据类型 int Int32 long Int64 (bigint) float Float32 (float) double Float64 (double) decimal[p,s] Decimal(P,S) boolean bool string String (LONGTEXT, MEDIUMTEXT, TINYTEXT, TEXT, LONGBLOB, MEDIUMBLOB, TINYBLOB, BLOB, VARCHAR, CHAR) date Date timestamp DateTime

操作场景 FlinkServer支持对接JDBC。本示例以安全模式FlinkServer、Kafka为例，介绍JDBC的MySQL作为Source表、Sink表以及维表的DDL定义，以及创建表时使用的WITH参数和代码示例，指导如何在FlinkServer作业管理页面对接JDBC。 FlinkServer界面回显FlinkSQL时，SQL中的“password”字段将显示为空，在回显状态下需要将密码信息补齐后再提交作业。

Flink SQL与JDBC数据类型对应关系 Flink SQL数据类型 MySQL数据类型 Oracle数据类型 PostgreSQL数据类型 SQL Server数据类型 BOOLEAN BOOLEAN TINYINT(1) - BOOLEAN BIT TINYINT TINYINT - - TINYINT SMALLINT SMALLINT TINYINT UNSIGNED - SMALLINT INT2 SMALLSERIAL SERIAL2 SMALLINT INT INT MEDIUMINT SMALLINT UNSIGNED - INTEGER SERIAL INT BIGINT BIGINT INT UNSIGNED - BIGINT BIGSERIAL BIGINT FLOAT FLOAT BINARY_FLOAT REAL FLOAT4 REAL DOUBLE DOUBLE DOUBLE PRECISION BINARY_DOUBLE FLOAT8 DOUBLE PRECISION FLOAT STRING CHAR(n) VARCHAR(n) TEXT CHAR(n) VARCHAR(n) CLOB CHAR(n) CHARACTER(n) VARCHAR(n) CHARACTER VARYING(n) TEXT CHAR(n) NCHAR(n) VARCHAR(n) NVARCHAR(n) TEXT NTEXT BYTES BINARY VARBINARY BLOB RAW(s) BLOB BYTEA BINARY(n) VARBINARY(n) ARRAY - - ARRAY - DATE DATE DATE DATE DATE TIME [(p)] [WITHOUT TIMEZONE] TIME [(p)] DATE TIME [(p)] [WITHOUT TIMEZONE] TIME(0) TIMESTAMP [(p)] [WITHOUT TIMEZONE] DATETIME [(p)] TIMESTAMP [(p)] [WITHOUT TIMEZONE] TIMESTAMP [(p)] [WITHOUT TIMEZONE] DATETIME DATETIME2 DECIMAL(20, 0) BIGINT UNSIGNED - - - DECIMAL(p, s) NUMERIC(p, s) DECIMAL(p, s) SMALLINT FLOAT(s) DOUBLE PRECISION REAL NUMBER(p, s) NUMERIC(p, s) DECIMAL(p, s) DECIMAL(p, s)

块副本位置选择 NodeLabel支持对各个副本的摆放采用不同的策略，如表达式“label-1,label-2,label-3”，表示3个副本分别放到含有label-1、label-2、label-3的DataNode中，不同的副本策略用逗号分隔。 如果label-1，希望放2个副本，可以这样设置表达式：“label-1[replica=2],label-2,label-3”。这种情况下，如果默认副本数是3，则会选择2个带有label-1和一个label-2的节点；如果默认副本数是4，会选择2个带有label-1、一个label-2以及一个label-3的节点。可以注意到，副本数是从左到右依次满足各个副本策略的，但也有副本数超过表达式表述的情况，当默认副本数为5时，多出来的一个副本会放到最后一个节点中，也就是label-3的节点里。 当启用ACLs功能并且用户无权访问表达式中使用的标签时，将不会为副本选择属于该标签的DataNode。

多余块副本删除选择 如果块副本数超过参数“dfs.replication”值（即用户指定的文件副本数，可以参考修改集群服务配置参数进入HDFS服务全部配置页面，搜索对应参数查看），HDFS会删除多余块副本来保证集群资源利用率。 删除规则如下： 优先删除不满足任何表达式的副本。 示例：文件默认副本数为3 /test标签表达式为“LA[replica=1],LB[replica=1],LC[replica=1]”； /test文件副本分布的四个节点（D1～D4）以及对应标签（LA～LD）： D1:LA D2:LB D3:LC D4:LD 则选择删除D4节点上的副本块。 如果所有副本都满足表达式，删除多于表达式指定的数量的副本。 示例：文件默认副本数为3 /test标签表达式为“LA[replica=1],LB[replica=1],LC[replica=1]”； /test文件副本分布的四个节点以及对应标签： D1:LA D2:LA D3:LB D4:LC 则选择删除D1或者D2上的副本块。 如果文件所有者或文件所有者的组不能访问某个标签，则优先删除映射到该标签的DataNode中的副本。