检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。
DAYU User账号，但为当前工作空间的管理员。 修改方法 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签，单击列表中相应工作空间后的“编辑”，弹出“空间信息”弹窗。 图1
您可以将某个DataArts Studio实例的数据架构中已建立的流程设计信息导出到Excel文件中。导出后的文件可用于导入。导出流程的操作请参见导出流程。 下载的流程模板参数如表3所示，其中名称前带“*”的参数为必填参数，名称前未带“*”的参数为可选参数。一个流程需要填写一条记录。 表3 流程导入参数说明
次，直到响应消息的返回值与请求成功标志位一致。节点执行的超时时间默认为1小时，如果1小时内查询的结果始终为不匹配，那么节点的状态将置为失败。当“是否需要判断返回值”为“YES”时，显示该配置项。 响应消息体解析为传递参数定义 否 设置作业变量与Json属性路径的对应关系，参数间以换行符分隔。
已在“管理中心 > 数据连接”页面，完成数据源的配置。 约束与限制 API生成暂不支持Hive数据源的中文表和中文列场景。 新建API目录 API目录是按一定次序编排记录的API索引，是反映类别、指导使用、检索API的工具，帮助API开发者对API服务进行有效的分类和管理。 参考访问DataArts
功能模块 数据安全包括： 数据密级 对数据进行等级划分，方便数据的管理。 数据分类 基于数据密级，可以进行数据分类，来有效识别数据库内的敏感数据。 脱敏策略 基于数据分类，可以通过创建脱敏策略，实现数据资产的脱敏和隐私保护。 父主题： 配置数据安全策略（待下线）
向上取整，1)。 其中，要注意的是： 需要使用的是表的总数据大小，而不是压缩以后的文件大小。 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 同时，可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中，添加优化参数。
向上取整，1)。 其中，要注意的是： 需要使用的是表的总数据大小，而不是压缩以后的文件大小。 桶的设置以偶数最佳，非分区表最小桶数请设置4个，分区表最小桶数请设置1个。 同时，可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中，添加优化参数。
为什么权限同步到DLI中，会提示权限不够？ 权限同步到DLI的任务通过云服务委托（dlg_agency）完成，因此需要委托拥有IAM认证服务相关权限，具体所需权限如表1所示。 表1 待授予权限 权限名称 配置目的 是否必选 授权项/系统权限（二者选其一配置即可） IAM权限 系统
Studio企业模式环境隔离 管理中心的环境隔离，当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前，应已创建DLI的数据连接。 （可选）创建DLI环境隔离
据开发、管理中心服务的类管理员或开发者权限，用于查看、创建与操作数据连接、数据集成任务，角色的权限说明请参见权限列表。 配置DLI云服务跨源场景委托权限。 实时数据集成与数据湖探索（DLI）云服务底层使用统一纳管集群资源，首次使用时需要通过DLI云服务创建跨源场景委托，用于底层计
从下拉列表中选择数据连接类型中已创建的数据连接，若未创建请参考创建DataArts Studio数据连接新建连接。 注意，所选择的Hetu连接所在的集群应与Hive连接所在的集群一致。 集群名称 无需选择，自动匹配数据连接中的数据源集群。 *Catalog Hetu上的数据源名称，本集群的Hive数据源名称默
Studio实例的用户，系统将默认为其创建一个默认的工作空间“default”，并赋予该用户为管理员角色。您可以使用默认的工作空间，也可以参考本章节的内容创建一个新的工作空间。 DataArts Studio实例内的工作空间作为成员管理、角色和权限分配的基本单元，包含了完整的DataArts
发，当数据连接保存的信息发生变化时，您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接 数据开发模块的数据连接，是基于管理中心的数据连接完成的，创建方法请参考配置DataArts Studio数据连接参数。 查看连接引用 当用户需要查看某个连接被引用的情况时，可以参考如下操作查看引用。
编排API简介 数据服务API编排是指将已经开发好的服务API接口，在无需编写复杂代码的情况下，根据特定的业务逻辑和流程进行可视化的重组和重构，从而实现在不影响原生接口的前提下进行简便的二次开发。API编排为您提供拖拽式、可视化的API工作流程编排能力，您可以按照业务逻辑，以串行
系统不自动创建新的数据集成实时作业所需的资源组，而是在生效期内的每个计费月内按月提供745小时/月的使用时长，在绑定区域为在DataArts Studio控制台购买的对应资源组使用。 如果当前绑定区域有一个或多个对应资源组，则扣费方式是先扣除已购买资源包内的时长额度，超出部分以
Studio仅支持其中的IAM角色方式，不支持IAM策略。 IAM角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。传统的IAM角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 I
现不同用户具有不同的数据权限，使角色/权限集中的权限管控生效。 细粒度认证开关对数据开发中的脚本、作业运行影响总结如下： 当关闭细粒度认证时，数据开发中的脚本执行、作业测试运行、执行调度使用数据连接上的账号进行认证鉴权。 当启用开发态细粒度认证后，数据开发中的脚本执行、作业测试运
如何使用Java调用CDM的Rest API创建数据迁移作业？ CDM提供了Rest API，可以通过程序调用实现自动化的作业创建或执行控制。 这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。
Studio仅支持其中的IAM角色方式，不支持IAM策略。 IAM角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。传统的IAM角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 I
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
