检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
一个空间可以创建同一数据源的多个连接吗？ 工作空间内允许创建多个同一数据源的连接，但是连接的名字不能相同。 需要注意的是，为便于后续开发过程中选择到正确的数据连接，建议您为连接做好命名区分，避免出现混淆。 父主题： 管理中心
抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。 其中，集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数
不同实例规格，对API数量的支持能力不同。 公网入口 开启“公网入口”，创建集群时会为集群自动绑定一个新建的弹性公网IP，后续可以通过此公网IP地址调用专享版API。该功能新建的弹性公网IP不会计入收费项。 如果您存在需要本地调用或跨网调用API的使用场景，建议开启。如果在创建集群
不同实例规格，对API数量的支持能力不同。 公网入口 开启“公网入口”，创建集群时会为集群自动绑定一个新建的弹性公网IP，后续可以通过此公网IP地址调用专享版API。该功能新建的弹性公网IP不会计入收费项。 如果您存在需要本地调用或跨网调用API的使用场景，建议开启。如果在创建集群
数据连接：步骤4中创建的DLI数据连接。 数据库：步骤6中创建的数据库。 资源队列：可使用提供的默认资源队列“default”。 当前由于DLI的“default”队列默认Spark组件版本较低，可能会出现无法支持建表语句执行的报错，这种情况下建议您选择自建队列运行业务。如需“defa
若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。
通过逆向数据库导入码表 通过逆向数据库，您可以从其他数据源中将一个或多个已创建的数据库表导入到码表目录中，使其变成码表。 在数据架构控制台，单击左侧导航树中的“码表管理”，进入码表管理页面。 在左侧的码表目录树中，选中一个目录，然后在码表列表上方，单击“逆向数据库”。 在“逆
业务指标监控简介 当前，数据架构有完善的指标设计和管理能力，建议您后续使用数据架构的业务指标功能，数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控，您可以先自定义SQL指标，然后通过指标的逻辑表达式定义规则，最后新建并调
执行脚本 功能介绍 该接口用以执行指定脚本，支持执行DWS SQL、DLI SQL、RDS SQL、Hive SQL、Spark SQL、Presto SQL、Shell、ClickHouse SQL、HetuEngine SQL、Python、Spark Python和Impala
数据安全总览页面为您提供了配置数据安全管理员功能和数据安全的空间汇总信息，包括查看敏感表总数、敏感表密级分布饼图、敏感字段密级分布饼图、脱敏和水印任务数量趋势图。 配置安全管理员 安全管理员由具有DAYU Administrator系统角色权限的账号指定，在DataArts Studio实例
面并查看任务状态。 场景四：更新数据目录中的元数据，添加新元数据 ，并从数据目录中删除元数据 用户的数据库中数据表有删除的情况，采集任务能够删除数据目录中对应的数据表。 例如数据库删除table1的情况下： 采集前的数据表元数据：table1，table2，table3 采集后的
抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。 源端为Hive数据源且使用JDBC方式读取数据时，CDM不支持多并发，此时应配置为单进程抽取数据。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。
因此您需要在Serverless数据湖服务中准备两套队列、两套数据库资源，建议通过名称后缀进行区分，详细操作请参见配置DataArts Studio企业模式环境隔离。 配置DB，在同一个数据湖服务下配置两套数据库，进行开发与生产环境隔离。 对于DWS、MRS Hive和MRS
和对应的数据库和数据表，则可跳过数据管理操作，直接进入脚本开发或作业开发。 数据管理的使用流程如下： 图1 数据管理流程 创建数据连接，连接相关数据湖底座服务。具体请参见新建数据连接。 基于相应服务，新建数据库。具体请参见新建数据库。 如果是DWS连接，则需要新建数据库模式；否则
*数据连接 在下拉框中选择对应的数据连接。维度建模建议使用统一的数据连接。 *数据库 在下拉框中选择对应的数据库。 队列 DLI队列。该参数仅DLI连接类型有效。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 表类型 DLI模型的表支持以下表类型：
使用包围符 在目的端作业参数中开启“使用包围符”，这样数据库中如果字段包含了字段分隔符，在导出到CSV文件的时候，CDM会使用包围符将该字段括起来，使之作为一个字段的值写入CSV文件。 数据库的数据包含换行符 场景：使用CDM先将MySQL中的某张表（表的某个字段值中包含了换行符\n）导
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
逆向数据库（维度建模） 通过逆向数据库，您可以将其他数据源的数据库中的表导入到指定的模型中。 前提条件 在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见配置元数据采集任务。
当勾选上“显示尚未生成的实例”后，通过时间筛选未来时间内尚未生成的作业实例。 勾选后进行筛选，能够显示未来时间内预计可能会生成的实例，显示的未生成实例数量不超过100个。 对于未来时间内尚未生成的作业实例，可以进行“冻结”和“解冻”操作。您可以单击作业实例列表上面的“冻结”和“解冻”按钮，或
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
