检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 PostgreSQL
集群ID，获取方法请参见查询单个数据连接信息。 cluster_name 否 String 集群名称。 datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database_name 否 String 数据库名称。 table_name
查询角色对一组库、表的可配置操作权限信息 功能介绍 查询角色对一组库、表的可配置操作权限信息。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/permission-sets/datasource/role/batch-actions
在“未来表权限 ”页面，在数据连接区域选择需要配置未来表权限的DWS数据连接，并单击已选择的数据连接后的添加数据库。 图1 选择DWS数据连接 图2 添加数据库 单击待配置的数据库，在schema视图下单击“新建”，创建未来表配置。 图3 创建未来表配置 在弹出的窗口中，为指定Sch
成一个调度实例。您可以在“实例监控”页面中，查看补数据实例的运行状态。用户可以在该页面中查看作业的实例信息，并根据需要对实例进行更多操作。 该作业调度时间从2023/03/09开始生效，每天2点调度一次作业。 执行以下SQL命令，查询目的表B里面是否存在源表A的数据。 SELECT
既能满足实际业务使用，也避免了权限过大的风险。 如何查看表行数和库大小 在数据治理流程中，我们常常需要统计数据表行数或数据库的大小。其中，数据表的行数可以通过SQL命令或数据质量作业获取；数据库大小可以直接在数据目录组件中查看，详情可参考本实践。 通过数据质量对比数据迁移前后结果
地址，获取到导出的zip文件。 图3 选择并导出作业 在弹出的“导出作业”界面，选择需要导出的作业范围和状态，单击“确定”，可以在下载中心查看导入结果。 图4 导出作业 导出环境变量 单击左侧导航上的“配置”，进入环境变量页面。 单击环境变量配置下的“导出”，导出环境变量。 图5
载资源到本地。 查看资源引用 当用户想要查看某个资源被引用的情况时，可以参考如下操作查看引用。 在数据开发主界面的左侧导航栏，选择“配置管理 > 资源管理”。 在资源目录中，右键单击对应的资源名，选择“查看引用”，弹出“引用列表”窗口。 在引用列表窗口，可以查看该资源被引用的情况。
成一个调度实例。您可以在“实例监控”页面中，查看补数据实例的运行状态。用户可以在该页面中查看作业的实例信息，并根据需要对实例进行更多操作。 该作业调度时间从2023/03/09开始生效，每天2点调度一次作业。 执行以下SQL命令，查询目的表B里面是否存在源表A的数据。 SELECT
执行RDS SQL，报错hll不存在，在DataArts Studio可以执行成功？ 问题描述 执行RDS SQL，报错hll不存在，作业和可以执行成功。 解决方案 这个hll插件默认创建在public schema，SQL需要带上hll所属的schema。 父主题： 数据开发
SON、Avro。 表所属的数据连接 输入已创建的数据连接名称。 表所属的数据库 输入已创建的数据库名称。 数据连接扩展信息 连接类型为DLI时，输入DLI队列名称。连接类型为DWS或POSTGRESQL时，输入Schema名称。 DWS表 DISTRIBUTE BY 仅DWS连
获取schemas 功能介绍 获取schemas，目前只有DWS和采用postgresql驱动的RDS数据源支持schema，请在调用前确认该数据源是否支持schema字段。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/{connection_id}/schemas
String 父权限集ID。获取方法请参见查询权限集列表 注意： 当该值为0时，则所有库表均支持查询。 当该值为父权限集ID时，则基于父权限集中的权限查询。 cluster_id 是 String 集群ID，获取方法请参见查询单个数据连接信息 查询Hive和DWS数据源操作信息时该数值为必填项，当数据源为DLI时无需填写。
SQLServer到MRS Hudi参数调优 源端优化 SQLServer抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增SQLServer同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan
数据连接id，可通过数据连接列表中获取。 表2 Query参数 参数 是否必选 参数类型 描述 database_name 是 String 数据库名称。 table_name 否 String 指定查询表的名称。 limit 否 String 数据条数限制。 offset 否 String
SQL作业。 图2 创建Spark SQL单任务作业 配置与Hudi相对应的Spark数据连接，并选中需要操作Hudi表对应的数据库。 图3 配置连接与数据库 根据实际情况配置compaction的调度周期。 图4 配置调度周期 填写Spark SQL的compaction语句，提交并运行作业。
D对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 KMS密钥 是
任务模式。 单任务：单任务作业可以认为是有且只有一个节点的批处理作业，整个作业即为一个脚本节点。当前支持DLI SQL、DWS SQL、RDS SQL、MRS Hive SQL、MRS Spark SQL、DLI Spark、Flink SQL和Flink JAR类型的单任务作业
数据目录 该模块提供企业级的元数据管理，厘清信息资产。通过数据地图，实现数据资产的数据血缘和数据全景可视，提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限（待下线） 配置数据安全策略（待下线） 采集数据源的元数据 数据目录典型场景教程
如果您已购买DataArts Studio实例，请进入续费管理页面，在实例列表中查找所需续费的DataArts Studio实例，单击其所在行的“开通自动续费”，然后请根据页面提示完成自动续费的开通。 您也可以进行手动续费，请进入续费管理页面，在列表中查找所需续费的DataArts Studio实例，单击其
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
