检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
配置GBase目的端参数 表1 GBase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 SCHEMA_EXAMPLE 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
配置模板 本章节主要介绍如何创建并使用模板。用户在编写业务代码时,对于重复的业务逻辑,可以直接引用SQL模板,同时在配置作业运行参数的时候,可以直接使用作业参数模板,不用再进行重复配置。 约束限制 该功能适用于以下场景: Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中,MRS
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
dli传DLI,dws和mrs-hive传对应的集群id schema_name 否 String schema名称,dws需要传这个字段 database_name 否 String 数据库名称 table_name 否 String 表名称 expire_time 否 Long 权限到期时间时间戳,毫秒。
故障恢复 DataArts Studio云服务每天会定时全量备份数据库数据,当服务故障后,通过备份恢复等技术方案支持数据恢复。 关于DataArts Studio支持的备份信息,请参见备份管理。 父主题: 安全
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
配置DWS目的端参数 表1 DWS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。 单击输入框后面的按钮可选择模式或表空间。 整库迁移时无该参数。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
担压力。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 例如:dbname 驱动版本 否 选择ClickHouse驱动版本。 CLICKHOUSE_0_3_1:适用于连接ClickHouse 20.7以下版本,此驱动版本不支持多IP连接数据库服务器。 CLICKHOU
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
行程记录 > 原始记录”,单击“逆向数据库”,通过逆向数据库,导入原始表。 逆向数据库依赖于数据资产采集,请您确保已对所需逆向的数据库完成数据资产采集。 图25 模型目录 在“逆向数据库”窗口中,配置如下所示参数,然后单击“确定”。在本示例中选择贴源层数据库demo_sdi_db中的原始数据表。
业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp
配置ClickHouse目的端参数 表1 ClickHouse作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
业务对象(业务报告有效)。 data_connection_id 否 String 数据连接id(技术报告有效)。 database_name 否 String 数据库名称(技术报告有效)。 table_name 否 String 数据表名称(技术报告有效)。 start_timestamp
数据对象配置 *数据连接类型 选择数据连接类型。 *数据连接 选择数据连接。 *数据库 选择数据库。 Schema 选择Schema。 只有部分数据连接类型需要配置该参数。比如DWS、POSTGRESQL。 *队列 选择队列。 当数据连接类型是DLI时,才需要配置配置该参数。 *数据表
Where条件:可依据用户输入的where条件对字段进行过滤。 生成异常数据:开启此项,表示异常数据将按照配置的参数存储到规定的库中。 数据库或Schema:开启“生成异常数据”时显示此项,表示存储异常数据的数据库或Schema 表前缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的前缀。 表后缀:开启“生
无法获得所有列),则可以单击后选择“添加新字段”来手动增加,确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时,不支持获取样值功能。 SQLServer作为目的端数据源时,不支持timestamp类型字段的写入,需修改为其他时间类型字段写入(如datetime)。