检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
的子作业的作业参数需配置参数值。 数据集 是 For循环算子需要定义一个数据集,这个数据集用来循环替换子作业中的变量,数据集应为二维数组,每一行数据会对应一个子作业实例。数据集的来源包括: 来自于上游节点的输出。例如DLI SQL、Hive SQL、Spark SQL的selec
MRSHetuEngine: 执行MRS服务的HetuEngine作业。 DLISpark:执行DLF服务的Spark作业 RDSSQL:传递SQL语句到RDS中执行。 ModelArts Train:执行ModelArts服务的workflow作业。 location 是 Location数据结构
String 实例角色。 group String 分组。 links Array of ClusterLinks objects 链接信息(查询集群列表时返回值为null)。 paramsGroupId String 组件分组id。 publicIp String 公网ip。 manageIp
object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 total Integer 总量。 records Array of ApprovalVO objects 查询到的审批单对象(ApprovalVO)数组。 表7 ApprovalVO 参数
据catalog。 数据库名称 选择数据库。 DLI数据目录如果选择DLI默认的数据目录dli,表示为DLI的数据库和数据表。 DLI数据目录如果选择DLI所绑定的LakeFormation已创建元数据catalog,表示为LakeFormation的数据库和数据表。 队列名称
企业模式下,支持从脚本开发界面快速前往发布。鼠标放置在上,单击“前往发布”,进入待发布任务界面。 支持Hive SQL、DLI SQL、DWS SQL、RDS SQL和Impala SQL脚本可以查看右侧的数据表,单击表名前面的单选框,可以查看该数据的列名、字段类型和描述。 支持通过“责任人”和
dli:group:listAllGroup dli:database:createDatabase dli:database:dropDatabase dli:database:displayDatabase dli:database:displayAllDatabases dli:database:explain
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
ClickHouse SQL脚本:请参见SQL语法参考。 IMPALA SQL脚本:请参见SQL语法参考。 Flink SQL脚本:请参见SQL语法参考。 RDS SQL脚本:请参见SQL语法参考。 Presto SQL脚本:请参见SQL语法参考。 Spark Python脚本:请参见SQL语法参考样例。
应的各服务如下: 数据库: 关系型数据库包括:云数据库RDS、云数据库 TaurusDB、云数据库 GaussDB、云数据库 PostgreSQL、云数据库 SQL Server等。 非关系型数据库包括:文档数据库服务DDS、云数据库 GeminiDB(兼容Influx、Redi
ic参数值的报错)。 参数类型分为数值型Number与字符型String两大类。Number参数对应数据库中int、double、long等数值数据类型,String参数对应数据库中char、vachar、text等文本数据类型。 是否必填、允许空值以及默认值。 如果设定为必填,则API在访问时,必须传入指定参数。
创建数据连接需要注意哪些事项? RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接中
通用限定 COMPOSITE_METRIC: 复合指标(新) COMPOUND_METRIC: 复合指标 CONDITION_GROUP: 限定分组 DEGENERATE_DIMENSION: 退化维度 DERIVATIVE_INDEX: 衍生指标 DERIVED_METRIC: 衍生指标(新)
和对应的数据库和数据表,则可跳过数据管理操作,直接进入脚本开发或作业开发。 数据管理的使用流程如下: 图1 数据管理流程 创建数据连接,连接相关数据湖底座服务。具体请参见新建数据连接。 基于相应服务,新建数据库。具体请参见新建数据库。 如果是DWS连接,则需要新建数据库模式;否则
通用限定 COMPOSITE_METRIC: 复合指标(新) COMPOUND_METRIC: 复合指标 CONDITION_GROUP: 限定分组 DEGENERATE_DIMENSION: 退化维度 DERIVATIVE_INDEX: 衍生指标 DERIVED_METRIC: 衍生指标(新)
查看表 对于关系建模中的表,您可以查看模型视图、表详情、关系图、预览SQL以及发布历史。 查看模型视图 当您在关系模型中完成表的新建后,就可以通过列表视图和模型视图两种形式查看表模型。关系模型页面默认显示为列表视图,您可以切换为模型视图进行查看。 在DataArts Studio
发抽取数取值范围为1-1000,若配置过大,则以队列的形式进行排队。 CDM迁移作业的抽取并发量,与集群规格和表大小有关。 按集群规格建议每1CUs(1CUs=1核4G)配置为4。 表每行数据大小为1MB以下的可以多并发抽取,超过1MB的建议单线程抽取数据。 是否写入脏数据:建议
Currentlogsequence 2 执行SQL命令ALTER DATABASE OPEN启动数据库。 Oracle开启数据库和需要迁移的表的补充日志。 执行以下SQL开启数据库补充日志。 ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 开启需要实时同步的表的补充日志。
配置Oracle目的端参数 作业中目的连接为Oracle数据库连接时,目的端作业参数如表1所示。 表1 Oracle作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。