检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主题域分组。 l2 String 主题域。 l3 String 业务对象。 table_name String 数据表对象名,格式为:数据连接.库.模式表/表。 l1_score Double 主题域分组评分。 l2_score Double 主题域评分。 l3_score Double
f6:表示cdm.small规格,2核CPU、4G内存的虚拟机。适合PoC验证和开发测试。 fb8fe666-6734-4b11-bc6c-43d11db3c745:表示cdm.medium规格,4核CPU、8G内存的虚拟机适合单张表规模<1000万条的场景。 5ddb1071-
String 任务名。 data_source_type 否 String 数据源类型。 data_connection_id 否 String 数据连接id。 start_time 否 String 开始时间。 end_time 否 String 结束时间。 directory_id 否 String
0:00Z。 db_name String 数据库名。 dw_type String 数据连接类型,只读。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema String DWS类型需要。 l1 String 主题域分组。
汇总表的创建人,只读,创建和更新时无需填写。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须填写。 dw_id String 汇总表所在的数据连接ID,为32位十六进制数字。 db_name String 汇总表所在的数据库名。 tb_id
数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。
属性Map(String, Object),key:属性名称,value:属性值。 connection Connection object 数据连接。 create_time Number 创建时间。 created_by String 创建人。 display_text String
新建如表9所示的3个码表维度。 表9 码表维度 *所属主题 *维度名称 *维度英文名称 *维度类型 *资产责任人 描述 *数据连接类型 *数据连接 *数据库 选择码表 供应商 供应商 dim_vendor 码表维度 - 无 MRS_HIVE mrs_hive_link demo_dwr_db
“数据目录”模块,进入数据目录页面。 选择“数据权限 > 数据表权限”,在“我的权限”页签中单击“申请”。 输入使用场景说明,选择对应数据连接、数据库和数据表。 选择需要申请的表/列权限。 申请单张表/列权限。 勾选自己当前无权限但需要使用的表权限/列权限。 申请多张表/列权限。
172.16.0.0~172.31.0.0/12~19 192.168.0.0~192.168.0.0/16 ~19 说明: 为了后续使用对等连接打通网络,这里需设置与源端、目的端集群或实例不重叠的网段。如果重叠会导致网络不通。 受CCE底层逻辑限制,网段掩码最高为19位,20位之后不可选。
数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。
0:00Z。 db_name String 数据库名。 dw_type String 数据连接类型,只读。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema String DWS类型需要。 l1 String 主题域分组。
新建如表10所示的3个码表维度。 表10 码表维度 *所属主题 *维度名称 *维度英文名称 *维度类型 *资产责任人 描述 *数据连接类型 *数据连接 *数据库 选择码表 供应商 供应商 dim_vendor 码表维度 - 无 MRS_HIVE mrs_hive_link demo_dwr_db
在作业目录中,双击Pipeline模式批处理作业或实时处理作业的名称,进入作业开发页面。 拖动所需的节点至画布,鼠标移动到节点图标上,选中连线图标并拖动,连接到下一个节点上。 每个作业建议最多包含200个节点。 图1 编排作业 配置节点功能。右键单击画布中的节点图标,根据实际需要选择如表1所示的功能。
套餐包到期未续订或按需资源欠费时,我的数据会保留吗? 云服务进入宽限期/保留期后,华为云将会通过邮件、短信等方式向您发送提醒,提醒您续订或充值。保留期到期仍未续订或充值,存储在云服务中的数据将被删除、云服务资源将被释放。 宽限期:指客户的包周期资源到期未续订或按需资源欠费时,华为
action 否 Integer 执行动作。0=立刻执行, 1=定期执行。 time 否 String 使用截止时间。仅定期执行需要此参数,默认服务器当前时间三天后。 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
SQL作业/脚本配置运行时,通过默认参数模板去管控是否允许用户去设置任意参数覆盖模板设置的默认参数。 在MRS API连接方式下,Spark SQL脚本支持配置默认运行参数。代理连接不支持。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“Spark
cacheExists("ipList") 根据IP取出对应的详细地址:国家_省份_城市_运营商,例如“1xx.78.124.0”对应的地址为“中国_广东_深圳_电信”,取不到对应地址则默认“**_**_**_**”。如果需要,可通过StringUtil类表达式对地址进行进一步拆分。 表达式:CommonUtils
100 注释: [1] DataArts Studio数据集成集群:DataArts Studio实例赠送的数据集成集群,推荐作为管理中心数据连接的Agent代理使用,不建议同时作为Agent代理和运行数据迁移作业使用。用于运行数据迁移作业的其他规格数据集成集群推荐通过“批量数据迁移
cacheExists("ipList") 根据IP取出对应的详细地址:国家_省份_城市_运营商,例如“1xx.78.124.0”对应的地址为“中国_广东_深圳_电信”,取不到对应地址则默认“**_**_**_**”。如果需要,可通过StringUtil类表达式对地址进行进一步拆分。 表达式:CommonUtils