检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 编码。更新时必填,创建时可以为空,ID字符串。 name_ch 是 String 中文名称。 name_en 是 String 英文名称。 description 否 String 描述信息,业务对象必填。 alias 否 String 别名。 data_owner 否
['003']] 子作业参数:@@#{Loop.current[0]}@@ 此处子作业参数的EL表达式需要添加@@。如果不加@@包围,数据集001会被识别为1,导致源表名不存在的问题。 如下图所示: 图10 配置关键参数 配置完成后单击“保存并提交版本”,以保存主作业。 创建主作业和子作业完
是否必选 参数类型 描述 id 否 String 编码,ID字符串。 name_en 是 String 原子指标英文名。 name_ch 是 String 原子指标英文名。 description 否 String 描述。 create_by 否 String 创建人。 cal_exp
是否必选 参数类型 描述 id 否 String 编码,ID字符串。 name_en 是 String 原子指标英文名。 name_ch 是 String 原子指标英文名。 description 否 String 描述。 create_by 否 String 创建人。 cal_exp
分页返回结果,指定每页最大记录数。范围[1,1000] 默认值:10 jobName 否 String 作业名称 tags 否 String 作业标签列表,如果有多个标签,以英文逗号分隔。例如:tag1,tag2,tag3。 请求参数 表1 请求Header参数 参数名 是否必选 参数类型 说明 workspace
<=9) ? "true" : "false"} 配置作业参数。此处需将参数名填写为result,仅用于主作业testif中的For Each节点识别子作业参数;参数值无需填写。 图7 配置作业参数 配置完成后保存作业。 开发主作业 在“作业开发”页面,新建数据开发主作业testif。选择HIVE
String 资产名称。 level 是 String 主题所属层级。 name 是 String 名称。 nameEng 是 String 英文名称。 alias 否 String 别名。 description 是 String 描述。 dataOwner 是 String 数据主体。
标准记录”,然后在右侧列表上方单击“新建”按钮,进入新建表页面。 在新建表的“基本配置”标签页中,配置如下: 表8 标准出行数据表 *所属主题 *表名称 *表英文名称 *数据连接 数据库 *描述 标准记录 标准出行数据 dwi_taxi_trip_data mrs_hive_link demo_dwi_db
<=9) ? "true" : "false"} 配置作业参数。此处需将参数名填写为result,仅用于主作业testif中的For Each节点识别子作业参数;参数值无需填写。 图7 配置作业参数 配置完成后保存作业。 开发主作业 在“作业开发”页面,新建数据开发主作业testif。选择HIVE
String 资产名称。 level 是 String 主题所属层级。 name 是 String 名称。 nameEng 是 String 英文名称。 alias 否 String 别名。 description 是 String 描述。 dataOwner 是 String 数据主体。
描述 fd_name String 属性名称。 fd_name_en String 属性英文名称。 description String 属性描述。 descriptionEn String 属性英文描述。 label String 属性标签。 disabled Boolean 是否禁用。
请求Body参数 参数 是否必选 参数类型 描述 id 否 String 码表ID,ID字符串。 name_en 是 String 表名称,英文名。 name_ch 是 String 表名称,中文名。 tb_version 否 Integer 表版本。 directory_id 是
数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。
请求Body参数 参数 是否必选 参数类型 描述 id 否 String 码表ID,ID字符串。 name_en 是 String 表名称,英文名。 name_ch 是 String 表名称,中文名。 tb_version 否 Integer 表版本。 directory_id 是
#停止SparkContext sc.stop() 需要将编码格式设置为“UTF-8”,否则后续脚本运行时会报错。 准备数据文件“in.txt”,内容为一段英文单词。 操作步骤: 将脚本和数据文件传入OBS桶中,如下图。 图1 上传文件至OBS桶 本例中,wordcount.py和in.txt文件
参数 是否必选 参数类型 描述 id 否 String 编码(新建时只读,更新时必填),ID字符串。 name_en 是 String 维度英文名称。 dimension_type 是 String 维度类型(更新时只能由普通维度改为层级维度,其余场景都不允许修改)。 枚举值: COMMON:
AtomicIndexVO 参数 参数类型 描述 id String 编码,ID字符串。 name_en String 原子指标英文名。 name_ch String 原子指标英文名。 description String 描述。 create_by String 创建人。 cal_exp String
DynamicMaskingPolicySet 参数 参数类型 描述 id String 动态脱敏策略id。 name String 动态脱敏策略名称。英文和汉字开头, 支持英文、汉字、数字、下划线, 2-64字符。 datasource_type String 数据源类型 HIVE数据源 DWS数据源 DLI数据源
参数 是否必选 参数类型 描述 id 否 String 编码(新建时只读,更新时必填),ID字符串。 name_en 是 String 维度英文名称。 dimension_type 是 String 维度类型(更新时只能由普通维度改为层级维度,其余场景都不允许修改)。 枚举值: COMMON:
AtomicIndexVO 参数 参数类型 描述 id String 编码,ID字符串。 name_en String 原子指标英文名。 name_ch String 原子指标英文名。 description String 描述。 create_by String 创建人。 cal_exp String