检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
#停止SparkContext sc.stop() 需要将编码格式设置为“UTF-8”,否则后续脚本运行时会报错。 准备数据文件“in.txt”,内容为一段英文单词。 操作步骤: 将脚本和数据文件传入OBS桶中,如下图。 图1 上传文件至OBS桶 本例中,wordcount.py和in.txt文件
参数 是否必选 参数类型 描述 id 否 String 复合指标ID,ID字符串。更新时必填。 name_en 是 String 复合指标英文名称。 name_ch 是 String 复合指标名称。 description 否 String 描述 dimension_group 是
参数 是否必选 参数类型 描述 id 否 String 复合指标ID,ID字符串。更新时必填。 name_en 是 String 复合指标英文名称。 name_ch 是 String 复合指标名称。 description 否 String 描述 dimension_group 是
AtomicIndexVO 参数 参数类型 描述 id String 编码,ID字符串。 name_en String 原子指标英文名。 name_ch String 原子指标英文名。 description String 描述。 create_by String 创建人。 cal_exp String
DynamicMaskingPolicySet 参数 参数类型 描述 id String 动态脱敏策略id。 name String 动态脱敏策略名称。英文和汉字开头, 支持英文、汉字、数字、下划线, 2-64字符。 datasource_type String 数据源类型 HIVE数据源 DWS数据源 DLI数据源
如果周期类型为“month”,设定周期为“1”,“runAt”输入“15”,就表示每个月的15号执行该定时任务。并且该参数支持输入多个,以英文的逗号“,”分隔开。 例如上述场景中“runAt”输入“1,2,3,4,5”,就表示每个月的1日、2日、3日、4日和5日执行该定时任务。
DimensionVO 参数 参数类型 描述 id String 编码(新建时只读,更新时必填),ID字符串。 name_en String 维度英文名称。 dimension_type String 维度类型(更新时只能由普通维度改为层级维度,其余场景都不允许修改)。 枚举值: COMMON:
码表结构。 表5 CodeTableVO 参数 参数类型 描述 id String 码表ID,ID字符串。 name_en String 表名称,英文名。 name_ch String 表名称,中文名。 tb_version Integer 表版本。 directory_id String
配置实时集成作业 完成数据连接、网络、资源组等准备工作的配置后,您可创建并配置实时集成作业,将多种输入及输出数据源搭配组成同步链路,进行数据的实时同步。 前提条件 已开通华为账号,并授权使用实时数据集成服务,详情请参考注册华为账号并开通华为云和授权使用实时数据集成。 已购买资源组,详情请参见购买数据集成资源组。
表7 CodeTableVO 参数 参数类型 描述 id String 码表ID,ID字符串。 name_en String 表名称,英文名。 name_ch String 表名称,中文名。 tb_version Integer 表版本。 directory_id String
AtomicIndexVO 参数 参数类型 描述 id String 编码,ID字符串。 name_en String 原子指标英文名。 name_ch String 原子指标英文名。 description String 描述。 create_by String 创建人。 cal_exp String
大对象(BLOB) OTHER: 其它类型 data_type_extend String 数据类型扩展字段。 name_en String 英文名。 name_ch String 中文名。 not_null Boolean 是否不为空。 attribute_type String
参数类型 描述 id 否 String 汇总表的唯一系统ID,更新时必填,创建时不须填写,ID字符串。 tb_name 是 String 汇总表英文名称,对应实际的物理表名。 tb_logic_name 是 String 汇总表的中文名,用于展示使用。 l2_id 否 String 主题域ID,只读,创建和更新时无需填写。
id 否 String 编码,ID字符串。 name_ch 是 String 自定义项中文名称。 name_en 是 String 自定义项英文名称。 not_null 是 Boolean 是否必填。 optional_values 否 String 可选值。当可选值有多个时,用分号分隔。
模型信息。 表7 CodeTableVO 参数 参数类型 描述 id String 码表ID,ID字符串。 name_en String 表名称,英文名。 name_ch String 表名称,中文名。 tb_version Integer 表版本。 directory_id String
level 否 Integer 层级。取值范围为1-7。 name_ch 否 String 中文名称。 name_en 否 String 英文名称。 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。
r_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”,其中ASC表示升序,DESC表示降序,多个排序参数描述以“英文分号”进行分隔。 图5 排序参数设置 对于pre_order_by的值,您可以进行如下修改: 删掉某可选的排序参数,则此排序参数不再参与排序。
参数 是否必选 参数类型 描述 id 否 String 衍生指标ID,ID字符串。更新时必填。 name_en 是 String 衍生指标英文名称。 name_ch 是 String 衍生指标名称。 create_by 否 String 创建人。 data_type 否 String
调试API 功能介绍 调试API。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/{api_id}/instances/{instance_id}/test 表1 路径参数 参数 是否必选 参数类型 描述 project_id
配置HDFS目的端参数 表1 HDFS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 写入目录 写入数据到HDFS服务器的目录。 /user/cdm/output 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景。