检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
s_hive_link,选择数据库demo_dwr_db,然后输入脚本内容。 图1 编辑脚本 该脚本用于将付款方式、费率代码、供应商的基本信息写入到相应的维度表中。脚本内容如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
的参数;如果没有配置,默认使用源端的表名。 acks:取值0,1、all。 jobId:默认值为0,页面配置该参数,则在消息里生成该字段的信息。 比如需要给数据打标签需配置两个参数,即configType:COMBINE_DATA,featureTag:group。 父主题: 配置作业目的端参数
已完成用户同步,将IAM上的用户信息同步到数据源上,详见同步IAM用户到数据源。 新建DWS脱敏策略前,已完成如下操作: 已在管理中心创建数据仓库服务(DWS)类型的数据连接,请参考创建DataArts Studio数据连接。 已完成用户同步,将IAM上的用户信息同步到数据源上,详见同步IAM用户到数据源。
响应参数 表4 响应参数说明 参数名 是否必选 参数类型 说明 deploy_package_details 否 List<Object> 发布包信息,请参考表5。 表5 deploy_package_details数据结构 参数名 是否必选 参数类型 说明 asy_subtask_num
单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM,CloudTable和DLI类型。
表详情中进行查看,无特殊需求时无需设置。 例如您需要标识该表的来源时,可以设置自定义项配置名为“来源”,值为对应的表来源信息。配置完成后可以在表详情中查看该信息。 标签 标签是用户自定义的标识,它可以帮助用户对数据资产进行分类和搜索。添加标签后,您就可以在DataArts Stu
Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。 对于暂时不发布的发布项
0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 批量删除规则模板,模板id列
Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。 单击发布后,系统会提示
响应Body参数 参数 参数类型 描述 statistics Array of StatisticForDetail objects 统计信息详情列表。 表5 StatisticForDetail 参数 参数类型 描述 id String 统计对象编号。 name String 统计对象名称。
Studio采用基础包+增量包的计费模式,其中基础包即DataArts Studio实例,购买方法请参见购买DataArts Studio基础包。 背景信息 只有拥有DAYU Administrator或Tenant Administrator权限的用户才可以购买DataArts Studio实例或DataArts
户对1700部电影的100,000个评分数据。获取链接中的zip数据包并解压,其中的“u.item”和“u.data”文件分别为电影信息和评分信息。 为方便演示,本示例提供了用于模拟原始数据的部分数据。为了方便将源数据集成到云上,我们需要先将样例数据存储为CSV文件,将CSV文件上传至OBS服务中。
Studio采用基础包+增量包的计费模式,其中基础包即DataArts Studio实例,购买方法请参见购买DataArts Studio基础包。 背景信息 只有拥有 Administrator或Tenant Administrator权限的用户才可以购买DataArts Studio实例或DataArts
在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“忽略失败的通知策略”配置项。 选择忽略失败状态节点的通知类型。 在作业基本信息界面,对于“当前节点失败后,后续节点处理策略 > 继续执行下一节点”的作业可理解为忽略失败的作业,系统默认运行结果为成功。 对于运行状态为
0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 创建一个规则模板名称为tes
响应Body参数 参数 参数类型 描述 statistics Array of StatisticForDetail objects 统计信息详情列表。 表5 StatisticForDetail 参数 参数类型 描述 id String 统计对象编号。 name String 统计对象名称。
SOFTLY:一般重启。 默认值为“IMMEDIATELY”。强制重启业务进程会中断,并重启集群的虚拟机。 restartLevel 否 String 重启级别: SERVICE:重启服务。 VM:重启虚拟机。 默认值为“SERVICE”。 type 是 String 集群节点类型,只支持“cdm”。
cluster_id 是 String 集群id。请于集群管理页面查看集群ID信息。当数据源类型为DLI时,该参数需要填写为DLI。 cluster_name 是 String 集群名称。请于集群管理页面查看集群名称信息。当数据源类型为DLI时,该参数需要填写为DLI。 database_name
cluster_id 是 String 集群id。请于集群管理页面查看集群ID信息。当数据源类型为DLI时,该参数需要填写为DLI。 cluster_name 是 String 集群名称。请于集群管理页面查看集群名称信息。当数据源类型为DLI时,该参数需要填写为DLI。 database_name
0000表示请求处理成功。 error_msg String 错误信息。 状态码: 500 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DQC.0000表示请求处理成功。 error_msg String 错误信息。 请求示例 无 响应示例 状态码: 200