检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
QL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项,每种连接略有区别,建议在界面进行调试。 agent_id 否 String CDM集群ID,获取方法请参见查询集群列表。 agent_name
是否必选 参数类型 描述 limit 否 Integer 每页显示的条目数量。 offset 否 Integer 偏移量,表示从此偏移量开始查询,该值大于等于0。 proposer_name 否 String 申请人名称 approval_id 否 String 工单id workspace_id
单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问
= xxx 原url:http://域名/p1/{param}/p2 实际url:http://域名/p1/xxx/p2 query参数 查询参数,作为url的补充部分。 参数:param = xxx 参数2:param2 = xxx2 示例1: 调用方法添加query参数(以各语言SDK为准)
目录ID编号。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 查询起始坐标, 即跳过前X条数据。 limit 否 Integer 查询条数限制。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含 数据连接, 连接获取方法详见查询数据连接列表 members 是 Array of MemberPolicyItem objects 成员列表。 成员包含空间用户、空间用
resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含 数据连接, 连接获取方法详见查询数据连接列表 members 是 Array of MemberPolicyItem objects 成员列表。 成员包含空间用户、空间用
抽取并发数:可设置同时执行的抽取任务数。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。 作业运行完是否删除:可选择是否自动删除作业。 JSON样例 "driver-config-values":
开发一个DWS SQL作业 介绍如何在数据开发模块上通过DWS SQL节点进行作业开发。 场景说明 本教程通过开发一个DWS作业来统计某门店的前一天销售额。 环境准备 已开通DWS服务,并创建DWS集群,为DWS SQL提供运行环境。 已开通CDM增量包,并创建CDM集群。 CD
Studio是否支持版本升级? DataArts Studio是否支持版本降级? DataArts Studio支持哪些数据源作为数据湖底座? 如何查看套餐包的剩余时长? 更多 技术专题 技术、观点、课程专题呈现 数据迁移实战 同构/异构数据源之间批量数据迁移实战 华为云大数据技术解密 华为云大数据技术私享会资料下载
作业配置菜单 配置作业的通用项。 图3 通用配置 表1 通用配置 参数 说明 节点状态轮询时间 设置所选作业的所有节点轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 如果设置为保持不变,则各节点保持原来的节点轮询时间。 节点执行的最长时间 设置所选作业的所有节点执行超时时间,如果
} ] } 其他参数保持不变,单击“保存并运行”。 作业完成后,查询DWS表中的数据是否和HBase中的数据匹配。如果不匹配,请检查JSON文件中HBase和DWS字段的顺序是否一致。 父主题: 数据集成
新建作业 作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。开发作业前请先新建作业。 前提条件 作业在每个工作空间的最大配额为10000,作业目录最多5000个,目录层级最多为10层。请确保当前数量未达到最大配额。 新建普通目录 如果已存在可用的目录,则可以跳过当前操作。
源。 计算任务预计完成时间 任务的运行受到资源和上游任务运行情况的影响,可以将任务添加至基线上,系统将计算出该任务的预计完成时间,便于用户查看任务的预计完成时间。 保障任务在承诺时间前运行完成 可以将任务添加至基线上,并设置基线承诺时间,当系统预测到基线上任务无法在承诺时间前完成
Get("Authorization") r.Header.Add("x-Authorization", authorization) 访问API,查看访问结果。 resp, err := http.DefaultClient.Do(r) body, err := ioutil.ReadAll(resp
一个作业支持配置多个消息主题,当作业运行成功或失败,可同时向多个订阅了消息主题的终端发送通知。 选择主题:选择通知的SMN消息主题。如果缺少合适的主题,则可以单击“查看主题”,进入消息通知服务(SMN)界面创建消息主题信息。 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 开关:是否开启通知,默认开启。
CONDITION_TYPE_LE:小于等于 CONDITION_TYPE_LIKE:模糊查询如:%like% CONDITION_TYPE_LIKE_L:模糊查询如:%like CONDITION_TYPE_LIKE_R:模糊查询如:like% 表8 ApiResponsePara 参数 是否必选 参数类型
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 dw_id 是 String 数据连接id,获取方法请参见查询细粒度认证数据源连接列表。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 workspace 是 String 工
自定义角色”。 复用预置角色:选择“开发者”,然后去勾选其他组件的新增、删除、操作、编辑权限,仅为该角色保留数据服务组件的权限和其他组件的查看权限。 图2 创建自定义角色Developer_DataService 配置完成后,单击“确定”即可新增自定义角色。 自定义角色完成后,请
准覆盖率”可以跳转到对应的数仓分层页面。比如,单击DWI数仓分层模型的“数据表”会跳转到“关系建模”页面。 如果数仓模型比较多,可以单击“查看更多”和“收起更多”进行折叠展示。 “未分层”的数仓模型会在页面上方显示。支持编辑和删除。 单击“编辑”,可以修改数仓模型的参数信息,可以