检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v1/{project_id}/jobs/instances/detail?jobName={jobName}&minPlanTime={minPlanTime}&maxPlan
您可以将表1数据导入到DLI表中,然后将SQL脚本读取的结果作为数据集。 您可以将表1数据保存在OBS的CSV文件中,然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件,然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流,DWS创建外表请参见创建外表。 您可以将表1数据保存在
表名:要抽取的表名。 其他可选参数一般情况下保持默认即可。 目的端作业配置 目的连接名称:选择创建DWS连接中的连接“dwslink”。 模式或表空间:选择待写入数据的DWS数据库。 自动创表:只有当源端和目的端都为关系数据库时,才有该参数。 表名:待写入数据的表名,可以手动
创建一个DLI SQL脚本,以通过DLI SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,单击“运行”,从OBS原始数据表中计算出10大用户关注最多的产品,将结果存放到top_like_product表。 INSERT OVERWRITE table
对请求进行签名,并为请求添加x-Authorization头,值与Authorization头相同。然后生成okhttp3.Request对象来访问API。 1 2 3 4 5 okhttp3.Request signedRequest = Client.signOkhttp(request);
您可以将表1数据导入到DLI表中,然后将SQL脚本读取的结果作为数据集。 您可以将表1数据保存在OBS的CSV文件中,然后通过DLI SQL或DWS SQL创建OBS外表关联这个CSV文件,然后将OBS外表查询的结果作为数据集。DLI创建外表请参见OBS输入流,DWS创建外表请参见创建外表。 您可以将表1数据保存在
“Flink调试OBS桶”,单击“确定”后,可以查看SQL执行结果。系统支持可以预览所调试的SQL信息。 Flink SQL作业调试仅支持MRS集群,进行调试前请先选择MRS集群。OBS桶必须选择并行文件桶,可以在工作空间进行默认配置,请参见Flink调试OBS桶,支持在Flink
dqw,“参数值”为wqewqewqe。 打开一个已创建好的作业,从左侧节点库中拖拽一个“Create OBS”节点。 在节点属性页签中配置属性。 图2 Create OBS 单击“保存”后,选择“前往监控”页面监控作业的运行情况。 配置作业参数 作业参数中支持定义变量和常量,作业参数的作用范围为当前作业。
是否取消。 table_size Number 表大小。 database_name String 数据库名。 obs_common_config String obs公共配置。 total_row_count String 总行数。 fields_name Array of strings
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
补数据的优先级高于工作空间的补数据优先级。 当前只支持对DLI SQL算子设置优先级。 是否忽略OBS监听 是,补数据场景下,系统会忽略OBS监听。 否,补数据场景下,系统会监听OBS路径。 是否设置运行时间段 设置补数据任务的运行时间段。 是 可以设置补数据任务每天运行的时间段。
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。
需要配置。 设置作业实例并行处理的数量,输入值不能小于1。默认值为1。 是否忽略OBS监听 系统默认为“是”。 是,重跑作业实例场景下,系统会忽略OBS监听。 否,重跑作业实例场景下,系统会监听OBS路径。 说明: 若暂未使用该参数,可忽略。 查看DAG图 您可以查看作业实例之间
管理集群标签 操作场景 CDM集群已经创建成功后,支持新增、修改及删除CDM集群的标签。使用标签可以标识多种云资源,后续在TMS标签系统或者CDM集群管理列表中可筛选出同一标签的云资源。 一个CDM集群最多可新增10个标签。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。
environ("SDK_SK"); sig = signer.Signer() sig.Key = ak sig.Secret = sk 生成一个Request对象,指定方法名、请求uri、header和body。 1 2 3 4 r = signer.HttpRequest("POST",
= new Signer(); signer.Key = ak; signer.Secret = sk; 生成一个HttpRequest对象,指定域方法名、请求url和body。 1 2 3 HttpRequest r = new HttpRequest("POST",
rator权限,才能在CDM创建连接。 cdm 密码 访问MRS Manager的用户密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 运行模式 “HIVE_3_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。