检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
csv、comment_data.csv和action_data.csv文件上传数据到对应文件夹中。 由于DLI在关联CSV表格用于创建OBS外表时,不支持指定文件名、仅支持指定文件路径,因此需要将CSV表格分别放到不同的文件路径下,且确保文件路径下仅包含所需的CSV表格。 使用OBS控制台上传文件的操作,
的节点,选择“调度配置”,配置如表3所示的参数。 图3 调度配置 表3 调度配策略参数说明 参数 说明 DIS通道名称 选择DIS通道,当指定的DIS通道有新消息时,数据开发模块将新消息传递给作业,触发该作业运行。 事件处理并发数 选择作业并行处理的数量,最大并发数为10。 事件检测间隔
在“权限配置”区域,单击“用户管理”。 在需导出keytab文件用户所在的行,选择“更多 > 下载认证凭据”下载认证文件,待文件自动生成后指定保存位置,并妥善保管该文件。 具体可参见MapReduce服务文档。 FusionInsight集群 FusionInsight HDFS
此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时,此参数是必选项。请注意,此处AK/SK对应的账号应具备OBS
如果从其他数据源逆向过来的表,在码表中已存在同名的表,选择是否更新已有的码表。 名称来源 逆向后表名称/字段名称的来源,可以是描述或者是相应英文名,如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 逆向表数据 不逆向:逆向数据库时,将表导入到码表目录中,但是不导入表数据。您可以在完成逆向
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 - File 下载EXCEL模板。
单击数据安全左侧导航树中的“权限审批”,进入权限审批页面。 在“权限审批”页面,单击“权限回收”,进入权限回收页签。 图6 权限回收 在权限回收页签中,列表展示指定空间(默认当前空间)下的用户通过申请、审批获得的数据权限。您可以通过选择需要回收的权限所在的工作空间、成员名称或库表名,匹配权限记录(支持
敏感数据识别过程中,如果规则为内容识别类型(即内置规则和内容识别类型的自定义规则),则仅当数据表中某字段匹配规则的记录数/总记录数>=指定阈值(默认80%)时,才认为该字段为敏感字段,并为之匹配相应密级和分类。 敏感数据识别过程中,当某个字段同时匹配到识别规则组中的多个识别规
),用于优化资源使用效率,提升作业的执行性能。 注意: 系统支持实时Flink SQL作业运行前能够查询历史checkpoint,并选择从指定checkpoint启动。要使Flink Checkpoin生效,需要配置两个运行参数: 图1 配置运行程序参数 用来控制checkpoint间隔
只有使用时间字段timestamp、Date来确定增量范围时,才可以选择增量模式 一般而言,全量模式下数据水印嵌入任务使用单次调度,增量模式下使用周期调度。 *指定时间字段 增量模式下,选择时间字段timestamp、Date来确定增量范围。 目标端配置 *数据源类型 目前只支持MapReduce服务(MRS
10800 120 数据源接口 表5 数据源接口 API 说明 API流量限制(次/min) 用户流量限制(次/min) 获取数据连接信息 获取指定类型下的数据连接信息。 21600 240 码表管理接口 表6 码表管理接口 API 说明 API流量限制(次/min) 用户流量限制(次/min)
从错误节点开始重跑:作业实例执行失败时,从实例执行失败的错误节点开始重跑。 从第一个节点开始重跑:从作业实例的第一个节点开始重跑。 从指定的节点开始重跑:从作业实例中指定的节点开始重跑。仅当“重跑类型”选择“重跑当前实例”时有此选项。 说明: 以下两种情况,系统运行会从第一个节点开始重跑。
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 Content-Type 是 String 消息体的类型(格式),此处为导入文件,取值为multipart/form-data。
此参数是必选项。 填写为MRS Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时,此参数是必选项。请注意,此处AK/SK对应的账号应具备OBS
表抽取范围的Where子句,不配置时抽取整表。如果待迁移的表中没有Where子句的字段,则迁移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 age > 18 and age <= 60 分区字段是否允许空值 选择分区字段是否允许空值。
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型,指定SHARED共享版或EXCLUSIVE专享版。 表3 请求Body参数 参数 是否必选 参数类型 描述 [数组元素] 是 Array of
如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时,工作空间为必填参数,否则会报错。 表3 参数说明 参数名 是否必选 参数类型 说明
型,您需要新建多个映射,每个映射中,您只需要为来源于当前映射的字段设置源字段,其他字段可以不设置。 在映射区域的右上角,单击按钮,可以删除指定的映射,单击可以收起映射区域。 (可选)新建表的“表类型”为“DWS_VIEW”时,在“视图定义”页面,单击“新建”可以新建一个视图。 图7
的建议单线程抽取数据。 是否写入脏数据:建议配置为“是”,然后参考图10配置相关参数。脏数据是指与目的端字段不匹的数据,该数据可以被记录到指定的OBS桶中。用户配置脏数据归档后,正常数据可以写入目的端,迁移作业不会因脏数据中断。 在本示例中,“OBS桶”配置为在数据源准备中创建的
String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 X-Auth-Token 是 String 用户To