检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Content-Type 是 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 表3 请求Body参数 参数 是否必选
参数 用户可参考表1和表2配置RDS SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 默认情况下,节点名称会与选择的脚本名称保持同步。
用户可参考表1和表2配置Data Migration节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 CDM集群名称 是 选择CDM集群。如需查看集群
过DAYU策略+工作空间角色的方式进行权限控制,您可以通过自定义角色进行更精细化的权限管理。 DataArts Studio基于DAYU系统角色+工作空间角色实现授权的能力。为使IAM用户权限正常,IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Ad
调试API 操作场景 API创建后需要验证服务是否正常,管理控制台提供调试功能,您可以添加HTTP头部参数与body体参数,调试API接口。 后端路径中含有环境变量的API,不支持调试。 API绑定签名密钥时,不支持调试。 如果API已绑定流控策略,在调试API时,流控策略无效。
略/出错。 正常处理:Migration识别到源端库表出现该DDL动作时,作业自动同步到目的端执行该DDL操作。 忽略:Migration识别到源端库表出现该DDL动作时,作业忽略该DDL,不同步到目的端表中。 出错:Migration识别到源端库表出现该DDL动作时,作业抛出异常。
只有在创建密级之后,您才可以创建数据分类,进而创建脱敏策略进行数据脱敏。 前提条件 无。 进入数据密级管理页面 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择“数据安全 > 数据密级”,用户可以在该页面新建、管理和删除分级,也可以调整分级的优先级。
登录DataArts Studio控制台实例,进行所用空间的数据开发界面,单击左侧导航栏的“作业监控”,进入“实时集成作业监控界面”,搜索对应的实时集成作业,单击右侧操作栏中的“暂停”按钮。 图1 暂停作业1 方式二: 登录DataArts Studio控制台实例,进行所用空间的数据开
当选择“BINARY_FILE”时,目的端也必须为文件系统。 fromJobConfig.lineSeparator 否 String 文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。
Hive的CDM作业为例,介绍通过数据开发使用参数传递功能灵活调度CDM作业。 前提条件 已购买数据集成增量包。 创建CDM迁移作业 登录控制台,选择实例,单击“进入控制台”,单击相应工作空间后的“数据集成”。 在集群管理页面,单击集群操作列“作业管理”,进入“作业管理”页面,如图1所示。 图1
SQL不支持),通过作业调度时可通过节点属性进行赋值,如2所示。 Shell脚本可以在编辑器上方配置参数和交互式参数以实现参数传递功能。 Python脚本支持参数传递功能。 SQL脚本支持在脚本编辑器中直接输入参数(Flink SQL不支持),脚本独立执行时可通过编辑器下方配置,如图5所示。
您也可以根据您的实际情况,参考主题流程配置对主题层级进行自定义配置。 约束与限制 单工作空间允许创建的主题个数最多5000个。 新建主题并发布 在DataArts Studio控制台首页,选择对应工作空间的“数据架构”模块,进入数据架构页面。 单击左侧导航栏中“主题设计”,进入主题设计页面,单击左上角的“新建”。 图1
参见新建数据分类。 数据连接,数据表已创建成功,敏感数据已被数据目录采集。 创建脱敏策略 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。 选择“数据安全 > 脱敏策略”,在“脱敏策略”页面中,单击“新建”。
Content-Type 否 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 响应参数 状态码: 200 表3 响应Body参数
方式一:新建表达式转换器时,表达式需要用''包围。 ${dateformat(yyyy-MM-dd)}不加引号使用时,解析成2017-10-16之后还会进行运算,将'-'识别为减号,导致结果为1991,须使用'${dateformat(yyyy-MM-dd)}',即'2017-10-16'。 图2 使用''包围表达式
Content-Type 否 String 消息体的类型(格式),有Body体的情况下必选,没有Body体无需填写。如果请求消息体中含有中文字符,则需要通过charset=utf8指定中文字符集,例如取值为:application/json;charset=utf8。 响应参数 状态码: 200 表4 响应Body参数
DLI队列名称 通过DLI管理控制台获取队列名称: 登录管理控制台。 单击“数据湖探索服务”,单击“队列管理”。 在队列管理列表中可以获取到队列名称。 jobName 是 String DLI作业名称 通过DLI管理控制台获取作业名称: 登录管理控制台。 单击“数据湖探索服务”,单击Spark作业。
方式一:新建表达式转换器时,表达式需要用''包围。 ${dateformat(yyyy-MM-dd)}不加引号使用时,解析成2017-10-16之后还会进行运算,将'-'识别为减号,导致结果为1991,须使用'${dateformat(yyyy-MM-dd)}',即'2017-10-16'。 图2 使用''包围表达式
Client节点的使用案例。 参数 用户可参考表1配置DIS Client节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 是否使用DIS数据通道连接 否 若使用数据通道连
需要配置云日志服务。关于云日志服务的详细配置和操作方法,请参见《云日志服务用户指南》。 在“云日志服务”界面创建日志组。 登录管理控制台。 在管理控制台左上角单击图标,选择区域和项目。 选择“服务列表 > 管理与监管 > 云日志服务”。 图1 进入云日志服务 单击左侧导航栏“日志管理”。