检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建一个数据服务专享集群。 数据服务定位于标准化的数据服务平台,提供了快速将数据表生成数据API的能力,帮助您简单、快速、低成本、低风险地实现数据开放。 数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对比。其中数据服务共享版即开即用但仅限于存量用户
“列表文件”选择为“否”时,才有该参数。 待迁移数据的目录或单个文件路径。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度
待迁移数据的目录,将迁移目录下的所有文件(包括所有嵌套子目录及其子文件)。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度
而在配置细粒度认证后,在DataArts Studio数据开发执行脚本、测试运行作业或调度作业时,数据源将不再使用数据连接上的账号,而是使用当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集中的权限管控生效。 细粒度认证开关对数据开发中的脚本、作业运行影响总结如下: 当关闭细粒度认证时
待迁移数据的目录,将迁移目录下的所有文件(包括所有嵌套子目录及其子文件)。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度
据源上,详见同步IAM用户到数据源。 如果希望在DataArts Studio数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权以实现行级访问控制策略生效,则需要启用细粒度认证。 为确保行级访问控制策略生效,须确保策略中指定的用户已具备待控制操作的表权限,同时需要将表所属
数据服务专享集群增量包对应数据服务专享版集群。 数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。数据服务当前提供共享版与专享版两种服务方式,差异请参见共享版与专享版数据服务的对比。其中
将unix时间戳按time_format格式化。 unix_timestamp(#col[, precision, time_format]): 将时间转成unix时间戳, 可显式定义时间格式及转换后精度。 自动建表:单击“自动建表”可按照已配置映射规则在目的端数据库自动建表,成功后表建立方式会显示为使用已有表。 图10
义文件分隔符,具体请参见文件列表迁移。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度
in运算符的对立面,用于把某个值与不在一系列指定列表的值进行比较。 如果绑定字段无法匹配多个绑定参数中的值,则条件为真。 值得注意的是,请求参数可以通过复制并设置操作符,实现多个输入的绑定参数条件匹配绑定字段。 以图3为例,即为访问API时输入两个入参id1和id2,匹配id1和id2数值范围之间的x列值。 图3
的“数据连接”和“数据库”参数,“数据库”需设置为事实表所在的数据库。 数据开发作业自动生成功能需在管理配置中心中勾选“创建数据开发作业”实现。 图14 按付款方式汇总统计节点属性 按费率汇总统计节点:为MRS Hive SQL节点,按费率代码维度统计汇总截止到当前日期的收入。该
SQL脏数据默认存储在以“dlf-log-{projectId}”命名的OBS桶中。 标签 通过为资源添加标签,可以对资源进行自定义标记,实现资源的分类。 说明: 如您的账号归属某个组织,且该组织已经设定DataArts Studio服务的相关标签策略,则需按照标签策略规则添加标
因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集中的权限管控生效。 创建空间权限集 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。
因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集中的权限管控生效。 创建权限集 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。
下参数解析格式为#{parameter},支持if、choose、when、foreach和where等标签语法,您可以借助标签语法来灵活实现空值校验、多值遍历、动态查表、动态排序及聚合等复杂查询逻辑。 MyBatis方式当前在“华南-广州”区域公测,公测结束后会陆续在其他区域上线。
End:移至当前文件的最前或最后 Home或End:移至当前行最前或最后 Ctrl + Shift + L:鼠标双击相同的字符串后,为所有相同的字符串添加光标,实现批量修改 Ctrl + D:删除一行 Shift + Ctrl + U:解锁 Ctrl + Alt + K:同词选择 Ctrl + B:格式化
在许多场景下,可以通过建立Hive分区方法减少每一次扫描的总数据量,这种做法可以显著地改善性能。 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多时,会有很多HDFS子目录,如果不依赖工具,将外部数据加载到Hive表各分区不是
End:移至当前文件的最前或最后 Home或End:移至当前行最前或最后 Ctrl + Shift + L:鼠标双击相同的字符串后,为所有相同的字符串添加光标,实现批量修改 Ctrl + D:删除一行 Shift + Ctrl + U:解锁 Ctrl + Alt + K:同词选择 Ctrl + B:格式化
*指定列 开启“是否指定列”时,此参数为必选项。 如果您需要对某列进行脱敏,则必须勾选对应列,然后选择脱敏算法才能生效。如果仅选择脱敏算法,则无法实现脱敏。 说明: 静态脱敏时,请根据待脱敏数据的字段类型正确选择脱敏算法,否则可能会导致数据库数据异常。例如对date字段使用数值随机算法脱
批通过,才能将修改后的作业同步到生产环境。 自定义角色:如果预置角色不能满足您的需求,您也可以创建自定义角色。自定义角色的权限可自由配置,实现业务操作权限最小化。 本章节将为您介绍各预置角色的权限差异说明。 后文权限点中的“操作”权限,指的是非增删改查的资源操作,例如导入、导出、