检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
100 <=40000 200 <=80000 300 > 80000 400 当前工作空间级别的节点并发数支持配置,方法如下: 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了作业级任务组,则优先级高于节点的任务组。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
在配置周期调度时,您可以通过单击周期调度后面的弹出的使用指南标题内容,确认当前实例为传统周期调度还是自然周期调度。如下图所示,则表明此实例为传统周期调度方式。 图3 查看周期调度使用指南 父主题: 周期调度依赖策略
表1 导航栏按键说明 序号 说明 1 新建目录。 2 刷新目录。 3 选择全部,单击右键,可新建目录、重命名目录和删除目录。 新建指标 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
选择“数据地图 > 数据目录”,并进入“技术资产”页签。 在资产搜索输入框输入需要添加标签的数据的关键字,然后单击“搜索”,搜索结果以列表方式显示。 勾选需要添加标签的资产,单击右上角“标识”。在添加标识对话框中配置标签。 图1 添加标识 选择标识种类为标签,并配置标签,单击“确定”提交。
置作业刷新频率等。 实时作业监控:禁用节点后恢复 您可以对实时作业中某个节点配置“禁用”后恢复运行,恢复运行时可以重新选择运行位置。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
提交脚本会将当前开发态的最新脚本保存并提交为版本,并覆盖之前的脚本版本。为了便于后续其他开发者对此脚本进行修改,建议您在提交脚本后通过“解锁”解除该脚本锁定。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
个人身份信息(身份证、社保卡、驾驶证) 其他信息(宗教信仰、精准定位) 敏感数据的保护方式 敏感数据识别与添加标签 从海量数据中将数据进行分类分级,方便进行不同粒度和级别的安全管理。 数据泄露检测与防护 如果出现频繁访问敏感数据的异常行为,可以及时进行风险告警。 数据静态脱敏、数据水印 对于已
适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,
适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,
Oracle数据源默认权限无法正常执行实时处理集成作业。 原因分析 Oracle库需要开启归档日志,归档日志建议至少保留三天。 Oracle表没有表查询权限和日志解析权限。 解决方案 开启归档日志。 以sysdba身份登录Oracle数据库。 执行SQL命令ARCHIVE LOG LIST查询当前数据库的归档状态,如下结果为未开启日志归档。
d,-N)] 前/后N周 $[yyyymmdd±7*N] 前/后N天 $[yyyymmdd±N] 前/后N小时 获取该时间数据包含如下两种方式: $[hh24miss±N/24] $[自定义时间格式±N/24]。 例如,取前一个小时的不同时间格式: 取月:$[mm-1/24]。 取年:$[yyyy-1/24]。
HBase/CloudTable增量迁移 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。
HBase/CloudTable增量迁移 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。
如果实例的计划执行时间,是日历中的非工作日,则实例空跑。 约束限制 按照日历配置自定义工作日期进行调度,不支持于实时处理作业,只支持批处理作业。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
“提交”会将当前开发态的最新作业保存并提交为版本,并覆盖之前的作业版本。为了便于后续其他开发者对此作业进行修改,建议您在提交作业后通过“解锁”解除该作业锁定。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
Jar单任务作业中使用参数模板。 Spark SQL和Hive SQL脚本及单任务作业支持引用参数模板。模板配置好之后,请到配置默认项去使用该模板。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
管理员导入脚本时,选择导入提交态,会生成对应的待发布项。 管理员导入脚本时,选择导入生产态,则不会生成待发布项。 前提条件 已提交版本,详情请参见提交版本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
填写基本配置参数。 图3 基本配置 表2 基本配置 参数名称 说明 *所属主题 单击“选择主题”选择所属的主题信息。 逻辑实体编码 支持自动生成和自定义两种方式。 *逻辑实体名称 逻辑实体的名称。 只允许除\、<、>、%、"、'、;及换行符以外的字符。 *表英文名称 逻辑实体转换为物理表的名称。只
开发者创建单任务的实时作业后,提交版本时,只生成当前作业的待发布项,不会生成子作业的待发布项。 前提条件 已提交版本,详情请参见提交版本。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择