检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
费用按“按需计费”计费,购买套餐包之后的费用按“套餐包”计费。 您可以在DataArts Studio实例卡片上,通过“更多 > 查看增量包”,查看已购买的增量包。 按需计费方式购买数据集成资源组 购买“按需计费”增量包,系统会按照您所选规格自动创建一个数据集成实时作业所需的资源组。
在30天内进行还原,在回收站中超过30天的数据将被自动删除。详见管理回收站章节。 查看策略详情:在动态脱敏页面,通过同步状态筛选策略或直接找到需要查看的策略,单击策略名即可查看策略详情。 图3 查看策略详情 参考:动态脱敏规则介绍 MRS Hive动态脱敏规则由MRS Ranger组件提供,当前支持的规则如表2所示。
获取普通API的结果集及相关变量: 获取普通API的查询状态是否成功,结果为true或false:${节点编码|payload.success} 获取普通API查询结果集内的行数:${节点编码|payload.rowSize} 获取普通API查询结果集内的列数:${节点编码|payload
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时,源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
发布”对话框。 在下拉菜单中选择审核人。 单击“确认提交”。 发布历史 在列表中,找到所需查看的时间限定,单击“更多 > 发布历史”,将显示“发布历史”页面。 在“发布历史”中,您可以查看时间限定的发布历史和版本对比信息。 下线 在需要下线的时间限定右侧,单击“更多 > 下线”,系统弹出“提交下线”对话框。
进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在项目ID和账号ID下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来
设置自定义项,以对表进行描述。自定义项设置完成后仅可用于在表详情中进行查看,无特殊需求时无需设置。 例如您需要标识该表的来源时,可以设置自定义项配置名为“来源”,值为对应的表来源信息。配置完成后可以在表详情中查看该信息。 *资产责任人 在下拉列表中选择维度所属的资产责任人,可以手动输入名字或直接选择已有的责任人。
在“服务列表”中选择数据治理中心,进入DataArts Studio实例卡片。从实例卡片进入控制台首页后,确认能否正常查看工作空间列表情况。 进入已添加当前用户的工作空间业务模块(例如管理中心),查看能否根据所配置的工作空间角色,正常进行业务操作。 父主题: 咨询与计费
enabled(OBS表的指定目录或OBS表分区表的分区目录下有子目录时,是否查询子目录的内容;默认不查询) dli.sql.dynamicPartitionOverwrite.enabled(在动态分区模式时,只会重写查询中的数据涉及的分区,未涉及的分区不删除) 队列名称 是 默认选择SQL脚本中设置的DLI队列,支持修改。
仅当DWS集群guest_agent版本为8.2.1,或在8.2.1以上、9.0.0以下时,才支持细粒度认证。DWS集群guest_agent版本查看方法请参考查看DWS集群guest agent版本。 MRS Hive连接联通性测试约束如下: 仅当MRS Hive数据连接中的用户配置了代理权限后,才支持细粒度认证。
Shell节点运行的输出结果不能大于30M,大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
如图7所示,说明如下: 新建:可查看或编辑新建表或DLI视图的DDL模板。 更新:可查看或编辑更新表或DLI视图的DDL模板。 删除:可查看或编辑删除表或DLI视图的DDL模板。 衍生指标:可以查看或编辑衍生指标的SQL模板。 复合指标:可以查看或编辑复合指标的SQL模板。 汇总表:可以查看或编辑汇总表的SQL模板。
在配置作业调度时,可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天,请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天,通过条件表达式进行判断是否为每月最后一天 可以灵活适用多种场景。只需要编写条件表达式就可以灵活调度作业去运行。例如,每月最后一天,每月七号等。
#reload(sys) #sys.setdefaultencoding('utf8') 重启python,通过sys.getdefaultencoding()查看默认编码,这时为'utf8'。 父主题: 数据开发
MRS Kafka 功能 MRS Kafka主要是查询Topic未消费的消息数。 参数 用户可参考表1和表2配置MRS Kafka的参数。 表1 属性参数 参数 是否必选 说明 数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择MRS Kafk
略”设置为“逻辑或”即可。 图4 编辑参数表达式 测试运行作业job_agent,在工作空间A的作业job1未运行的情况下,前往实例监控中查看执行结果是否符合预期。 由于作业job1未运行即未发送消息,则job_agent作业中的Subjob节点被跳过,证明IF条件判断生效。 图5
API管理”页面,进入API管理页面。 勾选待同步的API所在行,在API列表上方,选择并单击“更多 > 同步至数据地图”。 图2 同步至数据地图 在同步结果页面,查看同步状态和详情,确认API同步结果。 图3 同步结果 仅已发布状态的API支持同步至数据地图。 仅以下数据源的API支持同步:DLI、DWS、HBase、Clickhouse。
在配置作业调度时,可以选择每个月的最后一天执行。如果您需要配置作业的调度时间为每月最后一天,请参考下面两种方法。 表1 配置每月最后一天进行调度 配置方法 优势 如何配置 调度周期配置为天,通过条件表达式进行判断是否为每月最后一天 可以灵活适用多种场景。只需要编写条件表达式就可以灵活调度作业去运行。例如,每月最后一天,每月七号等。
否 枚举 重复文件处理方式,只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式: REPLACE:替换重复文件。 SKIP:跳过重复文件。 ABANDON:发现重复文件停止任务。 toJobConfig.columnList 否 String 需要抽取的字段列
选择需要开机/关机的服务: ECS CDM 开关机设置 是 选择开关机类型: 开 关 开关机对象 是 选择需要开机/关机的具体对象,例如开启某个CDM集群。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。