检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试 是 节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。
单击“新建”,在弹出的窗口中新建发现任务页面,输入基本信息,参数配置参考表1。 图2 新建发现任务参数配置 创建敏感数据发现任务参数配置说明: 表1 配置任务参数 参数名 参数说明 基本信息配置 *任务名称 标识敏感数据发现任务,为便于任务管理,建议名称中包含要识别的数据表和使用的规则组。 任务描述
CSS) 支持本地存储,仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS
消费组。 Kafka源端属性配置 支持设置Kafka的配置项,需要增加 properties. 前缀,作业将自动移除前缀并传入底层Kafka客户端,具体参数可参考Apache Kafka官方文档中的配置说明。 配置目的端参数。 图6 目的端OBS配置 文件存储格式 写入OBS的文
如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图2所示。 图2 选择连接器类型 选择“MySQL”后单击“下一步”,配置MySQL连接的参数。
D两种,通过$job_id和$instance_id获取。 使用简易变量集时,需要打开简易变量集的开关,功能才能生效。开关打开的方法请参见配置默认项 > 是否使用简易变量集。 业务日期参数 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天)。例如,调度日期为2023
PATH=/usr/local/dws_client_8.1.x_x64/bin:${PATH} 其中,/usr/local/dws_client_8.1.x_x64是安装的dws客户端的路径。 父主题: 数据开发
发布任务包 功能介绍 目前支持发布包管理中相关包的发布,支持发布多个任务包。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/release-packages/deploy 参数说明
撤销任务包 功能介绍 目前支持发布包管理中相关包的撤销,支持撤销多个任务包。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/release-packages/unpack 参数说明
CDM作业配置管理 CDM作业管理界面的“配置管理”页签,主要操作如下: 最大抽取并发数 定时备份/恢复 作业参数的环境变量 最大抽取并发数 最大抽取并发数即集群最大抽取并发数。 此处的“最大抽取并发数”参数与集群配置处的“最大抽取并发数”参数同步,在任意一处修改即可生效。 CD
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 数据集成(CDM作业)
创建一个数据开发模块空作业,作业名称为“job_MRS_Flink”。 图1 新建作业 进入到作业开发页面,拖动“MRS Flink”节点到画布中并单击,配置节点的属性。 图2 配置MRS Flink节点属性 参数设置说明: --Flink作业名称 wordcount --MRS集群名称 选择一个MRS集群
据分类三类任务的运行日志。 更多 > 取消:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。状态为执行中的实例,单击取消,可终止重跑此实例。 更多 > 扫描结果:创建采集任务的时候,配置“数据分类”为“手动同步分类结果”时,才可进行此操作。可用于查看
查询指定发布包详情 功能介绍 用于查询指定的发布包详情信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 GET /v2/{project_id}/factory/release-packages/{package_id} 参数说明
moment-timezone --save 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 已在IntelliJ IDEA中安装NodeJS插件,如果未安装,请按照图1所示安装。 图1 安装NodeJS插件 获取SDK 登录DataArts
S主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 当前用户已锁定该脚本,否则需要通过“抢锁”锁定脚本后才能继续开发脚本。新建或导
ble) 支持本地存储,仅MRS Hive、MRS Hudi支持存算分离场景。 仅MRS Hive支持Ranger场景。 不支持ZK开启SSL场景。 MRS HDFS建议使用的版本: 2.8.X 3.1.X MRS HBase建议使用的版本: 2.1.X 1.3.X MRS Hive、MRS
查询发布包列表 功能介绍 用于查询发布包的列表信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/release-packages 参数说明 表1 URI参数说明 参数名 是否必选
北京四、上海一内测 隐私保护管理 脱敏策略 展示层脱敏策略 北京四、上海一内测 数据加密 密钥管理、 文件加密 外部接口 北京四、上海一内测 数据安全运营 表权限报告 表权限视图 全网商用 成员权限视图 成员权限视图 全网商用 另外,DataArts Studio为不同版本配置了不同的使用规格
或技术支持人员。 基础与网络连通配置 IP或域名 是 关系型数据库数据源的访问地址,可填写为IP或域名。 如果为RDS或GaussDB等云上数据源,可以通过管理控制台获取访问地址: 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称,进入实例