检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业
error-details String 错误详情,当“status”为“FAILED”时才有此字段。 error-summary String 错误总结,当“status”为“FAILED”时才有此字段。 表5 counters 参数 参数类型 描述 org.apache.sqoop
SQL结果内容,比如表达式为(?<=\()(-*\d+?)(?=,), 匹配对应SQL结果为 (1,"error message") ,匹配到的结果为 "1"。 失败匹配值 - 当匹配成功的内容等于设置值时,该节点执行失败。 节点名称 是 默认显示为SQL脚本的名称,支持修改。规则如下: 节
名称。 field_ids 是 Array of strings 字段id信息,格式:table_id.field_id。 field_names 否 Array of strings 字段名称信息,格式:表名称.字段名称。 cal_exp 是 String 计算表达式,形如'${table_id
当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业
如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。其中,数据表的行数可以通过SQL命令或数据质量作业获取;数据库大小可以直接在数据目录组件中查看,详情请参考如下操作指导: 统计数据表行数 统计数据库大小 统计数据表行数 对于不同类型的数据源,DataArts
担压力。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 例如:dbname 驱动版本 否 选择ClickHouse驱动版本。 CLICKHOUSE_0_3_1:适用于连接ClickHouse 20.7以下版本,此驱动版本不支持多IP连接数据库服务器。 CLICKHOU
PostgreSQL数据源如何手动删除复制槽? 问题描述 PostgreSQL数据源不会自动删除复制槽,当复制槽数达到上限时,无法执行新的作业,需要手动删除复制槽。 原因分析 PostgreSQL数据源不会自动删除复制槽。 解决方案 登录作业使用的源数据库。 查询同步任务选择的d
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
allow文件里面。 CDM集群的内网IP获取方式请参见查看并修改CDM集群配置。 端口 是 主机的SSH端口号。 Linux操作系统主机的默认登录端口为22,如有修改可通过主机路径“/etc/ssh/sshd_config”文件中的port字段确认端口号。 KMS密钥 是 通过KMS加解密数
等待时间 消费者获取数据返回值为空,持续X秒,任务停止。 30秒 最大抽取时间 消费者最大抽取时间,单位min。 kafka抽取consumer端最大运行时间,当到达运行时间,抽取强制结束,如不填入,默认为30min。 1440 字段分隔符 迁移时的字段分割符,默认为空格。 , 记录分隔符
在数据开发界面,在DWS连接上右键单击,选择“新建数据库”,创建一个数据库用于存放数据表,数据库名称为“demo”。 图4 创建数据库 展开DWS连接目录至demo数据库的数据库模式层级,然后再右键单击,选择“新建模式”,创建数据库模式用于存放数据表,数据库模式名称为“dgc”。 图5 创建数据库模式 创建一个DWS
类型过滤条件按照名称排序,默认只显示前五种类型,单击“全部”,显示系统目前支持的所有资产类型。 资产详情 本文以查看技术资产中的数据表详情为例进行说明。 在技术资产搜索结果列表,单击任意数据表,进入数据表详情页面。 在“详情”页签,可查看技术元数据基本属性、编辑描述;可给数据表添
getNodeOutput("test")} 当前一节点执行无结果时,输出结果为“null”。 当前一节点的输出结果是一个字段时,输出结果形如[["000"]]所示。此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值,但注意输出结果类型为String。需要输出原数据类型时,仍需通过For Ea
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
"totalGetBytes": 0, "totalGetRecords": 0, "totalPutBytes": 0, "totalPutRecords": 0 } ], "status": "NORMAL"
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
才支持此参数。 type为DLISQL时,可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候,需要通过JDBC方式连上集群,查询数据库信息。默认值为空。 queueName 否 String DLI资源队列名称,当type参数值为DLISQL时,才支持此参数。
云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建作业 job createJob(api) 修改作业 job