检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是必选项。 开启ldap 否 当“连接方式”参数选择为“通过代理连接”时,显示该配置项。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 ldap用户名 是 当“开启ldap”参数选择为“是”时,此参数是必选项。
是必选项。 开启ldap 否 当“连接方式”参数选择为“通过代理连接”时,显示该配置项。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 ldap用户名 是 当“开启ldap”参数选择为“是”时,此参数是必选项。
通过浏览器调用无认证方式的API 当无认证方式的API入参位置在Query或Path时,支持直接通过浏览器调用。 无认证方式建议仅在测试接口时使用,不推荐正式使用。若调用方为不可信任用户,则存在数据库安全风险(如数据泄露、数据库高并发访问导致宕机、SQL注入等风险)。 本章节以C
Manager的用户密码。 - 开启LDAP认证 通过代理连接的时候,此项可配置。 当MRS Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 否 LDAP用户名 当“开启LDAP认证”参数选择为“是”时,此参数是必选项。
已被绑定脱敏算法的分类规则不支持被重复绑定。 图1 新建脱敏 适配脱敏算法后,支持用户在线进行测试。输入测试数据,单击“测试”,在测试结果文本框中进行验证。 开启或关闭状态,只有启用状态下的脱敏策略才可生效。 查看数据脱敏效果 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应
仅涉及用于测试该连接委托功能是否正常,作业运行将根据DLF配置的调度身份执行CDM作业。 访问标识(AK) 是 “数据集成”参数开启时并且“OBS支持”设置为“是”、使用委托为否时,呈现此参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。
择“自动汇聚”页签查看。 数据标准是否重名:默认关闭,打开后数据标准可以重名。 导入数据标准时自动创建目录:默认开启,打开后导入数据标准时可以自动创建目录。 是否启用公共层:开关打开后,可将当前空间转化为公共层空间。公共层空间的码表和数据标准会共享给所有普通空间;普通空间可以查询
200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 SSL加密 否 支持对RDS服务启用SSL加密传输。默认开启SSL,如源端SSL未开启,则需手动关闭SSL加密。 数据源驱动配置 驱动程序名称 是 驱动程序名称,目前支持MySQL jdbc驱动,驱动名为:com
- Hudi changelog功能开关,开启后Migration作业可输出DELETE和UPDATE BEFORE数据。 logical.delete.enabled boolean true - 逻辑删除开关,changelog开启时必须关闭逻辑删除。 hoodie.write
数据分流开关,在多并发场景下开启数据分流可将数据按规则分配给不同的工作进程写入目的端,可提高写入性能。 sink.keyby.mode string table - 数据分流模式,可选填写: pk:按数据主键值进行分流。 table:按表名进行分流。 说明: 多并发场景下,若开启DDL功能,只能按表名分流,否则可能导致数据不一致。
Oracle库需要开启归档日志,归档日志建议至少保留三天。 Oracle表没有表查询权限和日志解析权限。 解决方案 开启归档日志。 以sysdba身份登录Oracle数据库。 执行SQL命令ARCHIVE LOG LIST查询当前数据库的归档状态,如下结果为未开启日志归档。 Database
作业中目的连接为HDFS连接时,目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
自定义 secrecy_level String 数据密级id。 name String 数据识别规则名称。 enable Boolean 是否启用。 method String 识别规则类型 NONE 无 REGULAR 正则表达式 DEFAULT 默认 description String
问控制策略,为不同开发者按照行数据进行授权。 在数据安全组件新建行级访问控制策略后,通过策略同步,会将行级访问控制策略同步到DWS,并自动开启该DWS表的行访问控制开关使该策略生效。 值得注意的是,行级访问控制策略为DataArts Studio实例级别配置,各工作空间之间数据互通,全局可见并生效。
> 现有集群”,单击集群名称进入集群详情页面,单击“组件管理”。 单击“下载客户端”。“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”或“远端主机”,自定义文件保存路径后,单击“确定”开始生成客户端配置文件。 将生成的配置文件,保存到本地路径。 具体可参见MapReduce服务文档。
HTTP请求方式,表示请求什么类型的操作,包含GET、POST等,遵循resultful风格。 GET:请求服务器返回指定资源,推荐使用GET请求。 POST:请求服务器新增资源或执行特殊操作。POST请求当前不支持body体,而是直接透传。 描述 对API进行简要描述。 标签
同步成功 SYNC_FAIL 同步失败 schedule_status 否 String 用户同步任务调度状态 NOT_SCHEDULE 未启用调度 SCHEDULING 调度中 order_by 否 String 排序字段 CLUSTER_NAME 按照集群名称排序 CREATE_TIME
HTTP请求方式,表示请求什么类型的操作,包含GET、POST等,遵循resultful风格。 GET:请求服务器返回指定资源,推荐使用GET请求。 POST:请求服务器新增资源或执行特殊操作。POST请求当前不支持body体,而是直接透传。 描述 对API进行简要描述。 标签
在ECS上调试好的shell脚本,在DLF中shell脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 图1 脚本运行结果 解决方案
String 调度类型。 start_time String 开始时间。 job_id Integer 工作id。 enabled Integer 启用。 表7 CustomMetadata 参数 参数类型 描述 description String 描述。 type String 类型。