正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
10kb。 新建哈希类型的脱敏算法时,其中的dws-SM3密码杂凑算法是DWS引擎专有算法,结果为16进制字符串,其字母为小写,要求DWS集群版本不低于8.1.3。通用-SM3密码杂凑算法为DLI或MRS引擎通用算法,结果为16进制字符串,其字母为大写。 内置脱敏算法介绍 数据安
告警,及时发现调度运行问题,提高处理问题的窗口期。 配置作业节点失败重试及配置作业失败告警:通过配置作业节点失败重试及失败告警,尽量减少在集群压力峰值时的作业无法正常运行的情况,即使发生失败也可以及时通知到运维管理人员解决,减少故障升级情况。 配置作业超时告警:通过配置作业超时告
Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(MRS Hudi作为一种数据格式,元数据存放在Hive中,操作通过Sp
JAR两种实时处理的单任务作业,作业运行完成后,可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。 说明: MRS集群版本为不支持时,界面不显示查看日志,则系统不支持通过一键跳转查看日志。 单击作业名称,在打开的页面中查看该作业的作业参数、作业属性、作业实例。
运行程序参数 配置运行参数。 举例如下: 参数配置为--queue,参数值配置为default_cr,该示例表示配置了MRS集群的指定队列。同时在MRS集群的作业管理下,在操作的“更多 > 查看详情”里面可以查看该作业的详细信息。 说明: 为本次执行的作业配置相关优化参数(例如线
obs目录数。 obs_file_count Integer obs文件数。 css_index_count Integer css索引数。 css_index_field_count Integer css 索引字段数目。 namespace_count Integer 命名空间数。
参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 job_name 是 String 作业名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 link_name 是 String 需要删除的连接名。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。 job_name 是 String 作业名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 DMS Kafka连接 父主题: 附:公共数据结构
目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 附:公共数据结构
源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务 父主题: 附:公共数据结构
项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 cluster_id 否 String 集群ID,获取方法请参见查询单个数据连接信息。 datasource_type 否 String 数据源类型 HIVE数据源 parent_permission_set_id
配置DWS源端参数 配置FTP/SFTP源端参数 配置Doris源端参数 配置HBase 源端参数 配置ClickHouse源端参数 配置ElasticSearch源端参数 配置MongoDB源端参数 配置RestApi源端参数 配置GBase源端参数 配置Redis源端参数 父主题: 离线处理集成作业开发
S连接。kafka-connector:Kafka连接。dis-connector:DIS连接。elasticsearch-connector:Elasticsearch/云搜索服务连接。dli-connector:DLI连接。 http-connector:HTTP/HTTPS
ClickHouse MRS HetuEngine MRS Impala SQL MRS Flink Job MRS MapReduce CSS Shell RDS SQL ETL Job Python DORIS SQL GBase SQL ModelArts Train Http
配置MySQL目的端参数 配置SQLServer目的端参数 配置Hudi目的端参数 配置Hive目的端参数 配置DLI目的端参数 配置ElasticSearch目的端参数 配置DWS目的端参数 配置OBS目的端参数 配置SAP HANA目的端参数 配置ClickHouse目的端参数 配置Doris目的端参数
S连接。kafka-connector:Kafka连接。dis-connector:DIS连接。elasticsearch-connector:Elasticsearch/云搜索服务连接。dli-connector:DLI连接。 http-connector:HTTP/HTTPS
执行DLI脚本,提示报错信息Invalid authentication,可能是由于权限不足引起的。 解决方案 请确认当前用户在IAM中是否具有DLI Service User或者DLI Service Admin权限。 父主题: 数据开发
自己的应用推荐采用APP解除授权,无需预留准备时间。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/service/apis/authorize/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String