检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务 父主题:
说明: CDM集群和OBS桶不在同一个Region时,不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 obs.myregion.mycloud.com 端口 数据传输协议端口,https是443,http是80。
e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId());
目标字段编码。 field_ids 否 String 来源字段ID,多个ID以逗号分隔。 transform_expression 否 String 转换表达式。 field_names 否 Array of strings 来源字段名称列表。 changed 否 Boolean 字段是否发生变化。
Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“回收站”,进入回收站页面。 图1 进入回收站页面 在回收站页面,您可以通过切换页签,查看并还原已删除的权限集(包含空间权限集、权限集以及通用角色)或动态脱敏策略数据。 不同数据还原时的操作基本一致,后续步骤以还原权限集数据为例,为您介绍如何还原数据。
VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 说明: 目前专享版集群创建完成后不支持切换VPC、子网、安全组,请谨慎选择。 如果开启公网入口,安全组入方向需要放开80(HTTP)和443(HTTPS)端口的访问权限。 此处支持选择共享VPC子网,即由VPC的所有者将VPC内的子网共
目标字段编码。 field_ids String 来源字段ID,多个ID以逗号分隔。 transform_expression String 转换表达式。 field_names Array of strings 来源字段名称列表。 changed Boolean 字段是否发生变化。
登录统一身份认证服务IAM控制台。 在左侧导航窗格中,选择“权限管理>权限”页签,单击右上方的“创建自定义策略”。 图1 创建自定义策略 在自定义策略配置页面,策略配置方式切换至JSON视图,然后按照如下策略内容,创建obs_dli-trans自定义策略。 { "Version": "1.1", "Statement":
Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“数据访问审计”,进入审计日志页面。 图1 数据访问审计 您可以通过切换页签,查看不同数据源的审计日志。日志范围默认1小时,支持自定义时段查询,自定义时段时的最大查询时间间隔为一个月。 DWS审计日志:日志列表
指标数据的刷新的最小频率 统计口径&修饰词 除统计周期和维度外,该指标常用的统计口径&修饰词,限制指标数据的范围。 指标应用场景 描述该指标重要的应用场景,包括在线报表、例行报告、汇报材料等。 备注 在指标描述之外还需要补充的信息,有助于正确理解和使用该指标。 度量对象 衡量该指标的度量字段,如果不涉及可以不填写。
约束限制 当所连接的数据源发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 前提条件 已具备CDM集群。 CDM集群与目标数据源可以正常通信。 如果目标数
导出作业和导出连接的接口响应消息是一个流,需要转化为一个文件。 您可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export"; try (CloseableHttpClient
在数据开发组件,进入“数据开发 > 作业开发”页签,单击需要手动配置血缘关系的作业名,打开作业画布。 单击作业画布中的MRS Spark节点,并切换到“血缘关系”页签。 图2 进入血缘关系页签 在MRS Spark节点的“血缘关系”页签,手动配置血缘的输入表。假如MRS Spark作业
在数据开发组件,进入“数据开发 > 作业开发”页签,单击需要手动配置血缘关系的作业名,打开作业画布。 单击作业画布中的MRS Spark节点,并切换到“血缘关系”页签。 图2 进入血缘关系页签 在MRS Spark节点的“血缘关系”页签,手动配置血缘的输入表。假如MRS Spark作业
目标字段编码。 field_ids String 来源字段ID,多个ID以逗号分隔。 transform_expression String 转换表达式。 field_names Array of strings 来源字段名称列表。 changed Boolean 字段是否发生变化。
httpclient; } private String login(){ HttpPost httpPost = new HttpPost("https://"+IAM_ENDPOINT+"/v3/auth/tokens"); String json = "{\r\n"+ "\"auth\":
XX配置项有误。 请根据错误提示修改配置项,再重试。 Cdm.0089 配置项XX不存在。 请根据错误提示修改配置项,再重试。 低版本CDM集群切换至高版本CDM集群时,创建数据连接或保存作业时会偶现配置项不存在情况,请手动清理缓存,再重试。 Cdm.0091 打补丁失败。 请联系客服或技术支持人员协助解决。
目标字段编码。 field_ids 否 String 来源字段ID,多个ID以逗号分隔。 transform_expression 否 String 转换表达式。 field_names 否 Array of strings 来源字段名称列表。 changed 否 Boolean 字段是否发生变化。
下载.jar格式驱动并上传至OBS中。 MySQL驱动:获取地址https://downloads.mysql.com/archives/c-j/,建议5.1.48版本。 PostgreSQL驱动:获取地址https://mvnrepository.com/artifact/org
开发环境下,脚本、作业以当前开发者的身份执行;生产环境下,脚本、作业则使用空间级的公共IAM账号或公共委托执行。 如果需要对生产环境进行变更,必须在开发环境通过开发者的发布操作才能将变更提交到生产环境,需要管理者或部署者审批通过,才能发布成功。 劣势 存在不稳定、不安全的风险。 无法设置开发环境和生产环境隔离,只能进行简单的数据开发。