检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL脚本,脚本名称为“hive_sql”。在编辑器中输入SQL语句,通过SQL语句来实现业务需求。 图1 开发脚本 关键说明: 图1中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接:建立Hive的数据连接创建的连接。 开发Hive SQL作业
dw_config 参数 参数类型 描述 fgac_flag Boolean 是否开启细粒度认证,true表示开启细粒度认证,false表示关闭细粒度认证。 fgac_type String 细粒度认证类型,开启细粒度认证时才生效。"0"表示开发态细粒度认证,支持数据开发细粒度脚本
导出作业和导出连接的接口响应消息是一个流,需要转化为一个文件。 您可以参考下面的样例代码: String EXPORT_JOB_URL = "https://{endpoint}/v1/{project_id}/jobs/{job_name}/export"; try (CloseableHttpClient
中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 obs.myregion.mycloud.com 端口 数据传输协议端口,https是443,http是80。 443 OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。
数据连接id,获取方法请参见查询细粒度认证数据源连接列表。 fgac_flag 否 Boolean 是否开启细粒度认证,true表示开启细粒度认证,false表示关闭细粒度认证。 fgac_type 否 String 细粒度认证类型,开启细粒度认证时才生效。"0"表示开发态细粒度认证,支持数据开发细粒度
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Long、Flo
TL(抽取(Extract)、清洗转换(Transform)、加载(Load))。 集成作业创建后,选定了数据源端、目的端及资源组后,需要检测资源组与两个数据源之间的连通性。 资源组与两个数据源分布在不同账号和云时的打通网络方案不同,具体如下: 数据源创建在本租户的VPC时通过对
请求Path 资源路径,也即API访问路径。 示例:/v2/{project_id}/streams 协议 用于传输请求的协议,支持HTTP和HTTPS协议。 请求方式 HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 GET:请求服务器返回指定资源。 POST
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dis_link 区域 DIS所在的区域。 - 终端节点 待连接DIS的URL,URL一般格式为:https://Endpoint。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。
保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 支持单击右键,可快速复制作业名称,同时可以快速的关闭已打开的作业页签。 在MRS API连接模式下,单任务MRS Spark SQL和MRS Hive SQL运行完以后,在执行结果中查看运行日志,增加一键跳转MRS
数据架构页面。 (可选)在数据架构控制台,单击左侧导航树中的“配置中心”,在功能配置下选择是否开启“时间限定生成使用动态表达式”功能,默认关闭。 图1 功能配置 在数据架构控制台,单击左侧导航树中的“技术指标”,选择“时间限定”页签。 进入时间限定页面后,单击“新建”按钮。 在新
String API请求协议类型。 枚举值: PROTOCOL_TYPE_HTTP:HTTP协议请求 PROTOCOL_TYPE_HTTPS:HTTPS协议请求 request_type 否 String 请求类型。 枚举值: REQUEST_TYPE_POST:POST请求 RE
Key=4f5f626b-073f-402f-a1e0-e52171c6100c Secret=****** Method=POST Url=https://{apig-endpoint} 填入json格式的Query和Headers,填入Body。其中所访问API的ID为必填项,需要
or Madam, this is an HTTP message.'}", "https": "{'message':'Dear Sir or Madam, this is an HTTPS message.'}", "sms": "This is an SMS message
挂载地址 DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。 https://管理IP:8088/deviceManager/devicemanager/login/login.html 用户名 登录存储管理系统的用户名。
168.0.2:9200。 linkConfig.safemode 否 Boolean 当选择安全模式认证时,需要输入用户名、密码和选择是否https访问。 linkConfig.user 否 String 对于支持用户名密码鉴权的Elasticsearch,需要在创建连接时配置用户名和密码。
为实现DWS数据源的数据访问审计,需要满足如下条件: 已开启DWS集群的审计功能开关audit_enabled。 审计功能开关默认开启,如果已关闭则请参考修改数据库参数章节将audit_enabled设置为ON。 已开启需要审计的审计项。 DWS各类审计项及其开启方法,请参考设置数据库审计日志章节。
default数据库中的数据表进行脱敏。 *目标表名 用户手动输入,不能与目标端数据库表名重复。当输入的表名不存在时会创建该表。 输入请单击“测试”,测试创建目标表并检测目标表是否可用,否则将无法进行下一步操作。 执行引擎 *执行引擎 选择运行脱敏任务的引擎。不同脱敏场景下支持的引擎和注意事项如表3所示。 脱敏队列
数据传输安全 用户个人敏感数据(包括密码)将通过TLS 1.2、TLS1.3进行传输中加密,所有DataArts Studio的API调用都支持 HTTPS 来对传输中的数据进行加密。 父主题: 安全
基础与网络连通配置 连接地址前缀 是 适用组件勾选数据集成时显示该参数。 连接地址前缀,测试以及作业时调用接口,会自动拼接此前缀。https仅支持TLSv1.2协议。 例如: https://xxx.com/prefix。 默认Header参数 是 适用组件勾选数据集成时显示该参数。 默认head