检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时,HBase修复命令已经不再支持,通过HBase数据目录迁移的方式无法使用。 迁移方案 图1 迁移方案 H公司的车联网大数据业务平台当前CDH(Cloudera Hadoop) HBase集群中共有854
使用管理员用户登录IAM控制台。 在统一身份认证服务的左侧导航窗格中,选择“用户”,单击用户名进入用户信息界面。 单击“访问方式”后面的,修改访问方式。 勾选“编程访问”和“管理控制台访问”。 图4 配置访问方式 单击“确定”。 在管理控制台创建工作空间时,作业日志OBS路径只支持OBS对象桶,不支持并行文
增量包介绍 增量包类型 增量包说明 购买场景说明 购买方式 批量数据迁移增量包 批量数据迁移增量包对应数据集成CDM集群。 通过购买一个按需计费方式的批量数据迁移增量包,系统会按照您所选规格自动创建一个数据集成CDM集群。 通过购买一个套餐包方式的批量数据迁移增量包,系统不自动创建CDM集
见什么是默认密钥。 数据源认证及其他功能配置 用户名 是 主机的登录用户名。 登录方式 是 选择主机的登录方式: 密钥对 密码 密钥对 是 “登录方式”为“密钥对”时,显示该配置项。 主机的登录方式为密钥对时,您需要获取并上传其私钥文件至OBS,在此处选择对应的OBS路径(OBS路径中不能存在中文字符)。
定义数据分类规则,名称必须唯一。 识别规则 分类类型选择“自定义”,呈现此参数,支持正则表达式。 正则表达式 内容识别:提供的数据识别方式之一,自定义正则表达式。 列名识别:提供字段名精确匹配和模糊匹配方式,支持多个字段匹配。 描述 对当前规则进行简单描述。 新建分组 在DataArts Studio控制台首
调用数据服务API 申请API授权 通过不同方式调用API 父主题: 数据服务
API编排使得业务流程的设计和优化变得更加直观和高效,同时也为二次开发提供了更便捷的方式。您可以在如下场景中可以使用API编排,简化开发工作: 对返回消息进行映射或格式转换:通过API编排的方式能够灵活实现消息映射及格式转换。 数据请求依赖多个数据API:使用API编排后,可以降
制分别为20。 免费版仅用于试用场景,在业务负荷大的场景下,无法保证免费版实例上业务的正常运行。 免费版不支持通过API调用的方式使用,仅支持控制台方式使用。 免费版受成本、资源等因素限制,提供的总数量有限。当全网免费版数量超过限额时,将无法继续创建免费版实例。 免费版支持升级到
不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同,请参见表1获取相应Hadoop集群配置文件和Keytab文件。 表1 集群配置文件和Keytab文件获取方式 Hadoop类型连接 集群配置文件获取方式 Keytab文件获取方式 MRS集群 MRS HDFS MRS HBase
在创建API前,需要新建数据服务审核人。 创建API 创建API即生成API和注册API。其中,生成API支持两种方式(配置方式生成API和脚本/MyBatis方式生成API)。 调试API API创建后需要验证服务是否正常,管理控制台提供了调试功能。 发布API 只有将API发布后,API才支持被调用。
买按需计费的批量数据迁移增量包来进行创建。 按需计费 套餐包(按需资源包) 批量数据迁移增量包支持按需计费和套餐包计费两种计费方式。 按需计费:计费方式灵活,可以即开即停,按实际使用时长计费。 创建按需计费的增量包后,会自动创建一个数据集成CDM集群。 套餐包(按需资源包):建立
基础与网络连通配置 连接方式 是 选择所需的连接方式,推荐使用“通过代理连接”。 通过代理连接:通过Agent(即CDM集群)进行代理,以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。 MRS API连接:以MRS API的方式访问MRS集群。MRS
解决方案 每日执行节点个数超过上限,一般是由于作业调度过于频繁导致的。为您推荐两种处理方式: 一. 购买作业节点调度次数/天增量包用于增加配额,详情请参见购买作业节点调度次数/天增量包。 二. 您可通过如下方式排查哪些作业调度节点次数较高,然后适当调整调度周期或停止调度即可。 在数据开发模块控制台的左侧导航栏,选择
textfile格式表的数据中存在换行符的场景,指定对换行符的处理策略。 支持删除,替换为其它字符串及不处理三种方式。 删除 换行符替换字符串 换行符处理方式设置为“替换为其他字符串”时,呈现此参数。 当换行符处理方式选择为替换时,指定替换的字符串。 - 执行Analyze语句 数据全部写入完成后会异步执行ANALYZE
集任务后,单击“下一步”。 图2 新建采集任务-基本配置 图3 新建采集任务-元数据采集 根据需要配置调度方式,配置完成后单击“提交”,完成采集任务的创建。 图4 调度方式 在采集任务列表中,找到刚才新建的采集任务,单击其所在行的“启动调度”按钮,启动周期采集任务。 图5 启动调度
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 新建集成作业的方式有如下两种: 方式一:在“作业开发”界面中,单击“新建集成作业”。 图1 新建集成作业(方式一) 方式二:在作业目录中,右键单击目录名称,选择“新建集成作业”。 图2 新建集成作业(方式二) 在弹出的“新建集成作业”页面,配置如表1所示的参数。
能选择与源端的文件格式一致。 CSV格式 重复文件处理方式 当源端为文件类数据源(HTTP/FTP/SFTP/HDFS/OBS)时配置。 只有文件名和文件大小都相同才会判定为重复文件。写入时如果出现文件重复,可选择如下处理方式: 替换重复文件 跳过重复文件 停止任务 停止任务 压缩格式
补数据作业实例恢复时也不发送恢复通知。 作业运行失败时,重跑作业并且作业运行成功后,会发送作业实例恢复通知。 通知方式 是 按主题 按责任人 选择主题 是 通知方式选择“按主题”时才需配置。 选择通知的消息主题。 单击“查看主题”,可以进入消息通知服务(SMN)界面查看消息主题信息。
在场景开发完成后,如果您不再使用DataArts Studio及相关服务,请及时进行退订和资源删除,避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。
且只有一对键值。键和值可以任意顺序出现在标签中。同一个实例标签的键不能重复,但是值可以重复,并且可以为空。 使用方式 DataArts Studio支持通过控制台方式为实例创建标签,详情请参见购买DataArts Studio实例。 父主题: 安全