检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景说明 场景说明 用户可以使用Spark调用HBase的接口来操作HBase表的功能。在Spark应用中，用户可以自由使用HBase的接口来实现创建表、读取表、往表中插入数据等操作。 数据规划 首先需要把数据文件放置在HDFS系统里。 本地新建文本文件，将以下内容复制保存到input_data1
为什么创建Hive表失败？ 问题 为什么创建Hive表失败？ 回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
创建FlinkServer作业 创建FlinkServer作业写入数据至ClickHouse表 创建FlinkServer作业写入数据至Doris表 创建FlinkServer作业对接DWS表 创建FlinkServer作业对接JDBC 创建FlinkServer作业写入数据至HBase表
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
创建CDL作业前准备 开启Kafka高可靠功能 登录CDLService WebUI界面 上传数据库驱动文件 创建CDL数据库连接 管理CDL ENV变量 配置源数据心跳表实现数据判齐功能 父主题： 使用CDL
待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证（安全模式） 在FusionInsight Manager中创建一个人机用户，例如“dorisuser”，创建一个拥有“Doris管理员权限”的角色绑定给该用户。 使用新建的用户dorisuser重新登录FusionInsight
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导入”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
ager上创建该用户名。 如果当前集群未启用Kerberos认证（集群为普通模式），客户端登录时如果需要指定用户名和密码，不能使用FusionInsight Manager页面创建的ClickHouse用户，需要使用客户端命令行执行create user SQL语句创建Click
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导出”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。
略。 在FusionInsight Manager中创建一个人机用户，例如“cdluser”，加入用户组cdladmin、hadoop、kafka、supergroup，主组选择“cdladmin”组，关联角色“System_administrator”。 操作步骤 使用cdlu
创建表关联OpenTSDB 功能描述 MRS的Spark实现了访问OpenTSDB的Datasource，能够在Spark中创建关联表，查询和插入OpenTSDB数据。 使用CREATE TABLE命令创建表并关联OpenTSDB上已有的metric。 若OpenTSDB上不存在metric，查询对应的表会报错。
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导入”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
Connection的编辑、删除和引用权限） 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业连接器”。 在指定作业连接的“权限”列，勾选“编辑”。 设置Loader作业分组的编辑权限 （包括修改作业分组的名称、删除指定分组、在指定分组下创建作业的权限、从外部将作业批量
单击“新建作业”，进入“基本信息”界面，创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导入”。 在“组”中设置作业所属组，默认没有已创建的组，单击“添加”创建一个新的组，输入组的名称，单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 port ：Coordinator的端口号，请根据实际情况替换，可使用gs_om -t status --detail查询Coordinator数据路径，在该路径下的“postgresql
单击“保存”保存配置，单击“提交”提交作业。 返回作业管理页面，可以查看到已创建的作业名称、类型、状态、作业种类和描述等信息。 作业创建完成后，可在对应作业的“操作”列对作业进行启动、开发、停止、编辑、删除、查看作业详情和Checkpoint故障恢复等操作。 若要使用其他用户在节点上读取已提交的作业相关文件，需确保该
多个字段时使用逗号分隔。 在“3.转换”设置数据传输过程中的转换操作。 确认Loader创建的数据操作作业中，源数据的值是否满足直接使用需求而不进行转换，例如大小写转换、截取、拼接和分隔。 满足需求，请单击“下一步”。 不满足需求，请执行6.a～6.d。 默认没有已创建的转换步骤
WebUI，如：flink_admin。 创建作业步骤 使用flink_admin登录Manager，选择“集群 > 服务 > Flink”，在“Flink WebUI”右侧，单击链接，访问Flink的WebUI。 参考如何创建FlinkServer作业，新建Flink SQL流作业，在作业开发界面进行作业开发，配置完成后启动作业。
创建Kafka权限角色 操作场景 该任务指导MRS集群管理员创建并设置Kafka的角色。 本章节内容适用于MRS 3.x及后续版本。 安全模式集群支持创建Kafka角色，普通模式集群不支持创建Kafka角色。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
