计算集群

 

创建计算集群

更新时间 2023-09-06

大数据工作台通过计算集群进行数据集成和数据开发工作。

您可以在计算集群列表页面创建计算集群,查看该工作空间下所有的计算集群,并对计算集群进行启动、停用、修改、删除等操作。

本小节主要介绍如何创建计算集群。

约束限制

  • 大数据工作台对每个账号在每个区域下的资源数量做了限制,默认配额如下,如需扩大配额,请提交工单进行申请。
    • 单个用户在同一区域下最多可创建 5 个计算集群。
    • 单计算集群 CU 不能超过 8。
    • 单个用户在同一区域下计算集群总 CU 不能超过 12。
  • 计算集群目前仅支持创建 Flink Session 集群,用户独享。
  • 计算集群仅支持部署在 VPC 私有网络。

前提条件

已完成准备工作,准备好账号和工作空间。

操作步骤

  1. 登录管理控制台。
  2. 选择产品与服务 > 大数据服务 > 大数据工作台,进入大数据工作台概览页面。
  3. 在左侧导航选择工作空间,进入工作空间页面。
  4. 在目标工作空间选择数据开发 > 计算集群,进入计算集群列表页面。
  5. 点击创建集群,进入创建计算集群页面。
  6. 配置相关参数,包括:基础设置资源配置日志配置可选配置
  7. 配置完成后,点击立即创建,开始创建计算集群。

基础设置

参数 参数说明
名称 计算集群的名称,您可以自定义。
版本 计算集群的版本,通过下拉框进行选择。
重启策略 重启策略是指在 Flink Job 发生故障时,如何处理 Job。包括No Restarts:不重启Fixed Delay:固定延迟Failure Rate:故障率,默认为不重启
  • 不重启:故障发生时不重启 Job。
  • 固定延迟:选择该选项后,您还需要配置尝试重启次数重启时间间隔。如果重启次数超过了配置的尝试重启次数,Job 将运行失败。
  • 故障率:选择该选项后,您还需要配置配置检查故障率时间间隔时间间隔内最大失败次数重启时间间隔。当时间间隔内发生故障的次数超过设置的最大失败次数,Job 将运行失败。
  • 基础属性

    资源配置

    参数 参数说明
    TM 数量 Flink 的 TaskManager 的数量。
    TM 规格 Flink 的 TaskManager 的 CPU 和内存规格。
    JM 规格 Flink 的 JobManager 的 CPU 和内存规格。

    总计算资源 CU=TM 数量 * TM 规格 + JM 规格

    说明

    • 单计算集群 CU 不能超过 8。
    • 单个用户在同一区域下计算集群总 CU 不能超过 12。
    资源配置

    日志配置

    日志级别支持:TRACEDEBUGINFOWARNERROR,默认为 INFO

    • TRACE:追踪级别,打印所有级别的日志。
    • DEBUG:调试级别,打印 DEBUG、INFO、WARN、ERROR 级别的日志。
    • INFO:信息级别,打印 INFO、WARN、ERROR 级别的日志。
    • WARN:警告级别,打印 WARN、ERROR 级别的日志。
    • ERROR:错误级别,仅打印 ERROR 级别的日志。
    日志配置

    可选配置

    Host 别名和 Flink 参数均为可选配置,请根据实际情况进行选配。

    参数 参数说明
    Host 别名 配置 Hosts 信息,包括 IP 地址和 Host 名称。支持批量输入和单条输入。批量输入时,IP 地址和 Host 名称用空格分隔,多条配置换行输入。
    当作业中使用了 HBase 数据源时,作业绑定的计算集群需要配置 HBase 从节点的 Hosts 信息。
    Flink 参数 配置 Flink 参数信息,Yaml 格式。支持批量输入和单条输入。批量输入时,多个参数换行输入。
    可选配置
    这篇文档解决了您的问题吗?
    0
    0