产品版本
当前支持的组件及版本如下:
版本 | Hadoop | Spark | Hive | Flink | Ranger |
---|---|---|---|---|---|
QingMR v2.6.1 | 3.1.3 | 2.4.8 | 3.1.2 | 1.13.1 | 2.0.0 |
QingMR v2.5.2 | 2.9.2 | 2.2.3 | 2.3.5 | 1.9.0 | - |
QingMR v1.3.0 | 2.7.3 | 2.2.0 | 2.3.4 | - | - |
v2.6.1
- 修复 Apache Log4j2 漏洞。
- 新增
节点服务状态
告警,当节点服务状态为异常时会告警。详细说明请参见设置监控告警。
v2.6.0
-
升级 Hadoop、Spark、Hive、Flink 至新版本,升级说明请参见 版本升级。
-
新增 Ranger 组件,支持 Ranger hive 插件,通过 Ranger 对 Hive 的权限控制,详细说明请参见 Ranger 组件。
v2.5.2
- 新增 s3.endpoint 配置参数用于指定兼容 S3 的对象存储的 endpoint,主要用于私有云不能访问公有云对象存储的场景。
v2.5.1
- 新增 YARN 从节点健康检查,YARN 从节点状态变为 unhealthy 或 lost 时会告警。
- 增加 YARN 应用日志保存时间配置参数 yarn.nodemanager.log.retain-seconds。
- 超过 7 天无变化的 YARN 应用日志不再会被删除。
v2.5.0
- 新增 对 Flink 1.9.0 的支持。
- HDFS 主节点、主节点和从节点主机类型升级为企业型,新增多种 CPU 和内存规格,单节点最高支持32核 CPU 和 128G 内存。
- HDFS 主节点、主节点数据盘升级为 SSD 企业级,单节点最高容量可达 2 TB。
- 从节点新增 SSD 企业级存储的支持。
- Client 节点主机类型调整为基础型,数据盘调整为基础型。
v2.0.0
- Hadoop 版本升级到 2.9.2 , Spark 版本升级到 2.2.3 , Hive 版本升级到 2.3.5 。
- 新增 Hadoop, Spark 和 Hive 对 lzo 压缩的支持。
- 新增对基于 Spark 的分布式深度学习框架 BigDL 的支持。
v1.3.0
- 新增 NeonSAN 超高性能大容量存储的支持,单节点最高容量可达 50 TB。
- Hive 版本升级到 2.3.4。
- 新增 Spark 作为 Hive 的默认执行引擎即 Hive on Spark,同时支持用户切换到传统的 MapReduce 引擎。
- 新增多个 Hive 调优配置参数。
- 新增 Hive 通过 beeline 执行 HQL 使用指南。
- 新增 HiveServer2 WEB UI 使用指南。
v1.2.1
- 所有节点升级 confd 到 v0.13.12。
- 修改 QingMR 在基础网络环境下 hive 启动错误的问题。
- 修改各个角色中 hosts 文件和 authorized_keys文件用户的修改被覆盖的问题。
- client 节点增加 hdfs-site.xml 模板文件。
- client 节点 spark-env.sh 修改被覆盖的问题。
- 修改启动 Hive 的时候找不到 spark-assembly 相关的 Jar 包的问题。
- client 节点相关服务命令超时时间从 3600s 改为 900s 。
v1.2.0
- 名称由 SparkMR 变更为 QingMR。
- 支持 Kyligence Analytics Platform ( Kylin 的企业级产品 )。
v1.1.0
YARN 主节点
改称主节点
。- 在
主节点
上新增 Hive 服务。 - 在
主节点
上新增 Mysql 数据库服务。 - Spark Standalone 模式由
默认开启
改为默认关闭
。 - 新增
服务详情
页面。
v1.0.2
- 数据盘从能挂 3 块改为 1 块。
- 更改数据盘挂载目录为 /data。
v1.0.1
- 缩短集群启动时间 15 秒。
v1.0.0
- 正式发布版本。