学习地图

数据集成工具

Flink CDC

Flink CDC 是一个基于流的数据集成工具，旨在为用户提供一套功能更加全面的编程接口（API）。

SeaTunnel

Apache SeaTunnel 是新一代高性能、分布式、海量数据集成工具，支持上百种数据源 ( Database/Cloud/SaaS )，支持海量数据的实时 CDC 和批量同步，可以稳定高效地同步万亿级数据。

DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、HBase、OTS、ODPS、MaxCompute(原ODPS)等各种异构数据源之间高效的数据同步功能。

Kettle

Kettle 是一个开源的数据集成工具，它提供了一组工具和库，可以用来构建各种类型的应用程序，包括数据集成、数据转换等。

开源数据库

Doris

Doris 是一个基于 MPP 架构的高性能、分布式、列式存储的 MPP 数据库。

Apache Iceberg

Apache Iceberg 是一种开放的数据湖表格式，为海量分析型数据集而设计，支持隐藏分区、Schema演进、时间旅行和ACID事务，2026年V3规范已生产可用，是数据湖仓的事实标准。

Apache Fluss

Apache Fluss 是阿里开源、2026 年 8 月刚毕业的 Apache 顶级项目（Flink Unified Streaming Storage），湖仓原生的流式存储，把消息队列、在线 KV、流状态后端与湖仓冷存储收敛为同一底座，亚秒级新鲜度，已在淘宝闪购、小红书、京东等千亿级流量场景生产落地，是实时 Lakehouse 的开放数据底座。

Paimon

Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。

StarRocks

StarRocks 是一个 MPP 架构的极速 MPP 数据库，支持超大规模数据。

DuckDB

DuckDB 是一个开源的 SQL 数据库引擎，它拥有非常低的资源消耗和极快的查询速度。

Polars

Polars 是一个用 Rust 编写的开源 DataFrame 库，基于 Apache Arrow 内存模型，支持惰性求值和多线程并行。在 TPC-H 基准测试中比 pandas 快 30-94 倍，85k Star，是下一代数据分析引擎。

Hive

Hive 是一个基于 Hadoop 的数据仓库基础架构。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

ClickHouse

ClickHouse 是一个用于联机分析 (OLAP) 的列式数据库管理系统 (DBMS)。

OcenBase

OceanBase 是一个分布式数据库系统，由蚂蚁集团开发。它支持高并发、高可用、高性能的数据存储和处理。号称：为关键业务负载打造的分布式数据库

TiDB

TiDB 是由 PingCAP 开发的开源分布式 SQL 数据库，兼容 MySQL 协议，支持水平扩展、强一致事务与 HTAP 实时分析，是 MySQL 扩容瓶颈时的顺滑升级路径。

RisingWave

RisingWave 是用 Rust 编写的开源流数据库，兼容 PostgreSQL，用一条 CREATE MATERIALIZED VIEW 替掉 Debezium+Kafka+Flink+Redis 四件套。增量计算带来亚 100 毫秒新鲜度，3.0 版本转向 Agentic AI 实时上下文层。

分布式存储

Hadoop

Hadoop 是一个分布式系统基础架构，由 Apache 基金会开发。通俗来讲，Hadoop用来解决海量数据的存储和大规模数据的计算问题。

MinIO

MinIO 是一个高性能的、S3 兼容的分布式对象存储系统。它专为大规模 AI/ML、数据湖和数据库工作负载而构建。并且它是由软件定义的存储，不需要购买任何专有硬件，就可以在云上和普通硬件上拥有分布式对象存储。并且 100% 开源，主要许可证是 GNU AGPL v3。

任务调度工具

DolphinScheduler

Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统，旨在解决复杂的大数据任务依赖关系，并为应用程序提供数据和各种 OPS 编排中的关系。

Airflow

Apache Airflow 是一个开源的、可扩展的任务调度工具，它可以帮助用户自动化、监控和调度各种任务。

数据可视化工具

Grafana

Grafana是一个开源的数据可视化和监控平台，可以通过创建仪表盘和图表来实时监控、分析和可视化各种数据源的数据。

Superset

Apache Superset 是一个现代的企业级商业智能Web 应用程序。它快速、轻量、直观，并加载了各种选项，使所有技能的用户都可以轻松探索和可视化他们的数据，从简单的饼图到高度详细的 Deck.gl地理空间图表。

Seaborn

Seaborn是基于Python的可视化库。Seaborn在Matplotlib的基础上，进行了更高级的封装，使得制作图形更加方便快捷，同时也更加美观。

图数据库

Apache HugeGraph

Apache HugeGraph 是一个分布式、可扩展的图数据库，它提供多种语言的 API，包括 Java、Python、Go、RESTful API 和命令行接口 (CLI)。

Apache TinkerPark

TinkerPark 是一个基于 Apache TinkerPark 的图数据库，它支持图数据库的图查询语言 (GQL) 和图查询引擎 (GPE)。

Neo4j

Neo4j 是一个高性能的、开源的图形数据库，它将结构化数据存储在网络上而不是表中。Neo4j 是一个用于处理关系数据库的替代方案。

ArangoDB

ArangoDB 是一个高性能的、开源的、分布式的 NoSQL 数据库，它支持文档、图和 JSON 数据模型。

OrientDB

OrientDB 是一个开源的、高性能的、面向文档的、分布式数据库。

Agent开发工具

LangChain

LangChain 是一个用于构建基于 LLM 的应用程序的框架。它提供了一组工具和库，可以用来构建各种类型的应用程序，包括聊天机器人、代码生成器、文档生成器等。

LlamaIndex

LlamaIndex 是构建上下文增强 LLM 应用（RAG/智能体）的开源数据框架，5 行代码连接你的私有数据，检索质量业界领先，已被 Experian、NTT DATA、Jeppesen 等用于生产。

vLLM

vLLM 是高吞吐、低显存的开源大模型推理与服务引擎，以 PagedAttention 管理显存，已成为生产环境跑开源大模型的事实标准。

Dify

Dify 是一个基于 LLM 的开源框架，它提供了一组工具和库，可以用来构建各种类型的应用程序，包括聊天机器人、代码生成器、文档生成器等。

Stable Diffusion

Stable Diffusion 是一种免费、开源的AI绘画生成工具。

Midjourney

Midjourney是一款AI制图工具，只要关键字，就能透过AI算法生成相对应的图片，只需要不到一分钟。

ComfyUI

ComfyUI 是一个基于节点工作流式的 Stable Diffusion 算法的另一种 WebUI。通过将Stable Diffusion的流程拆分成节点，实现了更加精准的工作流定制和完善的可复现性。

Open WebUI

Open WebUI 是开源大模型时代最火的自托管 AI 界面（14.7 万+ Star），可完全离线运行，支持 Ollama、vLLM 等任意 OpenAI 兼容后端，内置 RAG 知识库、联网搜索与企业级权限，让你在本地拥有自己的"ChatGPT"。

Xinference（Xorbits Inference）是开源大模型一键部署与推理服务平台，一条命令拉起 LLM、Embedding、Rerank、多模态模型，提供兼容 OpenAI 的统一 API，支持单机到多机分布式集群（supervisor + worker），是 Dify、RAGFlow、MaxKB 等私有化知识库平台常用的模型后端。最新 v3.2.0（2026-08-15）新增 MiniMax-M3、Ling 3.0、DeepDoc/OvisOCR2 文档解析、按副本弹性扩缩容等能力。

DeepSeek Harness

DeepSeek Harness（dsh）是 DeepSeek 于 2026 年 8 月开源的 Agent 运行框架，以 Cordis 为底座「一切皆插件」，MIT 协议，一条 npx @deepseek-ai/dsh web 即可在浏览器里跑起会读文件、跑命令、派子任务的开源智能体。

Codex Harness

Codex Harness 是 OpenAI 于 2026 年 8 月开源的 Agent 运行框架（Apache-2.0），放出 Codex CLI、官方 Codex SDK 与 app-server 三件套，把智能体循环嵌进你自己的产品；同一模型换套 Harness，ARC-AGI-3 直接从 13.3% 飙到 38.3%。

OpenViking

OpenViking 是字节跳动火山引擎于 2026 年开源的 AI Agent 上下文数据库（Apache-2.0），用 viking:// 虚拟文件系统统一管理记忆、资源与技能，以 L0/L1/L2 三层加载和目录递归检索把输入 Token 成本压低 83%~96%、任务完成率提升 43%~49%，让 Agent 越用越聪明。

大语言模型

Muse Glimmer

Muse Glimmer 是 Meta 于 2026 年 8 月开源的 30B 多模态智能体模型，采用 Apache 2.0 协议开放权重，由旗舰模型 Muse Spark 蒸馏而来。支持 128K+ 上下文与工具调用，4bit 量化后仅需 24GB 显存即可在单卡 PC 或 Mac 上本地运行。

GLM-5.3

GLM-5.3 是智谱 AI（Z.ai）于 2026 年 8 月 14 日发布的旗舰大模型，与 GLM-5.2 同基座、全部提升来自后训练：内部编程基准提升 50%，Terminal-Bench 3.0 从 4.6 飙到 28.3 拿下开源 SOTA，并涌现出开源第一的网络安全能力（CyberGym 84.5%），在 269 个开源项目中挖出 2436 个漏洞，支持 1M 上下文，权重于发布两周后开放。

通义千问 Qwen

通义千问 Qwen 是阿里巴巴通义实验室打造的开源大模型家族，2026 年 8 月开源的 Qwen3.8-Max 以 2.4 万亿参数、950 亿激活的 MoE 架构登顶全球下载榜，采用 Apache 2.0 协议开放权重，支持百万级上下文与文本/图像/视频原生多模态，是国产开源大模型的标杆。

dots3-note

dots3-note 是小红书 dots 模型实验室于 2026 年 8 月开源的多模态 MoE 大模型，总参数 280B、激活仅 16B，支持 512K 上下文与文本/图像/视频/音频全模态理解，采用 Apache 2.0 协议开放权重，是 IMO 2026 满分同系列模型，主攻长程 Agent 与真实生活任务。

DeepSeek

DeepSeek 是深度求索（DeepSeek）推出的开源大模型系列，从 V3 基座、R1 推理模型，到 2026 年 8 月发布的 1.6 万亿参数 V4 系列，以 MIT 协议开源、1M 上下文与地板级价格席卷全球，是国产开源大模型的标杆。

Kimi K3

Kimi K3 是月之暗面（Moonshot AI）于 2026 年 7 月开源的旗舰多模态大模型，总参数 2.8 万亿（MoE，896 专家激活 16），原生百万上下文 + 原生视觉，Arena 前端代码榜登顶全球第一，华为昇腾 0-day 适配，是"国产大模型开源潮"中体量最大的开放权重模型。

MiniMax H3

MiniMax H3（海螺 3.0）是稀宇科技于 2026 年 8 月 3 日开源的通用全模态视频生成模型，业界首个开源即可本地运行的音画一体生成模型：33.1B Omni Transformer，原生 2K + 原生 32kHz 立体声、4–15 秒一次生成，Artificial Analysis 视频编辑榜全球第一（Elo 1130），API 仅 0.8 元/秒，约为同类旗舰的十二分之一，发布当天 16 家芯片厂商完成适配。