主题中心的高质量公开数据集总目录——数据时代的「原材料市场地图」
更新于 2026-09-18 · GitHub 数据采集同日
← 返回汇总做数据生意的人,先得知道哪里有免费的好数据——这是那张地图
上海交大 OMNILab 孵化(现属白玉兰开源社区)的高质量公开数据集清单:按主题(农业/金融/气候/生物/城市…)组织,每条带简介、健康度标记(OK / 需修复)与 YAML 元数据。README 由 apd-core 流水线自动生成,贡献走结构化流程而非直接改文档。适合做数据分析、模型训练、研究报告前的数据侦察。
持续维护(push 2026-09-17)· 158 open issues · Slack 社区同步 HQ 数据更新 · MIT 许可
| 路径 | 玩法 | 本清单的角色 |
|---|---|---|
| 内容/媒体 | 数据驱动的报告、榜单、可视化账号(「用公开数据讲一个故事」) | 选题弹药库:气候/体育/城市数据一抓一把 |
| 产品/工具 | 把脏数据清洗成 API / 仪表盘 / 数据集包出售 | 上游原料目录(手册「卖铲子」原则:清洗即铲子) |
| 模型/研究 | 垂直微调数据、benchmark 构造、论文复现 | 训练与评测语料入口(配合 量化清单 的金融线) |
| 数据资产 | 自建数据集开源引流 → 咨询/定制(作者 XiaomingX 的 100k-us-domains 即此路线) | 格式与元数据标准参考(YAML/健康度设计可抄) |
12 年常青的基础设施型清单。它的 apd-core 结构化管理模式(YAML 元数据 + 健康度机检 + 流水线生成)本身就是「清单即资产」工程化的最佳实践,值得所有维护 curated list 的人抄作业。