小团队也能预训练!普罗2B:RTX5090训练成本不到5090美元
小团队也能预训练!普罗2B:RTX5090训练成本不到5090美元训不起2.8T的K3,玩够了124M的nanoGPT,想试试十亿参数、万亿token的预训练,门槛有多高?
来自主题: AI技术研报
10210 点击 2026-10-16 11:26
搜索
训不起2.8T的K3,玩够了124M的nanoGPT,想试试十亿参数、万亿token的预训练,门槛有多高?
家人们,我最近在GitHub上看到一个爽文。
刚刚,闭源RSI的钦点严父来了!
AI自动科研的时代,彻底爆发了!
AI真的上天了。
今年 4 月,AI 领域大牛 Karpathy 一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」曾经引发机器学习社区的热烈讨论。