最简单、最快的培训/优化中型GPT的存储库。这是对minGPT的重写,它将牙齿置于教育之上。仍在积极开发中,但目前Train.py文件在OpenWebText上重现GPT-2(124M),在单个8XA100 40 GB节点上运行,大约需要4天的培训。代码本身简单易读:Train.py是一个大约300行的样板训练循环,而Model.py是一个大约300行的GPT模型定义,它可以选择性地从OpenAI加载GPT-2权重。就这样。
数据评估
关于nanoGPT特别声明
本站i For AI – 人工智能AI工具,一站式导航提供的nanoGPT都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由i For AI – 人工智能AI工具,一站式导航实际控制,在2023年4月13日 下午8:04收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,i For AI – 人工智能AI工具,一站式导航不承担任何责任。
相关导航
暂无评论...