Alec Radford 是自然语言处理和计算机视觉领域的研究者,曾在 OpenAI 担任机器学习开发者和研究员,在此之前,他曾担任 indico 公司的研究主管。
在 OpenAI 担任研究员期间,他参与撰写了多篇关于语言模型生成式预训练(GPT)的论文,并在 NeurIPS、ICLR、ICML 和 Nature 等著名会议和期刊上发表过许多论文。
他也曾活跃在 X/Twitter 上,在那里分享他对人工智能各个领域的见解和观点。2021 年 5 月之后他就再未在 X 上现身,最后一条推文是在回复 Anthropic 的研究者 Simon Kornblith,解释 GPT-1 层宽度设置为 768 的原因。
LinkedIn 显示,2011 年 - 2016 年, Alec Radford 就读于富兰克林・W・奥林工程学院,并获得学士学位。这是一所位于美国马萨诸塞州尼达姆(Needham)的私立工程学院,采用非常精英化教育,有很低的录取率。该校的课程结构非常独特,其学术体系「欧林三角」包括科学和工程基础、创业以及文学。学校仅提供四种学位:ME(机械工程)、ECE(电子与计算机工程)、CS(计算机科学)、BCE(生物医药工程)。
奥林工程学院非常重视实用教育,将知识和实际生活中的挑战和课题联系起来,鼓励学生追求自己的兴趣和激情。
本科时期,Alec Radford 就对机器学习充满热情,并与同学一起参加 Kaggle 比赛获得了成功,最终拿到风投。2013 年,Alec Radford 和伙伴在宿舍创立了 indico ,为企业提供机器学习解决方案。
作为公司的研究主管,Alec Radford 主要从事识别、开发和改进有前景的图像和文本机器学习技术,并将其从研究阶段转化为更广泛的行业应用。
在那里,他进行了生成对抗网络(GAN)相关研究,并提出 DCGAN 以改善 GAN 的可训练性,这也是 GAN 领域的一个重要突破。
由于波士顿地区在 AI 领域的影响力已被西海岸科技巨头超越,加上资源限制,2016 年,Radford 选择加入 OpenAI 。
他形容这份新工作「类似于加入研究生课程」,有一个开放、低压力的 AI 研究环境。
Radford 比较低调,不愿与媒体接触。他通过邮件回应了《连线》关于他在 OpenAI 早期工作的提问。他表示,最感兴趣的是让神经网络与人类进行清晰的对话。
他认为,当时的聊天机器人(从 ELIZA 到 Siri 和 Alexa)都存在局限性。他的目标是探索语言模型在各种任务、设置、领域和场景中的应用可能。
他的第一个实验是使用 20 亿条 Reddit 评论来训练语言模型,虽然失败,但 OpenAI 给予了足够的试错空间,也成为后续一系列革命性突破的开始,如大家熟知的初代 GPT,还主导了 GPT-2 的研发等。
这些工作为现代大语言模型奠定了重要基础,以致于《连线》在一篇报道中将 Alec Radford 在 OpenAI 扮演的角色,比作 Larry Page 发明 PageRank。有趣的是, PageRank 虽然是 Larry Page 在斯坦福攻读博士期间的产物,但他此后再也没有回去完成博士学位。
不仅如此,Alec Radford 还参与了 GPT-3 论文的撰写、以及 GPT-4 的预训练数据和架构研究工作。
2024 年年末,在 OpenAI 赚尽眼球的 12 天连发的最后一天前,Alec Radford 即将离开 OpenAI 的消息传出,但没有任何消息透露这是否与 OpenAI 的组织结构调整有关。
遗憾的是,对于他之后的职业计划,我们所知的仅仅是他将成为一位独立研究者。或许他将进入大学获得一个博士学位,也或许他会在沉寂一段时间之后带着新的震撼性研究成果问世。
不管怎样,Alec Radford 参与创造的未来正在到来。