OpenAI 的O1 模型是如何训练的

或许训练的模式是这个样子：

此图片来源于外网一位大佬