Skip to content

Commit f54e820

Browse files
committed
Update blog
1 parent 27854f9 commit f54e820

2 files changed

Lines changed: 8 additions & 8 deletions

File tree

source/_data/talk.yml

Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -8,7 +8,7 @@ top_background: https://blogfiles.oss.fyz666.xyz/webp/70061b93-acea-4a1a-9111-df
88
talk_list:
99
- content: |
1010
CVPR 又闹大笑话了。
11-
大概情况是:有人发现把 evaluate 的代码中 Dataloader 的参数 shuffle=False 改成 shuffle=True ,会导致准确率掉40%左右,因此提出质疑(图 1)。
11+
起因是有人发现把 evaluate 的代码中 Dataloader 的参数 shuffle=False 改成 shuffle=True ,会导致准确率掉40%左右,因此提出质疑(图 1)。
1212
时隔约一个月后,在另一位网友的催促下,作者终于不得不出来回应(已翻译为中文,见图 2),作者表示:
1313
<blockquote>Using shuffle=True would be a matter for future investigation, which could be valuable for researchers in this domain.</blockquote>
1414
hide:

source/_posts/2025/07/大语言模型训练原理与实践(七):grpo算法.md

Lines changed: 7 additions & 7 deletions
Original file line numberDiff line numberDiff line change
@@ -199,13 +199,13 @@ def __getitem__(self, idx):
199199

200200
甚至连伪代码都懒得写了,大概写一下流程吧:
201201

202-
0. 定义一个数据收集容器:Data Buffer。
203-
1. 从数据集中取一条 prompt,生成 $$G$$ 条输出序列,从而得到大小为 $$G$$ 的分组。
204-
2. 根据定义好的奖励函数,对步骤 1 生成分组内的所有输出序列计算得分,然后在组内进行比较,求得相对得分(作为优势函数)。由此,得到一组数据。
205-
3. 将步骤 2 得到的数据添加到Data Buffer。
206-
4. 若Data Buffer的大小达到一次迭代需要的数据量(等效 Batch size),则进入步骤 5,否则回到步骤 1
207-
5. 遍历Data Buffer,每次取Batch size个数据,按前面的公式计算KL散度、损失函数,并进行策略迭代。
208-
6. 遍历完成,清空Data Buffer,回到步骤 1
202+
1. 定义一个数据收集容器:Data Buffer。
203+
2. 从数据集中取一条 prompt,生成 $$G$$ 条输出序列,从而得到大小为 $$G$$ 的分组。
204+
3. 根据定义好的奖励函数,对步骤 2 生成分组内的所有输出序列计算得分,然后在组内进行比较,求得相对得分(作为优势函数)。由此,得到一组数据。
205+
4. 将步骤 3 得到的数据添加到Data Buffer。
206+
5. 若Data Buffer的大小达到一次迭代需要的数据量(等效 Batch size),则进入步骤 6,否则回到步骤 2
207+
6. 遍历Data Buffer,每次取Batch size个数据,按前面的公式计算KL散度、损失函数,并进行策略迭代。
208+
7. 遍历完成,清空Data Buffer,回到步骤 2
209209

210210
本部分完整代码见文末仓库。
211211

0 commit comments

Comments
 (0)