AI 로또 실험 9주 결산 — 4,100조합을 채점해 보니 "1등 AI"는 다섯 번에 한 번은 우연이었다

2편을 쓸 때는 4회차가 쌓여 있었습니다. 그때 트랜스포머가 평균 0.870으로 1등이었는데, 저는 "이게 진짜 실력이면 회차가 쌓일수록 벌어질 거고, 운이면 0.8 쪽으로 돌아올 겁니다"라고 적었어요. 판정은 그때 하겠다고요. 이번 글은 그 약속을 지키는 글입니다. 다섯 주를 더 모았고, 결과는 돌아왔다 쪽에 가깝습니다.

매주 같은 주제로 글을 쓰는 건 저도 독자도 지치는 일이라, 이번엔 한 번에 모아서 정리합니다. 규칙은 2편과 같아요. 판매 마감 전에 공개하고, 추첨 후 자동 채점하고, 결과는 영구 누적합니다. 참가 선수도 같습니다. 랜덤(대조군)·통계·LSTM·트랜스포머가 제1239회부터, 일본식 후나츠 규칙까지 합친 세계통합이 제1243회부터 각각 매주 100조합을 냅니다.

STEP 19회차 채점표 — 매주 출렁이지만 평균은 0.8 근처

제1239회(8월 29일)부터 제1247회(10월 24일)까지, 기법마다 회차별 평균 적중 개수입니다. 완전 무작위라면 조합 하나당 평균 0.8개가 맞습니다(6 × 6/45).

한 칸씩 보면 이야기가 계속 바뀝니다. 통계 기법은 제1246회에 1.18로 최고였다가 바로 다음 주 제1247회에 0.25로 최저가 됐고, 트랜스포머는 제1245회에 0.69로 바닥이었다가 제1247회에는 0.92로 선두였어요. 랜덤은 제1243회 0.60에서 제1246회 0.90까지 움직였습니다. 아무것도 배우지 않은 대조군도 이만큼 출렁입니다. 이 줄들을 한 장으로 겹쳐 보면 더 분명해요.

이 실험이 끝날 때까지 이 선들이 서로 엇갈린다면, 어느 한 선이 위에 있는 건 우연의 몫이 크다는 뜻입니다. 9회차를 합친 누적 성적은 아래와 같아요.

트랜스포머가 여전히 위에 있습니다. 평균 0.842, 3개 이상 31조합(기대 21.5)이에요. 그런데 2편에서 본 처음 4회차는 평균 0.870이었고, 그 뒤 5회차는 평균 0.82였습니다. 여전히 이론값 위지만 격차가 크게 줄었어요. 나머지 기법은 랜덤 0.773, 통계 0.756, LSTM 0.763으로 이론값 아래이고, 세계통합은 0.804로 기준선과 같습니다. 전부 합친 4,100조합의 평균은 0.786개로, 이론값 0.8에서 오차(±0.012) 안쪽입니다. 3개 이상 맞힌 조합도 101개로 우연의 기대치 97.7개와 거의 같아요.

STEP 2"우연으로도 이만큼은 나온다" — 다시 계산한 확률

2편에서는 아무것도 못 배운 선수 네 명이 4회차를 달려서 "누군가 트랜스포머만큼 앞서는" 경우를 셌습니다. 같은 방식으로 이번에는 9회차, 네 명, 각 100조합을 20만 번 모의실험했어요.

왼쪽 열만 보면 "5% 남짓한 확률의 일이 일어났다"고 말하고 싶어집니다. 하지만 그건 트랜스포머를 미리 찍어 두었을 때만 쓰는 숫자예요. 우리는 결과를 보고 가장 잘한 한 명을 골랐으니, 봐야 하는 건 오른쪽 열 — 약 21%입니다. 5번에 한 번은 아무것도 모르는 선수 중에서 이만큼 앞선 "1등"이 나옵니다. 5회차만 뛴 세계통합까지 선수로 세면 약 29%예요.

같은 이야기를 표준오차로도 할 수 있습니다. 조합 하나가 맞히는 개수의 표준편차는 약 0.78이라서, 900조합 평균의 오차 폭(표준오차)은 약 0.026입니다. 트랜스포머의 0.842는 이론값 0.8보다 표준오차 1.6개 위에 있는 거예요. 보통 "우연이 아니다"라고 말하려면 2개 이상, 비교 대상이 여럿이면 그보다 더 멀어야 합니다. (이 계산은 조합마다 독립으로 뽑는다고 가정한 것입니다. 실제 AI 조합은 비슷한 번호를 반복하기도 해서, 우연이 만드는 폭은 이보다 더 클 수 있어요.)

만약 트랜스포머의 +0.042가 진짜 실력이고 지금 값이 그대로 유지된다고 가정해도, 우연과 가려내려면 약 14~22회차(1,300~2,200조합)가 더 필요합니다. 지금은 9회차예요. 그래서 이 글의 결론은 "트랜스포머가 못한다"가 아니라 "아직 아무것도 말할 수 없다"입니다.

STEP 3세계통합 5회차 — 여러 방법을 합쳐도 기준선

제1243회부터 참가한 다섯째 선수는 일본식 후나츠 규칙, 많이 나온 번호(Hot/Cold), 오래 안 나온 번호(Gap), 자주 함께 나온 번호 쌍, 마르코프·베이즈 모델, 기계학습, 두 딥러닝 모델까지 세계적으로 쓰이는 로또 분석법을 합친 조합입니다. 질문은 "여러 방법을 합치면 나아지나?"였어요.

5회차 500조합의 성적은 평균 0.804, 3개 이상 12조합(기대 11.9)입니다. 4개 이상은 아직 한 조합도 없고요(기대 0.7). 참가하기 전에 과거 20회차로 미리 재 본 로그손실이 균등 3.806 대 3.807로 같았던 것과 같은 모습입니다. 합친다고 없던 패턴이 생기지는 않았습니다.

STEP 4손실의 벽 2.273 — 여전히 못 넘었다

두 딥러닝 모델은 매주 역대 이력을 다시 학습합니다. 제1248회 번호를 만들던 시점에는 제1~1227회로 학습하고, 한 번도 본 적 없는 제1228~1247회로 시험을 봤어요. 번호 45개 중 아무거나 찍는 모델의 손실은 ln 45 ≈ 3.807이고, "오름차순으로 쓰고 여섯 개마다 구분자를 넣는" 형식을 완벽히 익힌 모델도 공정한 추첨이라면 ln C(45,6) / 7 ≈ 2.273 아래로는 내려갈 수 없습니다.

2편 때는 2.61~2.63이었고 이번에는 2.64~2.66입니다. 학습 회차가 5개 늘었지만 본 적 없는 회차에서의 손실은 거의 그대로, 벽 위에 있어요. 모델이 배운 건 번호를 쓰는 형식이고, 어떤 번호가 나올지는 배우지 못했다는 같은 이야기입니다. 성적표의 차이가 모델 안이 아니라 운에서 온다는 해석과도 맞아요.

✅ 30초 복습 — 오늘 배운 것

한 발 더 들어가고 싶다면

• 먼저 보면 좋은 글: 2편(AI로 로또 번호를 맞힐 수 있을까?)에 실험 설계(사전 등록)와 손실의 벽 계산이 자세히 있고, 1편(밑바닥부터 LLM 만들기)에서는 "배울 패턴이 있는 데이터"의 손실 곡선과 비교할 수 있습니다.
• 같은 사이트 안에서: 큰 수의 법칙(동전 1000번 던지기), 초기하분포·표준오차 개념 페이지, 그리고 이 실험의 트랜스포머와 같은 구조의 디코더 아틀라스.

참고 자료

본문의 실험 수치는 이 실험의 공개 채점 기록(2026년 10월 31일, 제1247회 채점 기준)에서 가져왔고, 모의실험(20만 회)은 같은 조건으로 직접 돌린 결과입니다. 개념과 방법은 다음 원문을 기준으로 썼습니다.

• 동행복권 — 로또 6/45 게임 방법(1~45 중 6개 선택, 당첨 등위와 확률). 추첨 규칙의 공식 출처 · 동행복권 공식 사이트
• Nosek, Ebersole, DeHaven & Mellor (2018) — "The preregistration revolution", PNAS 115(11), 2600–2606. 결과를 보기 전에 분석 계획을 공개하는 사전 등록의 원리 · 원문(DOI)
• Benjamini & Hochberg (1995) — "Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing", Journal of the Royal Statistical Society B 57(1), 289–300. 여러 비교를 할 때 우연한 "발견"을 통제하는 방법 · 원문(DOI)
• Tversky & Kahneman (1971) — "Belief in the law of small numbers", Psychological Bulletin 76(2), 105–110. 작은 표본의 결과를 과신하는 경향 · 원문(DOI)

마무리 — 1등은 돌아오고, 판정은 아직이다

2편의 결론은 "예측이 맞았다는 말은 먼저 적어 둔 사람만 할 수 있다"였습니다. 이번 글에서 하나를 더 보태면, "1등이라는 말은 표본이 쌓인 뒤에야 의미가 생긴다"입니다. 4회차에 1등이던 AI가 9회차에 기준선 쪽으로 돌아오는 걸 같은 기록 안에서 직접 봤으니까요.

다음 회차에서도 트랜스포머가 또 앞설 수 있고, 뒤처질 수도 있습니다. 어느 쪽이든 누적 표에 그대로 남습니다. 그리고 이 글을 쓴 이유도 같아요. 매주 숫자에 일희일비하지 않고, "우연으로도 이만큼은 나온다"는 계산을 곁에 두고 보는 법을 공유하고 싶었습니다. 이 글은 복권 구매를 권하지 않으며, 어떤 기법도 당첨 확률을 높이지 못합니다.