툴팁 제목
툴팁 내용

LLM 모델 순위

필터 옵션

생각 비율이 높은 모델 TOP 10

생각 비율 지표 안내

생각 비율은 추론 토큰 / 입력 토큰 비율을 기준으로 산출됩니다. 이 비율이 높을수록 모델이 더 많은 내부 추론 과정을 거친다고 볼 수 있습니다.

이 지표는 모델이 응답을 생성하기 전에 얼마나 심층적인 사고 과정을 거치는지를 나타냅니다. 생각 비율이 높은 모델은 복잡한 문제 해결, 논리적 추론, 다단계 계획 수립 등의 작업에서 더 정교한 결과를 도출할 가능성이 있습니다. 그러나 높은 생각 비율이 반드시 더 나은 성능을 의미하지는 않습니다. 일부 작업에서는 과도한 내부 추론이 불필요한 계산 비용을 발생시키거나 간결한 응답이 필요한 상황에서 오히려 비효율적일 수 있습니다. 따라서 이 지표는 작업의 특성과 목적에 맞게 해석해야 합니다.

순위 모델명 입력 토큰 추론 토큰 생각 비율 ?생각 비율
(높을수록 생각을 많이 함)
1 perplexity/sonar-deep-research 22,981,693 531,439,923 23.1245
2 deepseek/deepseek-r1-distill-qwen-14b 241,545,560 483,608,320 2.0021
3 deepseek/deepseek-r1-distill-qwen-1.5b 33,853,734 63,343,546 1.8711
4 thudm/glm-z1-rumination-32b-0414 4,310,465 5,080,648 1.1787
5 deepseek/deepseek-r1-distill-llama-70b 1,722,451,502 1,464,615,678 0.8503
6 openai/o1-mini 138,761,060 94,728,801 0.6827
7 thudm/glm-z1-32b-0414 1,943,070 1,031,743 0.531
8 openai/o1-preview 24,773,643 10,684,859 0.4313
9 deepseek/deepseek-r1-distill-qwen-32b 395,805,882 170,136,111 0.4298
10 openai/o3-mini-2025-01-31 962,269,484 381,514,616 0.3965

디버그 정보

Array
(
    [0] => Array
        (
            [rank] => 1
            [permaslug] => perplexity/sonar-deep-research
            [author] => perplexity
            [prompt_tokens] => 22981693
            [completion_tokens] => 548323238
            [reasoning_tokens] => 531439923
            [thinking_ratio] => 23.1245
        )

    [1] => Array
        (
            [rank] => 2
            [permaslug] => deepseek/deepseek-r1-distill-qwen-14b
            [author] => deepseek
            [prompt_tokens] => 241545560
            [completion_tokens] => 504657832
            [reasoning_tokens] => 483608320
            [thinking_ratio] => 2.0021
        )

    [2] => Array
        (
            [rank] => 3
            [permaslug] => deepseek/deepseek-r1-distill-qwen-1.5b
            [author] => deepseek
            [prompt_tokens] => 33853734
            [completion_tokens] => 70385865
            [reasoning_tokens] => 63343546
            [thinking_ratio] => 1.8711
        )

    [3] => Array
        (
            [rank] => 4
            [permaslug] => thudm/glm-z1-rumination-32b-0414
            [author] => thudm
            [prompt_tokens] => 4310465
            [completion_tokens] => 5184889
            [reasoning_tokens] => 5080648
            [thinking_ratio] => 1.1787
        )

    [4] => Array
        (
            [rank] => 5
            [permaslug] => deepseek/deepseek-r1-distill-llama-70b
            [author] => deepseek
            [prompt_tokens] => 1722451502
            [completion_tokens] => 2088811621
            [reasoning_tokens] => 1464615678
            [thinking_ratio] => 0.8503
        )

    [5] => Array
        (
            [rank] => 6
            [permaslug] => openai/o1-mini
            [author] => openai
            [prompt_tokens] => 138761060
            [completion_tokens] => 111977791
            [reasoning_tokens] => 94728801
            [thinking_ratio] => 0.6827
        )

    [6] => Array
        (
            [rank] => 7
            [permaslug] => thudm/glm-z1-32b-0414
            [author] => thudm
            [prompt_tokens] => 1943070
            [completion_tokens] => 1284776
            [reasoning_tokens] => 1031743
            [thinking_ratio] => 0.531
        )

    [7] => Array
        (
            [rank] => 8
            [permaslug] => openai/o1-preview
            [author] => openai
            [prompt_tokens] => 24773643
            [completion_tokens] => 13409763
            [reasoning_tokens] => 10684859
            [thinking_ratio] => 0.4313
        )

    [8] => Array
        (
            [rank] => 9
            [permaslug] => deepseek/deepseek-r1-distill-qwen-32b
            [author] => deepseek
            [prompt_tokens] => 395805882
            [completion_tokens] => 317962045
            [reasoning_tokens] => 170136111
            [thinking_ratio] => 0.4298
        )

    [9] => Array
        (
            [rank] => 10
            [permaslug] => openai/o3-mini-2025-01-31
            [author] => openai
            [prompt_tokens] => 962269484
            [completion_tokens] => 448517175
            [reasoning_tokens] => 381514616
            [thinking_ratio] => 0.3965
        )

)

실행된 SQL 쿼리

SELECT
                ds.model_permaslug AS permaslug,
                ds.author,
                SUM(ds.total_prompt_tokens) AS prompt_tokens,
                SUM(ds.total_completion_tokens) AS completion_tokens,
                SUM(ds.total_native_tokens_reasoning) AS reasoning_tokens,
                -- 추론 토큰 대비 프롬프트 토큰 비율 계산
                SUM(ds.total_native_tokens_reasoning) / SUM(ds.total_prompt_tokens) AS thinking_ratio
            FROM release_llm_daily_stats ds
            WHERE ds.date >= DATE_SUB('2025-04-28', INTERVAL 7 DAY) AND ds.date <= '2025-04-28' and variant<>'free'
              -- 추론 토큰이 0보다 큰 경우만 필터링
              AND ds.total_native_tokens_reasoning > 0
              AND ds.total_prompt_tokens > 0
            GROUP BY ds.model_permaslug, ds.author
            -- 생각 비율(높을수록 좋음) 내림차순 정렬
            ORDER BY thinking_ratio DESC
            LIMIT ? (LIMIT: 10)