बेंचमार्क

दो बेंचमार्क जो दो अलग-अलग प्रश्नों का उत्तर देते हैं — वास्तविक API बचत, और बड़े पैमाने पर तंत्र की शुद्धता।

रिपॉज़िटरी में benchmarks/ के अंतर्गत दो बेंचमार्क हैं, और उन्हें जानबूझकर एक ही तरह की चीज़ नहीं बनाया गया है — इनमें से किसी एक को दूसरे का विकल्प न समझें।

openrouter-savings — वास्तविक API कॉल, वास्तविक टोकन गणना

OpenRouter को वास्तविक कॉल करता है और OpenRouter द्वारा लौटाए गए वास्तविक total_tokens को रिकॉर्ड करता है। यह जानबूझकर छोटा है — कुछ निर्णय, जिनमें कुछ दोहराए गए हैं — क्योंकि वास्तविक कॉल में पैसे लगते हैं और दर सीमाएँ लागू होती हैं। इसके द्वारा प्रिंट किया गया हर अंक वास्तविक API प्रतिक्रिया से आया है।

OPENROUTER_API_KEY=sk-... pnpm --filter @runic-labs/benchmarks run start
OPENROUTER_API_KEY=sk-... pnpm --filter @runic-labs/benchmarks run start -- --json

फ़ाइल संपादित किए बिना नमूने को विस्तृत करने के लिए दोहराव गणना बढ़ाएँ:

OPENROUTER_API_KEY=sk-... REPEATS_PER_DECISION=6 pnpm --filter @runic-labs/benchmarks run start -- --json

एक वास्तविक रन, बिना किसी बदलाव के:

{
  "model": "openai/gpt-oss-20b:free",
  "decisions": 48,
  "uniqueDecisions": 8,
  "apiCalls": 8,
  "cacheHits": 40,
  "tokensSpent": 2582,
  "tokensSaved": 12910,
  "tokensWithoutRunic": 15492,
  "savingsPercent": 83
}

48 निर्णय हल किए गए, केवल 8 वास्तविक कॉल किए गए, और सभी 48 को सामान्य तरीके से हल करने की तुलना में 83% कम टोकन खर्च हुए — अनुमानित नहीं, बल्कि OpenRouter के अपने usage.total_tokens से मापा गया।

reuse-sweep — सिंथेटिक, बड़े पैमाने पर तंत्र को सिद्ध करता है

यह बिल्कुल भी नेटवर्क कॉल नहीं करता। यह एक अधिक संकीर्ण, ईमानदार प्रश्न का उत्तर देने के लिए है: N निर्णयों और R% की दोहराव दर के आधार पर, क्या कैश ठीक उन्हीं प्रविष्टियों का पुन: उपयोग करता है जिनका उसे करना चाहिए, और क्या लेजर का लेखा-जोखा बिल्कुल सही निकलता है? यह वास्तविक API प्रतिक्रिया के बजाय प्रति निर्णय एक निश्चित, स्पष्ट रूप से लेबल की गई सिंथेटिक लागत (320 टोकन) का उपयोग करता है — यह शुद्धता का प्रमाण है, वास्तविक दुनिया की बचत का अनुमान नहीं।

pnpm run benchmark            # table
pnpm run benchmark -- --json  # machine-readable

फ़ाइल संपादित किए बिना स्वीप का आकार बदलें:

SWEEP_DECISIONS=10,50 SWEEP_REUSE_PCTS=0,50,90 pnpm run benchmark

एक वास्तविक रन:

Runic reuse-sweep (synthetic — proves the mechanism, not real-world savings)
Synthetic cost per unique decision: 320 tokens

 decisions  reuse%   unique     hits      spent      saved  savings%
---------- ------- -------- -------- ---------- ---------- ---------
        10       0       10        0       3200          0         0
        10      25        7        3       2240        960        30
        10      50        5        5       1600       1600        50
        10      75        2        8        640       2560        80
        10      90        1        9        320       2880        90
       100       0      100        0      32000          0         0
       100      25       75       25      24000       8000        25
       100      50       50       50      16000      16000        50
       100      75       25       75       8000      24000        75
       100      90       10       90       3200      28800        90
      1000       0     1000        0     320000          0         0
      1000      25      750      250     240000      80000        25
      1000      50      500      500     160000     160000        50
      1000      75      250      750      80000     240000        75
      1000      90      100      900      32000     288000        90
     10000       0    10000        0    3200000          0         0
     10000      25     7500     2500    2400000     800000        25
     10000      50     5000     5000    1600000    1600000        50
     10000      75     2500     7500     800000    2400000        75
     10000      90     1000     9000     320000    2880000        90

हर पैमाने पर savings% कॉलम का reuse% कॉलम को 1 ट्रैक करना ही वास्तविक मुद्दा है — यह पुष्टि करता है कि कैश बिल्कुल वही करता है जिसका वह दावा करता है, किसी संख्या का प्रचार नहीं करता।

अपने उपयोग के मामले के लिए मुझे किस पर भरोसा करना चाहिए?

सीधे तौर पर किसी पर भी नहीं — आपकी वास्तविक बचत इस पर निर्भर करती है कि आपका एजेंट कितनी बार उसी निर्णय को फिर से पूछता है, जिसका मॉडल reuse-sweep का reuse% कॉलम बनाता है, लेकिन वह आपके लिए इसका पूर्वानुमान नहीं लगा सकता। यदि आप अपने कार्यभार के लिए विशिष्ट संख्या चाहते हैं, तो अपने वास्तविक निर्णय सेट के साथ openrouter-savings चलाएँ।

आगे

• यह कैसे काम करता है — सिग्नेचर और लेजर की वे यांत्रिकताएँ जिनका दोनों बेंचमार्क प्रयोग करते हैं
• त्वरित शुरुआत — अपने वास्तविक अंक प्राप्त करने के लिए इसे अपने एजेंट में जोड़ें