Bumalik sa blog

Mga modelo at paghahambingPaghahambing

Inkling 2 Small vs DeepSeek-V4.1-Flash: aling modelo para sa coding?

Inilalagay ng talahanayan ng vendor ang DeepSeek-V4.1-Flash sa unahan sa karamihan ng coding row. Paano ito basahin, magpatakbo ng 5-prompt check sa iyong repo at bilangin ang gastos per gawain.

Ni CheapTokens TeamNai-publish noong 10 min na pagbabasa

Cover: Inkling 2 Small versus DeepSeek-V4.1-Flash, dalawang column ng modelo
Sa pahinang ito
  1. Ano ang Inkling 2 Small
  2. Pagbasa sa talahanayan row by row
  3. Ibang row ang web design
  4. Ano ang hindi maipapakita ng anumang talahanayan
  5. Ang 5-prompt check sa sarili mong code
  6. Gastos per task, hindi per token
  7. Alin ang pipiliin

Maikling sagot: sa talahanayang inilathala ng Thinking Machines para sa Inkling 2 Small (pahina ng release noong 5 Nobyembre 2026, sinuri noong 7 Nobyembre), nangunguna ang DeepSeek-V4.1-Flash-1017 sa lima sa anim na coding row na may numero para sa dalawang modelo. Nangunguna ang Inkling sa isa, at may malakas itong ranggo sa web design. Pero sariling talahanayan ito ng vendor, kaya ituring itong dahilan para magsagawa ng maliit na pagsusuri sa iyong code, hindi bilang hatol.

Kung nakakita ka ng headline na tulad ng "Malapit na ang Inkling sa DeepSeek" at nag-isip kung lilipat ka ng coding agent, ito ang tamang pagkakasunod-sunod: basahin ang mga row na tumutugma sa iyong trabaho, tingnan kung ano ang hindi maipapakita ng talahanayan, magpatakbo ng limang prompt mo mismo, at maglagay ng gastos sa isang natapos na gawain.

Ano ang Inkling 2 Small#

Ayon sa pahina ng release, ang Inkling 2 Small ay second-generation model mula sa Thinking Machines Lab. Isa itong Mixture-of-Experts model na may 594B parameter sa kabuuan at 17B active bawat token. Tumatanggap ito ng mga larawan (hindi audio) at may variable effort setting. Sa ngayon, tumatakbo ito sa Tinker, ang serverless inference service ng lab, na nasa Beta.

Dalawang detalye ang madaling makaligtaan. Sarado ang weights sa ngayon: plano ng lab na ilabas ang mga ito sa ilalim ng Apache 2.0 "sa susunod na linggo" pagkatapos ng external safety testing, at sinasabi nitong susunod ang ibang platform "sa mga darating na linggo". Plano iyon, hindi katotohanan, hangga't hindi aktwal na nailalabas ang mga file. At ang context: ipinapakita ng listahan ng modelo sa Tinker na 256K ang maximum. Ang 512K at 1M na numero sa pahina ng release ay training at evaluation settings, hindi ang maaari mong ipadala ngayon.

Mga flashcard

Mga salitang makikita mo sa paghahambing na ito

Mas mahalaga ang mga petsa ngayon kaysa karaniwan, dahil kalahati ng alok ay pangako:

Timeline

Inkling 2 Small: sinasabi ng vendor at kailan

  • 5 Nob 2026nailathala ang pahina ng release, live ang modelo sa Tinker (Beta)
  • "Susunod na linggo"nakaplanong open-weights release sa ilalim ng Apache 2.0, pagkatapos ng external safety testing
  • "Mga darating na linggo"availability sa ibang platform

Pagbasa sa talahanayan row by row#

Inihahambing ng vendor ang Inkling 2 Small sa DeepSeek-V4.1-Flash-1017. Sinasabi ng docs ng DeepSeek na ang deepseek-flash alias ay ine-serve na ng bersyong iyon (walang petsa ang pahina, sinuri noong 7 Nobyembre 2026). Narito ang mga row kung saan may numero ang dalawang modelo. Ang huling column ay ang subtraction lang.

Row Inkling 2 Small DeepSeek-V4.1-Flash-1017 Gap, points
FrontierCode v2.0 25.4% 28.5% DeepSeek +3.1
DeepSWE v1.1 72.1% 77.0% DeepSeek +4.9
Vibe Code Bench v1.1 81.6% 87.7% DeepSeek +6.1
Terminal Bench Science v0.1 5.7% 12.9% DeepSeek +7.2
PostTrainBench v1.2 31.9% 30.5% Inkling +1.4
PMPP-Hard (AUC) 494.27 497.36 DeepSeek +3.09

Suriin ang isa: 77.0 - 72.1 = 4.9. Bilangin ang mga row at nangunguna ang DeepSeek sa lima, ang Inkling sa isa.

Hulaan ang numero

Sa ilan sa anim na head-to-head row nangunguna ang DeepSeek-V4.1-Flash-1017?

Ipakita ang sagot

Sagot: 5

Lima: FrontierCode, DeepSWE, Vibe Code Bench, Terminal Bench Science at PMPP-Hard. Nangunguna lamang ang Inkling sa PostTrainBench.

Talahanayan ng vendor: Inkling 2 Small vs DeepSeek-V4.1-Flash-1017, tatlong coding row
Tatlong row mula sa pahina ng release ng Thinking Machines, 5 Nobyembre 2026

Ilang bagay na dapat mapansin bago mo sipiin ang talahanayang ito sa iyong team.

  • Ang pinakamalaking gap ay nasa pinakabatang row. Ang Terminal Bench Science ay nasa version 0.1, at ang 12.9% laban sa 5.7% ay mahigit doble. Pahiwatig ito tungkol sa terminal-style na trabaho, hindi hatol.
  • May isang row na walang head-to-head. Ipinapakita ng SWEBench Pro v2 (Hard) ang Inkling sa 86.3% at ang DeepSeek bilang hindi iniulat. Hindi mo maihahambing ang isang numero sa blangko.
  • Maliit ang maliliit na gap. Ang gap na 1.4 o 3.1 puntos sa isang benchmark na hindi mo pa nasubukan ay maaaring hindi manatili kapag nagbago ang repo o prompt.
  • May isang pagkakasalungat ang pahina. Ang Artificial Analysis Intelligence Index ay 31 sa teksto at 30.6 (v5.0) sa talahanayan, walang paliwanag. Maliit na bagay ito, pero paalala itong basahin ang mga footnote.

Wala pang independiyenteng replication dito; lahat ng numero ay mula sa vendor ng Inkling.

Ibang row ang web design#

Kung ang gawain mo ay paggawa ng website kaysa pag-aayos ng bug, ang relevant na numero ay DesignArena Website. Sa snapshot ng 5 Nobyembre sa pahina ng release, nakakuha ang Inkling 2 Small ng 1,340, pangatlo sa likod ng Muse Wonder (1,366) at Muse Spark 1.3 (1,351). Inaasahan ng vendor na ito ang magiging top open-weights model doon kapag nailabas na ang weights. Ang gap sa unang pwesto ay 1,366 - 1,340 = 26 puntos.

Iyon ay leaderboard ng mga taong naghahambing ng mga generated page, kaya may sinasabi itong totoo tungkol sa itsura. Pero walang numerong DeepSeek ang pahina para sa row na ito, kaya walang head-to-head na mababasa. Buksan ang DesignArena mismo bago umasa sa snapshot.

Ano ang hindi maipapakita ng anumang talahanayan#

Sabihin nating nagma-maintain ka ng sampung taong gulang na Django monolith na mabagal ang tests at maraming house rules. Ang benchmark na gawa sa bago at maayos na repo ay kaunti lang ang sinasabi tungkol sa kung paano hinahawakan ng modelo ang iyong utils.py na may 3,000 linya. Apat na bagay ang kulang sa anumang talahanayan ng vendor:

  1. Ang iyong code at mga gawi. Pagpapangalan, istilo ng test, kung aling file ang hindi dapat hawakan ng agent.
  2. Paano kumikilos ang agent loop. Ang parehong modelo ay maaaring mahusay sa isang tool at mahina sa iba, dahil iba-iba ang tool sa paraan ng pagbibigay ng file at error dito.
  3. Ilang hakbang ang kailangan ng isang gawain. Ang modelong 3 puntos na mas mahusay bawat pagtatangka pero nangangailangan ng mas maraming pagtatangka ay hindi laging mas mabuti para sa iyo.
  4. Presyo. Ang presyo per token ng Inkling ay wala sa pahina ng release o sa listahan ng modelo sa Tinker (sinuri noong 7 Nobyembre 2026). Tingnan ang pricing page ng Tinker at ilagay ang petsa sa tabi ng anumang makita mo.

Kung gusto mo ng mas mahabang paglalakbay sa pagbasa ng benchmark table, may hiwalay na artikulo: paano basahin ang AI benchmark at magpatakbo ng 5-prompt test.

Ang 5-prompt check sa sarili mong code#

Tumatagal ito ng isang hapon at mas mahusay kaysa sa anumang leaderboard para sa iyong desisyon. Pumili ng limang gawaing aktwal mong ginawa sa nakalipas na dalawang linggo, bawat isa may paraan para malaman kung tama ang sagot. Ipadala ang parehong teksto sa bawat modelo at ikaw mismo ang mag-score ng resulta.

Five-prompt check: limang tunay na gawain, parehong prompt, score, gastos per task
Ang check sa apat na hakbang

Listahan ng dapat gawin

Ang iyong 5-prompt check

Para sa mga modelong matatawagan sa OpenAI-compatible API, maikli ang loop. Ilagay ang limang prompt sa tasks.txt, na pinaghihiwalay ng linyang may =====. Basahin ang buong dokumentasyon sa CheapTokens docs; ang address ay https://api.cheaptokens.dev/v1.

python
import os
from openai import OpenAI

client = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

tasks = open('tasks.txt').read().split('=====')
for i, task in enumerate(tasks, 1):
    r = client.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': task.strip()}],
        max_tokens=4000,
    )
    u = r.usage
    print(i, u.prompt_tokens, u.completion_tokens, r.choices[0].finish_reason)

Ang makikita mo ay limang linya ng task number, input tokens, output tokens, finish_reason. Ang stop ay nangangahulugang natapos ng modelo nang mag-isa; ang length ay nangangahulugang pinutol ng max_tokens ang sagot. Ang model id dito ay ang buo: deepseek-ai/DeepSeek-V4-Flash-0731. Hindi gagana ang maikling id mula sa price table.

Ang DeepSeek-V4-Flash sa CheapTokens ay may 380K context, hanggang 32,768 token sa isang sagot, isang presyo sa anumang oras ng araw at may Anthropic-compatible endpoint din, kaya ang parehong limang prompt ay tumatakbo rin sa mga tool na gawa sa format na iyon. Ang mga score mula sa sarili mong limang prompt ang mahalaga para sa iyong repo. Para sa Inkling 2 Small, ipadala ang parehong limang teksto sa pamamagitan ng Tinker.

Gusto ng pangatlo at pang-apat na kalaban sa parehong balanse? Ang GLM-5.3-Flash (zai-org/GLM-5.3-Flash, 390K context) at MiniMax-M2.7 (MiniMaxAI/MiniMax-M2.7, 180K context) ay tumatanggap ng parehong call na may ibang model value. Kung gusto mong makita kung paano ihinahambing ang DeepSeek model sa MiniMax sa mga gawain, may MiniMax-M2.7 vs DeepSeek-V4-Flash.

Gastos per task, hindi per token#

Ang presyo per milyong token ay hindi presyo per natapos na gawain. Ang binabayaran mo ay ang bilang ng hakbang na pinarami ng token sa bawat hakbang, input at output na pinagsama. Sabihin nating nalutas ng agent mo ang isang bug sa 20 hakbang, at bawat hakbang ay nagpapadala ng mga 30,000 token ng file at history at nakakakuha ng mga 1,500 token pabalik. Ang isang hakbang sa DeepSeek-V4-Flash ay nagkakahalaga ng $0.0006. Ang buong gawain, sa live na presyo:

Modelo Bawat kahilingan 20 mga kahilingan OpenRouter, 20 mga kahilingan
GLM-5.3-Flash $0.00066 $0.0132 $0.0226
DeepSeek-V4-Flash $0.0006 $0.012 $0.0462
MiniMax-M2.7 $0.0017 $0.0345 $0.414

30,000 input at 1,500 output na token bawat kahilingan. Ang mga presyo kada 1M token ay kasalukuyan at nagbabago kasabay ng aming mga taripa; ang column ng OpenRouter ay nagpapakita ng reference na presyo para sa parehong workload.

Ipinapakita rin ng talahanayang iyon ang reference price ng OpenRouter, at sa kabuuan, kapag pinagsama ang input at output, mas mura ang DeepSeek-V4-Flash sa CheapTokens. Ang per-token rates para sa bawat modelo ay nasa pricing page.

Ngayon ang puntong mahalaga para sa paghahambing. Kung ang model A ay nalutas ang gawain sa 20 hakbang at ang model B ay nangangailangan ng 30, kung gayon 30 / 20 = 1.5, kaya ang B ay nagkakahalaga ng isa at kalahating beses sa bawat gawain sa parehong presyo ng token. Ang ilang dagdag na puntos sa benchmark ay madaling makain ng dagdag na hakbang, at kabaliktaran. Kaya naman itinatala ng 5-prompt check ang token: makikita mo ang hakbang at token per gawain, hindi lamang score. Ang mas mahabang bersyon ng ideyang ito ay nasa presyo per 1M token vs gastos per gawain.

Ilagay ang sarili mong numero sa calculator. Sa halimbawa sa ibaba, ang 200 run ay 10 gawain sa isang araw sa 20 hakbang bawat isa; palitan ang token per step ng ipinakita ng iyong check.

Calculator ng gastos

Isang araw ng coding agent: 10 gawain, 20 hakbang bawat isa

Mga input token bawat kahilingan: 30,000 · Mga output token bawat kahilingan: 1,500 · Mga kahilingan bawat araw: 200

ModeloBawat arawBawat buwan
GLM-5.3-Flash$0.132$3.96
DeepSeek-V4-Flash$0.12$3.60
MiniMax-M2.7$0.345$10.35

Alin ang pipiliin#

Coding agent sa tunay na repo. Sa sariling coding row ng vendor, nangunguna ang DeepSeek-V4.1-Flash-1017 sa karamihan. Simulan ang check sa DeepSeek-V4-Flash (id sa code sa itaas) at idagdag ang Inkling sa parehong limang prompt. Lumipat lamang kung mananalo ang Inkling sa iyong mga gawain, hindi sa mga gawain ng vendor. Kung gusto mo ng background sa release mismo ng DeepSeek, tingnan ang ano ang nagbago sa deepseek-flash.

Mga website at front-end generation. Ang ranggo ng Inkling sa DesignArena Website ang pinakamalakas na claim sa release. Magpatakbo ng dalawa o tatlong prompt mo mismo para sa page sa parehong modelo at tingnan ang mga page, hindi ang mga numero.

Self-hosting mamaya. Ang Inkling ang may planong open-weights, sa ilalim ng Apache 2.0. Hangga't wala ang mga file, plano pa lang ito. Suriin muli ang pahina ng release bago ka magtayo ng anuman sa paligid nito, at samantala maaari mong patakbuhin ang parehong prompt laban sa hosted model gamit ang DeepSeek sa CheapTokens.

Isa pang tip, kung magpapasya ka batay sa mga gawain: itago ang limang prompt at ang scoring sheet. Sa susunod na maglathala ang vendor ng talahanayan, maaari mong patakbuhin muli ang check sa isang oras kaysa magbasa muli ng mga ranking.