Patakbuhin ang DeepSeek nang lokal o gumamit ng API? Hardware, bilis, gastos

Malamang hindi, maliban kung mayroon kang 128 GB ng RAM o isang Mac Studio-class na makina, o may dahilan ka para itago ang bawat token sa sarili mong disk. Ang isang DeepSeek V4-Flash file lang ay nasa 100 GB, at isang community guide ang nag-uulat ng humigit-kumulang 6–10 tokens per second kahit sa mamahaling hardware. Para sa karamihan ng app at agent loop, ang mas maikling ruta ay itutok ang OpenAI client sa isang hosted API: babaguhin mo ang base_url at ang key, at wala nang iba sa code mo.

Sa ibaba: paano suriin ang sarili mong makina sa limang minuto, anong bilis ang aasahan, at magkano ang isang tunay na workload sa pamamagitan ng API.

Kasya ba ang DeepSeek sa memory mo?#

Ang mga sukat dito ay galing sa isang community guide sa pagpapatakbo ng DeepSeek nang lokal (deepseek-local-guide-ru sa GitHub, 18 parts, CC BY 4.0, binasa noong 22 Oktubre 2026). Hindi ito opisyal at walang kaugnayan sa DeepSeek. Hindi lubos na nagkakasundo ang mga pahina ng guide mismo tungkol sa mga sukat, kaya kumpirmahin ang file size sa Hugging Face model card bago magsimula ng 100 GB na download.

Ayon sa guide, ang DeepSeek V4-Flash-0731 ay may 284B parameters, kung saan 13B ang active per token. Ang mga file:

Hindi kailangang manatili ang buong modelo sa video memory. Maaaring itago ng llama.cpp ang expert layers sa system RAM, pero prangka ang rule of thumb ng guide: ang 24 GB GPU ay nangangailangan ng 128 GB ng RAM sa tabi nito.

Sabihin nating mayroon kang magandang gaming PC na may 24 GB GPU at 64 GB ng RAM. Pagsamahin ang dalawa at ihambing sa pinakamaliit na file:

24 + 64 = 88 GB, at ang Q3 file ay 103 GB.

Hindi ito kasya, at kailangan pa ng operating system ng sarili nitong memory. Sa 24 GB ng VRAM at 128 GB ng RAM mayroon kang 152 GB, at kasya ang 103 GB na file na may sobrang espasyo.

Ang mas bagong DeepSeek-V4.1-Flash-1017 ay mas malaki: mga 552B parameters kasama ang 196B ng Engram, mga 510 GB sa FP8 at mga 167 GB sa 2-bit, ayon sa parehong guide. Ang suporta ang isa pang problema. Ayon sa guide (sinuri noong 22 Oktubre 2026) hindi ito tumatakbo sa Ollama, dahil hindi sinusuportahan ang deepseek_v41 architecture, at ang suporta ng llama.cpp at LM Studio ay wala sa kanilang main branches. Mabilis itong nagbabago, kaya tingnan ang release notes ng engine mo bago magplano base dito.

Gaano ito kabilis?#

Dalawang measurement ang ibinibigay ng guide, parehong nasa mabigat na quantization at parehong community numbers, kaya basahin ang mga ito bilang orders of magnitude at hindi bilang benchmark:

• DGX Spark na may 128 GB, V4-Flash sa IQ2: mga 6–7 tokens per second.
• Mac Studio M3 Ultra na may 256 GB, V4.1-Flash sa MLX 2-bit: mga 9.5 tokens per second.

Walang figure ang guide para sa RTX 4090 o 5090.

Ano ang pakiramdam niyan? Ang 1,000-token na sagot ay mga isa't kalahating pahina ng teksto:

1,000 ÷ 9.5 = 105.3 segundo

1,000 ÷ 6 = 166.7 segundo

Para sa chat na binabasa mo habang nag-stream, mabagal ito pero magagamit. Para sa agent na gumagawa ng dose-dosenang call per task, mabilis itong dumadagdag. Sabihin nating ang loop mo ay gumagawa ng 2,000,000 output tokens kada araw at talagang naglalabas ang makina ng 9.5 tokens per second nang walang tigil:

2,000,000 ÷ 9.5 = 210,526 segundo

210,526 ÷ 3,600 = 58.5 oras

Iyon ay mahigit isang araw ng generation para sa isang araw ng trabaho. Ang mga tunay na server ay nagba-batch ng ilang request nang sabay, kaya hindi ganoon kalungkot ang larawan para sa isang team, pero magtu-tune ka ng engine sa halip na bumuo ng produkto mo.

Magkano ang parehong workload sa pamamagitan ng API#

Gawin nating konkretong halimbawa. Ipagpalagay na may agent loop na nagpapadala ng 10 milyong input tokens at nakakakuha ng 2 milyong output tokens kada araw. Mga assumed na numero ito, palitan ng sa iyo mula sa usage log.

Ang pricing page mismo ng DeepSeek (22 Oktubre 2026, walang petsang nakalagay sa page mismo) ay naglilista ng deepseek-flash, na inihahatid ng DeepSeek-V4.1-Flash-1017, sa mga presyong ito per 1M tokens, off-peak / peak: input na may cache miss $0.15 / $0.30, output $0.60 / $1.20. Ang peak hours ay 01:00–04:00 at 06:00–10:00 UTC, Lunes hanggang Biyernes, maliban sa Chinese public holidays; ang off-peak ay kalahati ng peak. Mas mura nang malaki ang cache-hit input ($0.003 / $0.006), kaya ang loop na paulit-ulit na nagpapadala ng parehong mahabang prefix ay bababa sa mga numerong ito.

Para sa assumed na workload, na may cache misses:

Off-peak: 10 × $0.15 + 2 × $0.60 = $2.70 kada araw

Peak: 10 × $0.30 + 2 × $1.20 = $5.40 kada araw

Sa CheapTokens, para sa parehong uri ng agent loop, kunin ang MiniMax-M2.7 (minimax-m2.7): isang fixed na presyo sa kahit anong oras, walang peak window, hanggang 8,192 output tokens per answer, 180K context, at isang balance para sa lahat ng modelo. Ang parehong 10M input at 2M output tokens ay nagkakahalaga ng $0.80 kada araw. Sa kabuuan, kung pagsasamahin ang input at output, mas mura ito kaysa OpenRouter; narito ang live na table para sa eksaktong workload na ito:

Binabasa ng table ang kasalukuyang price list tuwing ipinapakita ito, kaya nananatili itong tama kapag nagbago ang presyo. Ang buong price list ay nasa CheapTokens pricing page, at ipinapaliwanag ng DeepSeek API pricing in 2026 kung paano binabago ng cache hits at peak hours ang bill.

Kailan sulit ang sarili mong hardware?#

Walang gastos per request ang local tokens, pero may gastos ang makina. Simpleng paraan para suriin:

payback days = hardware price ÷ (daily API bill − daily electricity)

Hindi ako nagbibigay ng presyo ng hardware dito dahil masyado itong nagbabago; ilagay ang presyong sinabi sa iyo. Para magkaroon ng pakiramdam, kunin ang off-peak bill mula sa DeepSeek pricing page sa itaas. Bawat $1,000 ng hardware ay nangangailangan ng ganitong dami ng araw ng API bill para mabawi, bago pa ang kuryente at sarili mong oras:

1,000 ÷ 2.70 = 370.4 araw

At ipinapalagay niyan na kayang ibigay ng makina ang volume na ito: sa 9.5 tokens per second hindi nito kaya (tingnan ang speed section sa itaas), kaya para sa agent workload hindi nagtatagpo ang payback. Mas may saysay ang local kapag:

• hindi dapat lumabas ang data sa network mo, at mas mahalaga iyon kaysa sa bill;
• mayroon ka nang makina at magaan ang load, sabihin nating ilang daang request kada araw para sa personal na tool;
• gusto mong mag-eksperimento sa weights mismo: quantization, fine-tuning, engine na pipiliin mo.

Mas may saysay ang API kapag ang workload ay agent o service, kapag kailangan mo ang sagot sa loob ng segundo, o kapag mas maliit ang hardware mo kaysa sa mga sukat ng memory sa itaas. Kung masyadong maliit ang makina mo kahit para sa pinakamagaan na DeepSeek file, ang MiniMax-M2.7 (180K context, hanggang 8,192 output tokens per answer, sa kabuuan mas mura kaysa OpenRouter) ay modelong subukan sa parehong client.

Paglipat mula local patungo sa hosted API#

Madalas nagsisimula sa Ollama ang mga hobby project at pagkatapos ay nalalampasan ito. Ang magandang balita: nagsasalita ng OpenAI protocol ang mga local engine. Ang compatibility page ng Ollama (docs.ollama.com, sinuri noong 22 Oktubre 2026) ay nagpapakita ng endpoint na http://localhost:11434/v1/; kailangan ng client ng ilang api_key value, pero binabalewala ito ng Ollama. Gumagana ang streaming, JSON mode at tools; hindi gumagana ang logprobs.

Kaya ang switch ay dalawang linya at ang pangalan ng modelo:

import os
from openai import OpenAI

# Local Ollama: the key is required by the client but ignored by the server
# client = OpenAI(base_url="http://localhost:11434/v1/", api_key="ollama")

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)

reply = client.chat.completions.create(
    model="MiniMaxAI/MiniMax-M2.7",  # take the exact id from the CheapTokens docs
    messages=[{"role": "user", "content": "Summarize this ticket in one sentence: ..."}],
    max_tokens=200,
)
print(reply.choices[0].message.content)
print(reply.usage)

Kapag gumana, makikita mo ang isang pangungusap na summary at isang usage object na may prompt at completion token counts, ang parehong numero na pinagbabatayan ng bill mo. Tumatanggap din ang CheapTokens API ng Anthropic Messages format, at ipinapakita ng docs ang unang request nang hakbang-hakbang. Kung bago sa iyo ang base_url, dalawang minuto lang ang OpenAI-compatible API: what base_url is.

Kung hindi ito gumana#

• Connection refused sa localhost:11434: hindi tumatakbo ang Ollama, o nakaturo ka pa rin sa local address.
• 401: nawawala ang key o nakopya nang may espasyo; basahin ito mula sa environment variable, tulad ng sa halimbawa.
• 404 o unknown model: hindi tugma ang model id. Magkaiba ang local at hosted na pangalan, kaya kopyahin ang id mula sa docs.

Alin ang pipiliin#

Kung mayroon kang 128 GB o higit pa at mausisa ka, patakbuhin ang weights sa bahay at magsaya sa kontrol. Kung bumubuo ka ng agent na gumagamit ng milyon-milyong token kada araw, o ng service kung saan naghihintay ang mga user sa sagot, gamitin ang API at itabi ang local setup para sa mga eksperimento. Pareho lang ang code sa alinman, kaya makakapagsimula ka sa isa at lumipat sa isa pa mamaya. Para sa higit pa tungkol sa self-hosting, tingnan ang what DeepInfer means for self-hosting; para subukan ang DeepSeek sa pamamagitan ng API, tingnan ang CheapTokens DeepSeek models.