Aprenent IA
El milió de tokens es reparteix
Quan treballes amb documents llargs, no n'hi ha prou de comprovar que hi caben. Segons la documentació de Google, Gemini 4 Argon comparteix la finestra entre entrada, raonament i resposta: convé comptar el que envies i deixar espai per al que ve després.
En resum
- Els documents d'entrada comparteixen espai amb el raonament i la resposta.
- count_tokens permet mesurar l'entrada abans d'enviar-la.
- Ampliar el límit de generació deixa més marge, però no garanteix una resposta de la llargada desitjada.
Una finestra per a tot
Pensa en el document i en la feina pendent com a parts del mateix pressupost. Com més espai ocupa l'entrada, menys en queda per raonar i respondre. Per això, comprovar que el material hi cap és només el començament: també has de reservar marge per completar la tasca.
Aquesta guia aplica les condicions documentades per a Interactions API. Fes-les servir quan preparis una integració amb el model; no les prenguis com una descripció dels límits d'una aplicació de consum. El repartiment que ens interessa aquí és entre entrada, raonament i text generat.
Compta els tokens dels documents abans d'enviar-los
Prepara l'entrada que vols enviar, amb els documents i les instruccions de la tasca. Fes-ne el recompte i anota'l per separat. No facis servir aquest resultat com si descrivís el consum de tota la interacció: encara hi falta el que generi el model.
Amb aquesta dada, revisa quant marge queda dins la finestra compartida. Si necessites reservar més espai per a la generació, redueix l'entrada que has preparat i torna a comptar-ne els tokens. A la pràctica, has de decidir quant material envies deixant lloc per a la feina posterior.
Reserva espai per pensar i respondre
| Configuració | Límit en tokens |
|---|---|
| background: false | 65.536 |
| background: true sense fixar max_output_tokens | 65.536 |
| background: true i max_output_tokens superior a 65.536 | El valor fixat, fins a 1.048.576 menys l'entrada |
Tria el mode d'execució amb l'ajuda de la taula. Activar el segon pla, per si sol, no amplia el límit habitual: també cal augmentar el paràmetre de generació. Tot i així, l'entrada continua restant espai disponible.
Revisa també el límit que pugui tenir fixat l'eina amb què treballes. El model pot consumir tot el pressupost pensant i retornar un text buit. Reservar espai estableix un màxim de consum; no assegura una quantitat de text visible ni que es respecti l'extensió demanada.
Exercici: distingeix espai i acumulació
| Mesura | Tokens |
|---|---|
| Entrada inicial | 1.000 |
| Raonament i sortida | 200.000 |
| Context real aproximat | 201.000 |
| Entrada acumulada dels quatre salts | 397.216 |
En aquest exemple didàctic de la documentació, hi caben una entrada de 1.000 tokens i 200.000 tokens de raonament i sortida, dins la finestra compartida de 1.048.576 tokens? Suma els dos valors i compara'ls amb el límit. Si els documents ocupen el marge que necessites reservar per al raonament i la sortida, redueix l'entrada o ajusta la reserva. És un exercici basat en la documentació, no una prova executada ni una garantia del que retornarà una petició.
La comprovació consisteix a explicar per què les últimes files mesuren coses diferents. Per estimar el context, suma la mida de la petició inicial, total_output_tokens i total_thought_tokens. No decideixis retallar els documents basant-te només en total_input_tokens: suma les entrades dels salts successius.
Conclusió
Abans d'enviar documents, compta els tokens d'entrada i revisa el marge per raonar i respondre. Quan llegeixis els resultats, distingeix el context ocupat dels comptadors acumulats. Aquest repartiment permet preparar el pressupost, però no garanteix la resposta desitjada.
Fonts primàries
La continuació natural
Aprèn IA al teu ritme amb els nostres cursos gratuïts.
A la nostra plataforma d'aprenentatge TAKU podràs accedir a aquest i a molts altres cursos de manera totalment gratuïta.
APRENDRE AMB TAKU
Comentaris