Streaming

Recevez les réponses token par token sous forme de Server-Sent Events en définissant stream: true.

Définissez stream: true pour recevoir la réponse token par token sous forme de Server-Sent Events (SSE). Cela permet d'afficher le texte au fur et à mesure de son arrivée plutôt que d'attendre la réponse complète.

Fonctionnement

Lorsque le streaming est activé, l'API renvoie une série de lignes SSE. Chaque ligne commence par data: suivi d'un fragment JSON. Le morceau de texte de chaque fragment se trouve dans choices[0].delta.content. Le flux se termine par une dernière ligne sentinelle data: [DONE], que vous devez ignorer plutôt que d'analyser.

Exemples

import Tchavi from '@tchavi/sdk';

const client = new Tchavi({ apiKey: process.env.TCHAVI_API_KEY });

const stream = await client.chat.completions.create({
  model: 'gpt-4o-mini',
  messages: [{ role: 'user', content: 'Tell me a short story.' }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? '');
}

Consultez Chat Completions pour la référence complète des requêtes et des réponses.