diff --git a/README.fr.md b/README.fr.md index e75042c..eba3959 100644 --- a/README.fr.md +++ b/README.fr.md @@ -39,8 +39,9 @@ Discourse (plugin Ruby, dans le process du forum) ▼ Mini PC auto-hébergé (k3s) VPS Ollama : bge-m3 (embeddings) Discourse + Postgres/pgvector - qwen3 30B (génération) (~428k posts embeddés) - llama3.1 8B (réécriture requête) + qwen3 30B MoE (~3B actifs) (~428k posts embeddés) + — génération ET réécriture de + requête (un seul modèle résident) TEI : cross-encoder mmarco-mMiniLMv2 (rerank) ``` diff --git a/README.md b/README.md index fcf8dd5..e573a6b 100644 --- a/README.md +++ b/README.md @@ -37,8 +37,9 @@ Discourse (Ruby plugin, inside the forum process) ▼ Self-hosted mini PC (k3s) VPS Ollama : bge-m3 (embeddings) Discourse + Postgres/pgvector - qwen3 30B (generation) (~428k embedded posts) - llama3.1 8B (query rewriting) + qwen3 30B MoE (~3B active) (~428k embedded posts) + — generation AND query rewriting + (single resident model) TEI : mmarco-mMiniLMv2 cross-encoder (rerank) ``` diff --git a/config/settings.yml b/config/settings.yml index 3435b14..0562a15 100644 --- a/config/settings.yml +++ b/config/settings.yml @@ -19,5 +19,5 @@ plugins: default: "" client: false depiedencap_ai_citations_condense_model: - default: "llama3.1:8b" + default: "qwen3:30b-a3b-q6k" client: false diff --git a/lib/retrieval.rb b/lib/retrieval.rb index f0c4cae..6b2e6ff 100644 --- a/lib/retrieval.rb +++ b/lib/retrieval.rb @@ -338,6 +338,11 @@ module DepiedencapAiCitations ], max_tokens: CONDENSE_MAX_TOKENS, temperature: 0, + # thinking désactivé : inutile pour une réécriture d'une phrase, et + # qwen3 peut engloutir le budget de tokens dans un raisonnement vide + # (observé avec qwen3:4b). Ignoré sans erreur par les modèles + # non-thinking (llama). + think: false, } conn =