Condense: switch to qwen3:30b MoE + think:false (un seul modèle résident, 1.0s vs 1.6s)

README.fr.md

@@ -39,8 +39,9 @@ Discourse (plugin Ruby, dans le process du forum)
    ▼
 Mini PC auto-hébergé (k3s)                     VPS
   Ollama : bge-m3 (embeddings)                   Discourse + Postgres/pgvector
-           qwen3 30B (génération)               (~428k posts embeddés)
+           qwen3 30B MoE (~3B actifs)           (~428k posts embeddés)
-           llama3.1 8B (réécriture requête)
+             — génération ET réécriture de
+             requête (un seul modèle résident)
   TEI    : cross-encoder mmarco-mMiniLMv2 (rerank)
 ```
 

README.md

@@ -37,8 +37,9 @@ Discourse (Ruby plugin, inside the forum process)
    ▼
 Self-hosted mini PC (k3s)                      VPS
   Ollama : bge-m3 (embeddings)                   Discourse + Postgres/pgvector
-           qwen3 30B (generation)               (~428k embedded posts)
+           qwen3 30B MoE (~3B active)           (~428k embedded posts)
-           llama3.1 8B (query rewriting)
+             — generation AND query rewriting
+             (single resident model)
   TEI    : mmarco-mMiniLMv2 cross-encoder (rerank)
 ```
 

config/settings.yml

@@ -19,5 +19,5 @@ plugins:
     default: ""
     client: false
   depiedencap_ai_citations_condense_model:
-    default: "llama3.1:8b"
+    default: "qwen3:30b-a3b-q6k"
     client: false

lib/retrieval.rb

@@ -338,6 +338,11 @@ module DepiedencapAiCitations
         ],
         max_tokens: CONDENSE_MAX_TOKENS,
         temperature: 0,
+        # thinking désactivé : inutile pour une réécriture d'une phrase, et
+        # qwen3 peut engloutir le budget de tokens dans un raisonnement vide
+        # (observé avec qwen3:4b). Ignoré sans erreur par les modèles
+        # non-thinking (llama).
+        think: false,
       }
 
       conn =