Increase Ollama timeout to 180s and add num_ctx
This commit is contained in:
@@ -337,20 +337,21 @@ def _call_ollama(model: str, prompt: str, system_prompt: str = None) -> str:
|
||||
payload = {
|
||||
"model": model,
|
||||
"prompt": prompt,
|
||||
"stream": False
|
||||
"stream": False,
|
||||
"options": {"num_ctx": 4096}
|
||||
}
|
||||
|
||||
if system_prompt:
|
||||
payload["system"] = system_prompt
|
||||
|
||||
try:
|
||||
res = requests.post(f"{endpoint}/api/generate", json=payload, timeout=120)
|
||||
res = requests.post(f"{endpoint}/api/generate", json=payload, timeout=180)
|
||||
|
||||
if res.status_code == 200:
|
||||
return res.json().get("response", "")
|
||||
return f"Erro Ollama: {res.status_code} - {res.text}"
|
||||
except requests.exceptions.Timeout:
|
||||
return f"[TIMEOUT] Ollama não respondeu em 120s. Verifique se o serviço está rodando em {endpoint}"
|
||||
return f"[TIMEOUT] Ollama não respondeu em 180s. Verifique se o modelo está carregado em {endpoint}"
|
||||
except requests.exceptions.ConnectionError:
|
||||
return f"[CONNECTION ERROR] Não conseguiu conectar ao Ollama em {endpoint}. Verifique se o container Ollama está na mesma rede Docker."
|
||||
except Exception as e:
|
||||
|
||||
Reference in New Issue
Block a user