Nginx配置支持SSE流式返回
最近通过springboot对接one-api实现类似于chatgpt的打字机效果,后端采用sse的方式,自己本地使用postman直接调用后端服务完全正常,但是部署到服务器上通过nginx就是一口气直接返回,最后查了下发现是需要在nginx上配置一下才支持流式返回,特此记录一下备忘。
最近通过springboot对接one-api实现类似于chatgpt的打字机效果,后端采用sse的方式,自己本地使用postman直接调用后端服务完全正常,但是部署到服务器上通过nginx就是一口气直接返回,最后查了下发现是需要在nginx上配置一下才支持流式返回,特此记录一下备忘。
写在前面随着AI不断的发展,各大厂商都公开了很多模型,那么我们自己是否可以在本地运行起这些模型呢,答案是肯定的!今天带给大家3分钟使用Ollama快速搭建环境运行本地大模型,支持主流的Lama 3, Phi 3, Mistral, Gemma等等大模型,同时支持主流操作系统,不管你是Mac还是Linux更或者是Windows,哪怕你没有强大的GPU,也可以通过CPU进行体验学习。本文将带你使用ol