ks.dgoon.lee log

Ollama API Wrapper 만들었던 삽질을 없었던 일로 하고싶다


2025/01/28 18:15:14 #dev #ai #chatgpt #gemini #claude #AI #llama #openwebui #llm #anthropic #ollama #api

Open-WebUI 설치해서 쓰고 있는데, webui 에서 제공하는 api endpoint 가 있었다. 사용자마다 api key 생성해서 쓸 수 있고, https로 wrapping해도 잘 동작한다. Open-WebUI 에 가져다 둔 모델들은 모두 OpenAI 스타일 API 로 사용 가능하다.

있었는데 몰랐던건지, 업그레이드하면서 새로 생긴건지 모르겠다. 설치했던 open-webui 를 최신버전으로 업그레이드 했더니 설정 화면에 전에 못보던 "API Key" 라는게 보여서 이게 뭔가 알아봤더니 ...!

그렇게 저기에서 쓰는 모든 모델들을 API 로 가져다 쓸 수 있게 되었다. 각 서비스 프로바이더마다 API 키 하나하나 따로 발급하지 않아도 된다. API 요청하는 코드 따로 안만들어도 된다. 훌륭한 Proxy 가 요기 있었네. 부끄럽다, 왜 괜한 삽질을 했던가...


curl -X POST https://my-openwebui-com/api/chat/completions \
-H "Authorization: Bearer sk-BLAHBLAHBLAHBLAH" \
-H "Content-Type: application/json" \
-d '{
      "model": "google_genai.gemini-1.5-flash-exp-0827",
      "messages": [
        {
          "role": "user",
          "content": "Why is the sky blue?"
        }
      ]
    }'


이런 식으로 가능.


댓글 0개