OpenAI5 Langchain - 캐싱 LLM 애플리케이션을 개발 및 운영 하다보면 동일한 프롬프트로 반복해서 호출해야 하는 경우가 생긴다.이럴 경우 캐시를(적절하게) 사용 하여 비용적인 부분 및 퍼포먼스를 향상 시킬수 있다 메모리 캐싱로컬 시스템의 메모리를 사용from dotenv import load_dotenvimport os# 환경 변수 로드load_dotenv()# 환경 변수 사용azure_openai_api_key = os.getenv('azure_openai_api_key')azure_openai_endpoint = os.getenv('azure_openai_endpoint')azure_open_api_version = os.getenv('azure_open_api_version')azure_deployment_gpt4test .. 2024. 5. 10. Langchain - Model 컴포넌트와 호출 방법 Model은 Langchain 에서 ChatGPT나 PaLM 모델을 추상화한 객체이다.보통 LLM모델들이 문장을 완성하는 LLM 기능 (질문에 대한 답변, 문서 요약, 아이디어 제공 등등)의 멀티모달 모델(__AzureOpenAI__)과,사람과 상호작용을 하는 채팅을 위한 챗봇 모델(__AzureChatOpenAI__), 이렇게 두 가지 모델을 제공한다. Langchain도 마찬가지로 이 두 가지 모델에 대한 추상화 계층을 제공하고 있다.LM은 입력된 프롬프트의 명령에 따라 답변을 내는 모델이다.ChatGPT, PaLM API등의 LLM 모델에 대한 추상화 객체를 제공한다. LLM 모델 객체를 생성하는 방법은 모델 제공자에 따라 다르며, 특히 모델 제공자에 따라서 지원하는 튜닝 가능한 패러미터들도 다르.. 2024. 5. 3. Langchain - Hello Langchain Langchain은 여러 LLM 모델을 지원하는데, 주요 모델들만 살펴보면 Open AI ChatGPT, Google PaLM, Huggine Face, MS Azure ChatGPT, AWS BedRock, Anthropic claude 등을 지원한다.주요 모델 프로파이더는 https://python.langchain.com/docs/integrations/providers 를 참고하면 된다.지원하는 LLM에 따라서 Langchain의 기능이 일부만 제공되는 경우가 있는데, 예를 들어 Streaming 기능 같은 경우에는 지원 안되는 모델들이 많다.기능에 대한 지원 여부는 LLM 컴포넌트 쪽을 확인하면 된다.https://python.langchain.com/docs/integrations/llms/i.. 2024. 5. 3. Langchain - 기본 구성 및 환경 셋팅 Langchain 개념Langchain은 복잡한 LLM 애플리케이션 개발을 돕기 위한 오픈소스 프레임워크 이다.여러 장점중에 LLM 종류에 상관없이 다양한 LLM으로 쉽게 계발이 가능하며외부 데이터 베이스나 벡터 데이터베이스 검색 엔진등의 외부 컴포넌트를 통합 하여 사용이 용이 하다LangSmith,LangServ등을 이용하여 모니터링 및 모델 평가등을 개발 가능 하게 한다.환경 구성miniconda https://docs.anaconda.com/free/miniconda/index.html Latest Miniconda installer links by Python version — Anaconda documentationLatest Miniconda installer links by Python .. 2024. 5. 2. Azure OpenAI + Google Search API + Chroma Google Search API를 이용하여 검색된 내용을 Embeddings 하여 Chroma(Vector DB)에 넣고 Chroma의 내용을 OpenAI를 통해 Q&A하는 내용을 Python으로 만들어 보겠습니다. import os from langchain.utilities import GoogleSearchAPIWrapper from langchain.vectorstores import Chroma from langchain.embeddings import OpenAIEmbeddings from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.chat_models import AzureChatOpenAI fro.. 2023. 6. 21. 이전 1 다음
