[Week 3] Flowise LLM 노드

[email protected]  |  2025-09-17 17:53


https://docs.flowiseai.com/using-flowise/agentflowv2#id-2.-llm-node

1. 모델 설정 (Model Selection)

Model

  1. 설명: 사용할 언어 모델 선택. Flowise UI에서 ChatOpenAI 선택 시 OpenAI 모델 사용.
  2. 옵션:
  3. gpt-4o-mini: 비용 효율적, 텍스트+이미지 처리 가능. 맥락 창 128K 토큰.
  4. gpt-5-nano: 초경량, 텍스트 중심(이미지 미지원). 맥락 창 400K 토큰, reasoning_effort 매개변수 지원.
  5. gpt-5-mini: 경량, 텍스트 중심(이미지 미지원). 맥락 창 400K 토큰, verbosity 매개변수로 출력 길이 조절.
  6. 모델 비교:

모델텍스트 처리이미지 처리맥락 창주요 특징
gpt-4o-miniOO (다중 모달)128K균형 성능, 비용 효율적
gpt-5-nanoOX400K고속, reasoning 중심
gpt-5-miniOX400Kverbosity 조절 가능

Connect Credential

  1. 설명: 모델 접근용 API 키. Flowise Credential 관리로 보안 유지.
  2. 옵션: OpenAI API 키 입력(예: sk-xxxx).

Model Name

  1. 설명: 특정 모델 버전 지정.
  2. 옵션: gpt-4o-mini, gpt-5-nano, gpt-5-mini.

2. 출력 제어 (Output Control)

Temperature

  1. 설명: 출력 창의성 조절(0~2). 낮을수록 결정적(예측 가능, 반복적), 높을수록 창의적(다양하지만 덜 정확). 기본값 1.0. gpt-4o-mini에서 0.5로 설정 시 정확한 응답에 적합(추천 이유: 메모 요약처럼 일관성 필요한 작업에서 오류 줄임).
  2. 옵션:
  3. 0.0~0.5: 정확한 출력(추천: 사실 중심 작업).
  4. 0.7~1.0: 자연스러운 대화(기본값).
  5. 1.5~2.0: 창의적 출력(스토리 생성 등).
  6. gpt-4o-mini 기준: 0~2 범위 지원. GPT-5 시리즈에서는 기본 1.0 고정(조정 불가).

Streaming

  1. 설명: 실시간 텍스트 출력. 활성화 시 점진적 생성.
  2. 옵션:
  3. Enable: 실시간 출력.
  4. Disable: 전체 출력 후 반환.

Max Tokens

  1. 설명: 최대 출력 토큰 수. 출력 길이/비용 관리. 입력 토큰 포함 총 길이 제한. gpt-4o-mini에서 500으로 설정 시 간결한 응답(추천 이유: 비용 절감과 응답 속도 향상).
  2. 옵션: 1~16,384 (gpt-4o-mini 기준, 모델별 상이: GPT-5 시리즈 128K 가능).

Top Probability (Top-p)

  1. 설명: 상위 p% 확률 단어 선택(0~1). nucleus 샘플링으로 다양성 조절. 기본값 1.0. 작을수록(예: 0.1) 보수적(상위 10% 토큰만 고려, 추천: 정확성 중시 작업에서 환각 줄임), 클수록(예: 0.9) 다양(추천: 창의적 응답 필요 시). Temperature와 함께 사용 시 하나만 조정 추천.
  2. 옵션: 0.1~1.0.
  3. gpt-4o-mini 기준: 0~1 범위 지원. GPT-5 시리즈에서는 기본 1.0 고정.

Frequency Penalty

  1. 설명: 단어 반복 억제(-2~2). 높을수록(양수) 반복 감소(추천 이유: 메모처럼 반복 피할 때 자연스러움 유지). 기본값 0.
  2. 옵션: -2.0~2.0 (양수: 반복 억제, 음수: 반복 장려).

Presence Penalty

  1. 설명: 새로운 단어/주제 선호(-2~2). 높을수록(양수) 새 토큰 도입(추천 이유: 대화나 요약에서 주제 다양화, 지루함 방지). 기본값 0.
  2. 옵션: -2.0~2.0 (양수: 새 주제 선호, 음수: 기존 주제 유지).

Stop Sequence

  1. 설명: 특정 문자열(예: "\n")에서 출력 중단. 문자열 감지 시 즉시 종료.
  2. 옵션: 단일/다중 문자열(예: ["\n", "###"]).
  3. 주의: 잘못 설정 시 출력 조기 종료(예: 텍스트에 "\n" 포함 시).

3. 메시지 및 메모리 (Messages and Memory)

Messages

  1. 설명: 초기 프롬프트와 대화 구조 정의. Role과 Content로 구성.
  2. Role 옵션:
  3. system: 모델 역할/지침 설정.
  4. user: 사용자 입력.
  5. assistant: 모델 응답.
  6. developer: 디버깅/커스텀 메시지(드물게 사용).
  7. Content: Role에 대응하는 텍스트.

Enable Memory

  1. 설명: 대화 기록 저장. 활성화 시 이전 대화 유지.
  2. 옵션:
  3. Enable: 기록 저장.
  4. Disable: 단일 세션 응답.

Memory Type

  1. 설명: 대화 기록 저장 방식.
  2. 옵션:
  3. Conversation Buffer: 모든 기록 저장.
  4. Window Buffer: 최근 n개 메시지 저장.
  5. Summary Buffer: 대화 요약 저장.

Input Message

  1. 설명: 사용자 입력 메시지. 모델이 처리할 데이터.

4. 출력 형식 (Output Format)

Return Response As

  1. 설명: 출력 형식 지정.
  2. 옵션:
  3. Text: 일반 텍스트.
  4. JSON Structured Output: JSON 형식(예: {"response": "텍스트"}).

Update Flow State

  1. 설명: 출력을 워크플로 state로 저장해 다음 노드에 전달.
  2. 옵션:
  3. Enable: state 저장.
  4. Disable: state 업데이트 없음.

5. 배포 관련 (Deployment Options)

배포 관련 설정은 API 호출 및 네트워크 환경에 영향. 기본값으로 충분하나, 커스텀 배포 시 중요. 모든 매개변수는 Chat Completions API에서 지원되지만, GPT-5 시리즈에서 일부(예: temperature)는 고정.

Timeout

  1. 설명: API 호출 시간 제한(초). 응답 지연 시 중단.
  2. 옵션: 10~300초(예: 60초).

BasePath

  1. 설명: API 기본 경로. 커스텀 서버/도메인 사용 시 입력.
  2. 옵션: 기본값(https://api.openai.com/v1). 커스텀 배포 시 변경(예: http://localhost:8000/v1).

Proxy Url

  1. 설명: 프록시 서버 URL. 네트워크 우회 시 사용.
  2. 옵션: 공백(일반적으로 불필요) 또는 프록시 URL(예: http://proxy.company.com).

BaseOptions

  1. 설명: 추가 API 설정(JSON 형식). 예: {"max_retries": 3}.
  2. 옵션: 재시도, 로깅 등.


출처

  1. OpenAI (로그인해야 문서 보임): https://platform.openai.com/docs/api-reference/responses