기록용 IT 블로그

한줄 요약Bedrock은 사용 패턴에 따라 On-Demand, Batch, Provisioned Throughput 세 가지 요금제를 제공하며, 비용 절감의 핵심은 토큰 수 최적화입니다.핵심 개념📦 요금제 3가지 비교요금제특징비용사용 대상On-Demand사용한 만큼 지불, 약정 없음토큰/이미지 단위 과금Base 모델만Batch Mode여러 요청을 한번에 처리, 결과는 S3 파일로최대 50% 할인Base 모델만Provisioned Throughput일정 기간(1개월/6개월) 모델 유닛 구매, 처리량 보장비용 절감 목적 XBase + Fine-tuned/Custom/Imported 모델 필수⚠️ Fine-tuned 또는 Custom 모델은 On-Demand 사용 불가 → Provisioned Through..

1. 문제 상황사내 AI 챗봇을 처음 런칭하고 나서 몇 가지 불편한 상황이 생겼다.고객 지원 챗봇인데 사용자가 경쟁사 제품 추천을 요청하고, AI가 친절하게 답해줌사용자가 개인 이메일, 전화번호를 입력하면 AI가 그대로 응답에 포함시킴"오늘 저녁 뭐 먹을까?"처럼 서비스 목적과 전혀 무관한 질문에도 AI가 성실하게 답변가끔 AI가 자신 있게 틀린 정보를 알려주는 환각(Hallucination) 문제도 발생이런 문제들을 해결하기 위해 직접 프롬프트에 제약 조건을 넣어봤지만, 사용자가 조금만 다르게 질문하면 금방 우회됐다. 결국 제대로 된 가드레일(Guardrail) 레이어가 필요하다는 결론에 도달했다.2. 원인 분석Foundation Model(FM)은 기본적으로 모든 질문에 최대한 도움이 되려고 학습되어..

들어가며Spring Boot로 RAG(Retrieval-Augmented Generation) 기반 챗봇을 구축하다 보면 반드시 맞닥뜨리는 개념이 있습니다. 바로 토크나이제이션(Tokenization) 과 임베딩(Embedding) 입니다.처음에는 "AI가 알아서 하겠지" 싶었는데, 막상 운영하다 보니 이 두 개념을 모르면 정말 황당한 버그를 만납니다. 한국어 처리가 이상하게 잘린다거나, 벡터 검색 결과가 기대와 전혀 다르게 나온다거나.이 글에서는 LLM이 텍스트를 어떻게 이해하는지 그 원리를 실무 관점에서 풀어보겠습니다.1. 문제 상황"왜 한국어는 토큰을 더 많이 소비하나요?"LLM API를 연동하면서 청구서를 보고 깜짝 놀란 경험이 있으신가요?같은 내용인데 한국어로 쓰면 영어보다 토큰을 훨씬 많이 쓰..

1. 문제 상황GPT나 Claude 같은 LLM(Large Language Model)을 실무에 도입하다 보면, 반드시 이런 상황을 마주치게 됩니다."우리 회사 내부 데이터를 기반으로 질문에 답변해줘." 예를 들어, 사내 ERP 시스템의 특정 고객사 정보, 최신 정책 문서, 혹은 지난주에 업데이트된 운영 매뉴얼에 대해 AI가 정확하게 답변해야 한다면 어떻게 해야 할까요?일반 LLM의 한계는 명확합니다:학습 데이터 기준(Knowledge Cutoff)이 존재 → 최신 정보를 모름사내 기밀 데이터는 학습 불가 → 회사 내부 문서를 알 리 없음파인튜닝(Fine-tuning)은 비용·시간이 너무 많이 듦 → 데이터가 바뀔 때마다 재학습?이걸 해결하기 위한 방법이 바로 RAG(Retrieval-Augmented ..

1. 문제 상황사내 CS 자동 응답 시스템에 LLM을 붙이는 프로젝트를 진행하면서 이런 고민이 생겼습니다."Claude 3.5 Sonnet이 좋다고 하는데, 우리 도메인 질문에도 잘 맞을까? Nova Pro랑 비교하면 어떻지? 그냥 써보면 안 되나?""그냥 써보는" 방식은 결국 이런 문제를 낳습니다.개발자의 주관적 판단에 의존테스트 케이스가 충분하지 않아 엣지 케이스 누락모델을 교체할 때마다 A/B 비교 기준이 없음독성 발언(Toxicity), 환각(Hallucination) 등을 정량적으로 측정 불가운영에 들어가고 나서 "이 모델 대답이 좀 이상한 것 같은데요?"라는 말을 듣기 전에, 평가 체계를 먼저 세워야 했습니다.2. 원인 분석LLM 평가가 어려운 이유는 크게 세 가지입니다.정답이 하나가 아님 —..

들어가며팀에서 내부 업무 자동화를 위해 LLM 도입을 검토하다 보면 자연스럽게 이런 질문이 생깁니다."모델이 '잘' 답변하는지 어떻게 확인하지?"단순히 몇 가지 질문 던져보고 "괜찮은 것 같은데?"로 끝내기엔 실제 운영 환경에서 너무 많은 위험이 있습니다. 특히 고객 응대, 문서 요약, 번역 등 정확도가 중요한 업무에 적용할 때는 더욱 그렇습니다.이 글에서는 AWS Bedrock의 모델 평가 기능을 중심으로, 실제 어떤 지표들을 써야 하는지, 각 지표가 어떤 상황에 적합한지 정리해봤습니다.1. 문제 상황"모델이 좋다는데, 얼마나 좋은 거지?"LLM을 처음 도입할 때 가장 막막한 부분 중 하나가 바로 모델 선택입니다. Claude, GPT, Titan, Llama... 다들 좋다고 하는데, 우리 비즈니스 ..

🐛 문제 상황macOS에서 Claude Desktop을 쓰다 보면 Option 키를 두 번 눌러 Quick Launcher를 열고 한글을 입력할 때 이상한 현상이 발생한다.분명히 오늘 날씨를 쳤는데 입력창에는 이렇게 표시된다.오ㄹ 나ㅣ글자가 조합되다가 다음 자음/모음이 들어오는 순간 이전 글자가 날아가버리는 것이다. 처음엔 키보드 문제인 줄 알고 맥북을 재시작도 해봤지만 소용없었다.증상 요약:Claude Desktop Quick Launcher(Option × 2)에서 한글 입력 시 발생자음/모음 조합 중 글자가 사라지거나 깨짐영어 입력은 정상 동작재시작 후에도 동일하게 재현됨🔍 원인 분석Electron + macOS CJK IME의 충돌Claude Desktop은 Electron 기반으로 만들어진 ..

한줄 요약Amazon Bedrock에서 FM(Foundation Model)의 품질을 검증하기 위해 자동 평가(Automatic Evaluation) 또는 사람 평가(Human Evaluation) 를 사용하며, ROUGE·BLEU·BERTScore 등의 지표로 출력 품질을 측정한다.핵심 개념1. 자동 평가 (Automatic Evaluation)벤치마크 질문 + 벤치마크 답변 ↓ 평가 대상 모델 → 생성된 답변 ↓ Judge 모델이 두 답변 비교 → 점수 산출벤치마크 데이터셋: AWS 제공 기본 데이터셋 사용 or 직접 업로드지원 태스크 유형: 텍스트 요약, Q&A, 텍스트 분류, 오픈엔드 텍스트 생성Judge 모델: 벤치마크 답변 vs 생성된 답변을 비교해 자동으로 점수..

한줄 요약파인튜닝은 기존 파운데이션 모델(Foundation Model)의 가중치(weights)를 직접 수정하여 특정 작업에 최적화된 커스텀 모델을 만드는 과정이다.핵심 개념파인튜닝이란?파운데이션 모델의 복사본을 가져와 자체 데이터로 재학습모델의 가중치(weights) 자체가 변경됨 → RAG와의 핵심 차이학습 데이터는 특정 형식을 따라야 하며 Amazon S3에 저장 필수⚠️ 모든 모델이 파인튜닝을 지원하지는 않음 (공식 문서 확인 필요)파인튜닝 3가지 방법 비교방법 입력 데이터 특징 사용 시나리오Supervised Fine-Tuning입력 + 출력 쌍 (labeled)특정 작업 성능 향상분류, QA, 특정 도메인 학습Reinforcement Fine-Tuning입력만 + 보상 함수반복적 피드백 학습..

번역 & 요약: Foundation Model 선택 가이드📌 핵심 요약Foundation Model을 선택할 때 고려해야 할 요소들모델 유형 및 성능 / 기능비용 및 라이선스컨텍스트 윈도우 (입력 가능한 토큰 수)응답 속도(레이턴시)멀티모달 지원 여부 (텍스트, 이미지, 오디오, 영상 등 복합 입출력)🤖 4가지 모델 비교항목 Amazon Titan Llama-2 (Meta) Claude (Anthropic) Stability AI주요 기능텍스트 (100개 이상 언어)대규모 작업, 대화 (영어)텍스트 생성 + 다국어이미지 생성 전용컨텍스트 윈도우8K 토큰4K 토큰200K 토큰-주요 활용콘텐츠 생성, 분류, 교육기술 생성, 고객 서비스분석, 예측, 문서 비교광고, 미디어 이미지가격💚 매우 저렴🟡 중간..