XronoCore

LLM Observability Ops: Langfuse 2.1 + Arize Phoenix + WeightWatcher"LLM이 왜 엉뚱한 답을 했는지 보려면 로깅부터 잡아야 한다"는 말, 2026년에도 그대로 통합니다.1. 왜 지금 관찰성을 챙겨야 할까요?OpenAI, Anthropic, Meta가 2025년 하반기부터 모델 버전 리프레시 주기를 짧게 가져가면서, 팀 내부에서 Prompt/Model/RAG 조합의 영향도를 추적하지 않으면 주말 사이 성능이 떨어지는 일이 흔해졌습니다. 2026년 기준으로 가장 많이 거론되는 툴은 Langfuse 2.x(트레이스·피드백), Arize Phoenix(LLMOps 관찰성), WeightWatcher(파인튜닝/모델 드리프트 분석)입니다.2. Langfuse 2..

LLM + 시스템 프롬프트 + RAG + 파인튜닝"문서를 더 넣을까, 모델을 더 줄일까?" 2026년 LLM 팀들이 매일 하는 고민을 한 번에 정리했습니다.1. 2026년 스택 맥락멀티모달 모델 보급: GPT-4.1, Gemini 2.0, Llama 3.2 Vision 등이 텍스트·이미지를 함께 처리하면서 입력 컨텍스트가 다양해졌습니다.RAG 도구 성숙: LanceDB, Weaviate 2.x, Pinecone PARSE와 같은 "hybrid search + structured query" 기능이 기본이 됐습니다.파인튜닝 플랫폼: OpenAI의 Custom Model, Amazon Bedrock, Together AI FineTune 등 상용 서비스가 Llama·Mixtral 계열까지 지원하면서 재훈련 ..

RAG 품질을 바꾸는 검색 알고리즘 (2026)"임베딩만 바꿨는데 답변이 달라졌다"는 경험이 있으셨다면, 검색 알고리즘을 한 번에 정리해 둘 필요가 있습니다.1. 왜 지금 알고리즘을 점검해야 하나요?2025~2026년 사이 Weaviate, Pinecone, Milvus, LanceDB가 하이브리드 검색을 기본 기능으로 채택했고, OpenAI Responses API·Anthropic Workflows도 검색 파이프라인을 명시적으로 받도록 업데이트했습니다. 즉, "벡터 DB + LLM" 조합만으로는 경쟁력이 부족해졌고, Sparse + Dense + Re-Rank + Fusion을 유연하게 조합해야 레이턴시·정확도·비용이 균형을 이룹니다.2. 희소 검색(Sparse Retrieval) 핵심 알고리즘BM2..

pip, Poetry, uv: 파이썬 패키지 매니저 삼파전"requirements.txt가 늘어날수록 디버깅이 아니라 고고학 같다"는 말이 여전히 회자될 정도로 환경 관리는 끝나지 않은 과제입니다.1. 각 도구의 핵심 철학pip: 표준 패키지 설치 도구. requirements.txt와 venv로 구성하는 가장 단순한 흐름입니다.Poetry: pyproject.toml 기반 의존성 선언과 잠금 파일(poetry.lock)을 제공하며, 프로젝트 스캐폴딩·퍼블리시까지 관리합니다.uv: Astral이 공개한 초고속 패키지 매니저로, pip와 pip-tools를 대체하면서도 설치 속도를 Rust 구현으로 크게 끌어올립니다.2. 기능 비교 한눈에 보기항목pipPoetryuv설치 속도기본안정적이지만 lock 검증 ..

FastAPI 디렉터리 구조, 2026년판 실전 가이드"엔드포인트가 늘수록 PR이 미로가 된다"는 탄식이 들린다면, 폴더 구조를 손볼 시간이 왔다는 신호입니다.1. 왜 2026년에 다시 구조를 얘기하나요?FastAPI 0.110 이후(2025 Q4) 릴리스에서는 라우터 모듈화, lifespan 핸들러, Settings 관리가 표준 문서에 편입됐습니다. 동시에 DDD(도메인 주도 설계)를 차용한 대규모 서비스 사례가 늘면서, "app/main.py 하나"로 시작한 토이 프로젝트가 실서비스로 진화할 때 겪는 통증이 커졌습니다. 최신 공식 문서(“Bigger Applications”)와 커뮤니티 DDD 스캐폴딩을 조합해, 팀 규모에 맞춘 디렉터리 템플릿을 정리했습니다.2. FastAPI 공식 문서가 제안하는 ..

LangChain vs LangGraph, 체인과 그래프의 공존법"프롬프트만 잔뜩 붙여 놓았는데, 어디서 터지는지 모르겠더라고요." 라는 말이 돌 정도로 복잡도가 빠르게 높아지고 있습니다.1. 두 프레임워크의 기본 철학LangChain: 체인/에이전트/도구 호출을 블록처럼 조립하는 SDK. PromptTemplate, LLM, Tool, Memory를 순차적으로 엮는 구조가 익숙합니다.LangGraph: LangChain 위에서 동작하는 상태 머신/그래프 엔진. 노드와 엣지를 정의해 분기·루프가 있는 복잡한 워크플로우를 시각화하고 제어합니다.핵심 차이는 제어 흐름입니다. LangChain만으로도 단순 파이프라인은 충분하지만, 다중 에이전트나 재시도/검증 루프가 필요하면 LangGraph가 더 깔끔합니다...

Langfuse vs Arize, 관찰성 도구 선택기"LLM이 무슨 말을 했는지 모르면 디버깅이 아니라 점괘 읽기죠." 요즘 팀 회의에서 자주 나오는 푸념입니다.1. 왜 관찰성 도구가 필요할까요?LLM을 붙인 서비스가 늘어나면서 "어제는 답하던 질문을 왜 오늘은 못하냐" 같은 이슈가 일상이 됐습니다. 로그를 수동으로 모으기엔 토큰 단위 데이터가 방대하고, 프롬프트·도구 호출·평가 지표를 한눈에 묶어야 진짜 원인을 찾을 수 있습니다. 그래서 Langfuse, Arize 같은 전문 관찰성 플랫폼이 빠르게 채택되고 있습니다.2. Langfuse: 워크플로우 중심의 경량 관찰성트레이스 Graph: 체인/에이전트 호출을 트리 구조로 그려주어 프롬프트-툴-후속 Step을 시각적으로 추적할 수 있습니다.프로그램형 평..

온디바이스 LLM이 여는 AI PC 생태계"이제 노트북 뚜껑만 닫으면 데이터가 다 빠져나가는 건가요?"라는 걱정을 줄이고 싶을 때, 온디바이스 LLM이 제격입니다.1. AI PC 붐이 온 이유애플 M4, 퀄컴 Snapdragon X Elite, 인텔 Lunar Lake가 나란히 "NPU TOPS"를 전면에 내세우면서 7B~13B 모델을 로컬에서도 돌릴 수 있는 토대가 갖춰졌습니다. 초당 40TOPS 수준의 연산력이 나오니 이메일 요약, 코드 리뷰 같은 마이크로 워크로드를 바로 책상 위에서 처리하게 됩니다.2. 온디바이스 LLM 스택 바로 보기모델 경량화: Llama 3, Phi-3 Mini를 4bit QLoRA/GGUF로 양자화하면 16GB 메모리만으로도 준수한 응답 속도가 납니다.런타임: llama.c..