작성자는 ChatGPT, Gemini Enterprise, DIA Brain, Microsoft Copilot까지 테스트했는데 공통으로 행·열 누락, 잘못된 필터, 다른 입력에 동일 결과, 데이터 혼합, 복잡 분석

제조 컨설팅용 AI 에이전트를 만들었더니 결과가 그럴듯해도 대부분 틀렸다는 사례가 공개됐어요.

작성자는 ChatGPT, Gemini Enterprise, DIA Brain, Microsoft Copilot까지 테스트했는데 공통으로 행·열 누락, 잘못된 필터, 다른 입력에 동일 결과, 데이터 혼합, 복잡 분석 실패가 반복됐다고 밝혔어요.

결론은 명확해요. 해석과 대화는 LLM의 확률적 추론이 강하지만, 기초 데이터 분석은 결정론적 엔진으로 분리해야 정확도가 나온다는 거예요. 그래서 분석 플래너+분석 엔진을 결합한 하이브리드 아키텍처를 제안했어요.

기업용 AI의 승부처는 말 잘하는 모델이 아니라, 재현 가능한 계산 체계를 먼저 설계하느냐에 달려 있어요.