가장 큰 발견은 "스크린샷 + OCR" 방식이 데모에서만 통한다는 거예요

Swift로 macOS AI 에이전트를 직접 만들어본 팀이 6개월간의 경험을 공유했어요.

가장 큰 발견은 "스크린샷 + OCR" 방식이 데모에서만 통한다는 거예요. 해상도에 따라 버튼 위치가 달라지고, UI 업데이트 한 번에 좌표가 다 틀어지거든요. 그래서 팀은 macOS 접근성 API로 전환했는데, 저장 버튼은 어떤 테마에서도 AXButton + "Save"로 일관되게 조회돼요.

화면 캡처는 macOS 12.3에서 도입된 ScreenCaptureKit을 썼어요. GPU 가속으로 CPU 부하를 낮추면서 창 단위 필터링까지 가능하고, 자동화 중엔 고빈도, 대기 중엔 저빈도로 캡처 주기를 자동 조절하는 방식을 택했어요.

스크린샷 대신 OS가 직접 제공하는 UI 트리를 쓰는 게 에이전트 안정성의 핵심이라는 걸 다시 확인한 사례예요.