AI 도구의 체감 효과와 측정 성과

AI 도구를 쓴 사람이 느끼는 효과와 측정한 성과는 따로 움직입니다. 선호·속도 지표가 좋아도 정확도·준수 지표가 좋다는 보장이 없으므로, 두 지표를 따로 설계해야 도입을 판단할 수 있습니다.

AI 도구를 도입한 뒤 가장 먼저 모이는 근거는 사용자 설문과 작업 시간입니다. 선호와 확신은 사용자가 직접 느끼는 효과이고, 속도는 작업 직후 바로 드러나는 효과입니다. 반면 학습량, 오류율, 규칙 준수는 별도의 판정 절차를 거쳐야 측정됩니다.

앞의 지표가 좋으면 뒤의 지표도 좋을 것이라고 가정하기 쉽습니다. 2026년에 공개된 두 연구는 이 가정을 그대로 받아들일 수 없다는 점을 서로 다른 방식으로 보여 줍니다.

한 연구는 같은 참가자에게서 두 종류의 지표를 모두 재고 둘이 어긋나는 것을 확인했습니다. 다른 연구는 속도를 직접 쟀지만, 제목에 내건 디자인 일관성은 직접 재지 않았습니다.

업무 단위로 시간·품질·재작업·비용을 측정하는 표는 AI를 업무에 적용할 때 확인할 것들에 정리했습니다. 이 글은 그 표에 들어갈 지표가 어느 축에 속하는지 구분하는 기준과, 보고된 수치에서 빠진 것을 읽는 기준을 다룹니다.

선호와 학습량이 어긋난 실험

Cipriano 외(arXiv:2608.25382, 2026-08, ASSETS 2026 채택)는 스크린리더 사용자 16명으로 두 인터페이스를 비교했습니다. 참가자는 전맹 13명과 저시력 3명이며, 한 사람이 두 인터페이스를 모두 쓰는 피험자 내 설계입니다. 인터페이스와 가상 세계의 순서는 참가자마다 바꾸었고, 세션은 서로 다른 날에 90분씩 두 번 진행했습니다.

비교 대상은 하이퍼링크 문서 인터페이스(Document Interface, DI)와 질의응답 인터페이스(Question-Answer Interface, QAI)입니다. 가상 세계는 두 개이며, 각 세계는 인덱스를 포함한 문서 25개로 구성됩니다.

QAI는 대규모 언어 모델(Large Language Model, LLM)인 Gemini 2.5 Pro를 사용했습니다. 문서 25개를 모두 컨텍스트로 미리 넣고, 문서 안의 내용만 답하도록 프롬프트로 제한했습니다. 저자들은 QAI에서 환각이나 잘못된 응답을 관찰하지 못했다고 적었습니다.

탐색이 끝나면 참가자는 인터페이스를 쓸 수 없는 상태에서 세계를 설명했습니다. 연구자는 그 설명으로 개념도를 만들어 토픽, 연결, 오류를 셌습니다. 이어서 참가자는 정책 딜레마에 지식을 적용하는 과제를 풀었습니다.

값은 참가자 16명의 평균이며, η²는 효과 크기입니다. 토픽 수의 p값은 본문에 0.02, 그림에 0.00으로 다르게 적혀 있어 본문 값을 따랐습니다. 저자들은 개념도 크기가 달라 오류율을 함께 보고했지만, 오류율의 분모는 본문에 명시하지 않았습니다.

적용 과제는 어려워서 6명이 한 세션 이상에서 일관된 답을 내지 못했습니다. 한 세션만 실패한 5명 중 4명은 QAI 세션에서 실패했고, 이 경우를 지표에 어떻게 반영했는지는 적혀 있지 않습니다.

QAI 응답에서 오답이 관찰되지 않았으므로, 늘어난 오류는 참가자가 답을 모아 이해를 구성하는 단계에서 생겼다고 볼 수 있습니다. 서브토픽 수는 비슷하고 토픽 수만 줄었으므로, 개별 사실보다 사실을 묶는 상위 범주가 덜 만들어진 것으로 보입니다. 두 해석은 판단입니다.

인식과 측정의 대조

두 번째 세션이 끝날 때 참가자는 어느 인터페이스로 더 많이 탐색했고, 더 많이 배웠고, 답에 더 확신이 있었는지 답했습니다. 저자들은 같은 항목에서 참가자별로 측정값이 더 나은 인터페이스를 세어 응답과 대조했습니다.

탐색 항목에서는 다수의 방향이 같았지만(인식 DI 10명, 측정 DI 우세 11명), 개인 단위로 일치한 참가자는 16명 중 8명이었습니다. 학습 항목에서는 10명이 QAI로 더 많이 배웠다고 답했지만, 측정에서 QAI가 앞선 참가자는 5명이었습니다. 확신 항목에서 QAI를 고른 9명 중 QAI에서 측정 결과가 더 나았던 참가자는 없었습니다.

전체 선호는 본문에 8 대 8, 표에 DI 7명과 QAI 8명으로 적혀 있어 거의 반으로 나뉘었습니다. 저자들은 인식된 장점과 최종 선호 사이에 뚜렷한 대응이 없었다고 보고했습니다. 평균 측정 성과가 낮았던 QAI가 선호에서는 밀리지 않았습니다.

저자들은 원인으로 두 가설을 제시합니다. 첫째, DI는 더 많은 노력을 요구해 더 깊은 처리를 유도했을 수 있습니다. 둘째, QAI는 문서에 미리 짜인 구조를 없애므로 사용자가 질문으로 구조를 직접 세워야 하고, 그만큼 학습에 쓸 인지 자원이 줄었을 수 있습니다.

결론에서 저자들은 대화형 질의응답이 실제보다 넓게 다룬 듯한 느낌을 줄 수 있다고 적었습니다. 또한 접근성 기술은 속도와 편의 외에 정확한 이해와 탐색 범위로도 평가해야 한다고 제안했습니다.

속도만 직접 잰 실험

Silva 외(arXiv:2607.13156, 2026-07, SBES Industry 2026)는 브라질 기술기업 Zup Innovation에서 통제 실험을 했습니다. 프런트엔드·모바일 개발자 49명을 수동 7명, 디자인 시스템(Design System, DS)만 쓰는 집단 21명, AI 보조 집단 21명으로 나누었습니다. AI 집단은 사내 도구 StackSpot AI를 기업 디자인 시스템으로 컨텍스트화해 사용했습니다.

과제는 고충실도 목업을 보고 각자의 스택(Angular, iOS, Android)으로 화면 2개를 구현하는 것이었습니다. 실험은 2025년 6월과 10월 두 사이클로 진행했고, 수동 집단은 첫 사이클에만 참여했습니다. 분석은 두 사이클을 합친 값입니다.

참가자가 섹션을 제출하면 전문가가 즉시 검토했고, 불합격 섹션은 타이머가 계속 흐르는 상태로 반려했습니다. 따라서 납기 시간은 검토를 통과할 때까지 걸린 시간이며, 재작업 시간과 휴식 시간을 포함합니다.

전문가가 판정한 평균 완성도는 수동 68%, DS 85%, AI 96%였습니다. 저자들은 AI 집단의 납기가 수동과 DS 집단보다 모두 유의하게 짧았다고(p<0.05) 보고했습니다. 이 실험에서는 속도와 완성도가 같은 방향으로 움직였습니다.

보고된 것과 빠진 것

논문 제목은 생산성과 디자인 일관성을 함께 평가한다고 밝힙니다. 그런데 본문의 정량 지표는 납기 시간과 전문가가 판정한 완성도 두 가지입니다. 저자들은 완성도를 일관성의 근거로 제시하지만, 토큰 사용률이나 컴포넌트 규칙 준수율처럼 디자인 시스템 준수를 직접 재는 지표는 없습니다.

변동성 주장은 표준편차를 평균으로 나눈 변동계수로 다시 볼 수 있습니다. 아래는 논문 표 1의 평균과 표준편차로 계산한 값입니다.

변동계수(CV) = 표준편차 / 평균   (Silva 외 표 1의 값으로 계산)
 
스택      수동     DS      AI
Angular   27.0%   39.2%   25.6%
iOS       27.0%   29.9%   16.1%
Android   28.4%   35.2%   21.4%

iOS와 Android에서는 AI 집단이 평균 대비 기준으로도 가장 안정적이었습니다. Angular에서는 AI 25.6%와 수동 27.0%가 비슷하므로 평균 대비 변동은 거의 줄지 않았고, 표준편차 감소는 대부분 평균 시간 감소에 따른 것입니다. 세 스택 모두에서 변동계수가 가장 큰 집단은 DS였습니다.

표본 구성도 수치를 읽는 조건입니다. 수동 집단 7명이 세 스택에 나뉘므로 스택당 평균 3명이 되지 않으며, 스택별 인원은 보고되지 않았습니다. 46.7~69.4%라는 감소율의 분모가 이 작은 집단의 평균입니다.

과제 시간의 상한은 8시간 근무일로 적혀 있습니다. 그런데 Angular와 iOS의 수동 평균(536.15분, 593.00분)이 480분을 넘는 이유는 설명되어 있지 않습니다. 이 실험은 속도 축을 직접 쟀고, 준수 축은 전문가 판정과 서술로 채웠습니다.

주장이 성립하지 않는 조건

두 연구의 표본은 16명과 49명이고, 각각 한 연구팀의 실험과 한 기업의 실험입니다. 이 근거만으로 AI 도구 전반에서 체감과 성과가 어긋난다고 일반화할 수는 없습니다. 아래 조건에서는 이 글의 주장이 약해지거나 성립하지 않습니다.

첫째, 두 축이 같은 방향으로 움직이는 경우가 있습니다. Silva 외의 실험에서는 납기 단축과 완성도 상승이 함께 나타났습니다. 이 글의 주장은 한 축의 결과로 다른 축을 추정할 수 없다는 것이며, 두 축이 늘 반대로 움직인다는 뜻은 아닙니다.

둘째, Cipriano 외의 개념도 성과는 인터페이스를 쓸 수 없는 상태에서 남은 이해를 잰 값입니다. 도구를 켠 채로 답을 찾는 업무라면 결과가 달라질 수 있으며, 이 연구는 그 조건을 측정하지 않았습니다. 저자들도 탐색 단계에서 암기를 목표로 두지 말라고 안내했으며, 암기를 강조하면 결과가 달라질 수 있다고 적었습니다.

셋째, 참가자와 기간이 좁습니다. 참가자는 모두 스크린리더 사용자였고, 저자들은 시각 사용자와의 차이를 확인하려면 추가 연구가 필요하다고 적었습니다. 세션은 90분 두 번이어서 오래 쓴 뒤의 사용 패턴과 성과는 알 수 없습니다.

넷째, 설계 선택이 결과에 섞여 있습니다. DI에만 공간 문서용 촉각 입력이 있었고, 모든 문서로 연결되는 인덱스 문서는 DI의 탐색 방식에 영향을 주었을 수 있습니다. 저자들은 두 선택의 영향을 분리하지 못했다고 적었습니다. QAI에서는 환각이 관찰되지 않았으므로, 모델 오류가 있는 실제 서비스에서는 격차가 커질 수도 작아질 수도 있다는 것은 추정입니다.

다섯째, 통계 보고가 충분하지 않습니다. Cipriano 외는 t 검정 결과의 일부 표기가 불규칙하고, 16명에게서 여러 지표를 비교하면서 다중 비교 보정을 적지 않았습니다. Silva 외는 검정 이름과 효과 크기를 적지 않았으므로, 두 연구의 검정 결과를 탐색적 비교로 읽어야 한다는 것은 판단입니다.

선호와 성과의 상관이 높지 않다는 결과는 LLM 이전에도 보고되었습니다. Nielsen은 2001년 글에서 인터페이스 113쌍의 비교를 분석해 측정 성과와 선호의 상관이 0.44였다고 썼습니다.

0.44를 제곱하면 약 0.19이므로, 성과의 분산 중 선호로 설명되는 부분은 약 19%입니다. 이 자료는 AI 도구를 다루지 않았으므로 방향을 보강하는 근거로만 씁니다.

두 연구가 답하지 못한 것도 있습니다. Cipriano 외는 규칙 준수를 다루지 않았고, Silva 외는 참가자의 체감을 보고하지 않았습니다. 체감과 준수의 관계, 그리고 하이브리드 인터페이스나 사용 교육으로 격차가 줄어드는지는 열린 문제입니다.

지표를 나누어 설계하는 기준

도입 평가를 설계할 때는 지표마다 어느 축에 속하는지 먼저 표시합니다. 그리고 한 축의 결과로 다른 축의 결론을 내리지 않습니다.

같은 참가자에게서 두 축을 모두 수집하면 Cipriano 외의 표처럼 인식과 측정의 일치 인원을 셀 수 있습니다. 일치하는 비율이 낮으면 설문 결과를 성과 보고에 쓰지 않습니다. 코드 결과물의 준수를 자동 검사와 리뷰로 나누어 확인하는 방법은 AI 생성 코드 검증에 정리했습니다.

보고된 수치를 읽을 때는 다음 질문으로 빠진 것을 찾습니다.

• 제목과 초록의 주장마다 그 주장을 직접 재는 지표가 있습니까? 없으면 그 주장은 서술로만 받아들입니다.
• 체감 지표와 측정 지표를 같은 참가자 단위로 대조했습니까? 대조하지 않았다면 만족도로 성과를 추정한 것인지 확인합니다.
• 검정 이름, 효과 크기, 집단별 인원이 있습니까? p값만 있으면 차이의 크기와 안정성을 판단할 수 없습니다.
• 변동성 주장이 절대 표준편차에만 기댑니까? 평균이 줄면 표준편차도 함께 줄 수 있으므로 변동계수로 다시 봅니다.
• 개입의 구성이 적혀 있습니까? 컨텍스트 주입 방식과 기반 모델이 없으면 효과를 다른 도구에 옮길 근거가 없습니다.
• 성과를 도구를 쓰는 상태에서 쟀습니까, 도구 없이 쟀습니까? 두 조건은 서로 다른 질문에 답합니다.

여러 팀의 코딩 에이전트에서 검증 통과, 재작업, 운영 품질을 지표로 관리하는 사례는 기업별 코딩 에이전트 하네스 운영에 정리했습니다.

참고 자료

• Q&A or Document-Based? The Effects of Interface Type on How Screen Reader Users Access Interconnected Documents, arXiv:2608.25382 (2026-08, ASSETS 2026 채택)
• Design-System-Aware Development with AI: Evaluating Productivity and Design Consistency, arXiv:2607.13156 (2026-07, SBES Industry 2026)
• First Rule of Usability? Don't Listen to Users, Nielsen Norman Group (2001-08)

모든 수치는 2026-10 기준으로 각 원문에서 대조했습니다. 변동계수는 Silva 외 표 1의 평균과 표준편차로 계산한 값입니다.

정리

AI 도구의 선호·확신·속도와 학습량·오류율·규칙 준수는 따로 움직일 수 있으므로, 한쪽 결과로 다른 쪽을 추정할 수 없습니다. Cipriano 외에서 10명은 QAI로 더 많이 배웠다고 답했지만, 개념도 토픽은 5.63 대 9.44로 적고 오류율은 0.26 대 0.12로 높았습니다. Silva 외는 납기 46.7~69.4% 단축을 검토 통과 기준으로 쟀지만, 제목에 내건 디자인 일관성은 직접 재지 않았습니다.

두 근거는 한 연구팀이 16명으로, 한 기업이 49명으로 수행한 실험이고, 두 축이 같은 방향으로 움직인 사례도 있습니다. 따라서 이 글의 결론은 두 축을 따로 설계하고 따로 보고해야 한다는 데까지입니다. 보고서를 읽을 때는 주장마다 직접 지표가 있는지, 검정과 효과 크기와 개입 구성이 적혀 있는지 확인합니다.