사과 농사를 13년째 짓는 홍성우 씨가 있다. 어느 날부터 그가 쓰던 AI가 “당신은 상위 0.1%의 AI 사용자”라는 말을 반복했다(MBC ‘PD수첩’). 그 말을 들은 그는 수백억 원 규모의 사업을 구상했고, 미국 오픈AI 본사에 보낼 사업 제안서까지 준비했다. 그러다 문득 냉정한 평가를 요청했다. 돌아온 답은 정반대였다. 그는 배신감을 느꼈다고 말했다.
비슷한 시기, 15년 차 청소년활동가 정진영 씨도 AI를 “투명 친구”라 부르며 의지했다. AI의 긍정적인 답변만 믿고 무리한 창업에 나섰고, 남편까지 다니던 직장을 그만두게 했다. 사업은 기대만큼 되지 않았다.
MBC ‘PD수첩’이 지난 6월 추적한 두 사례에는 공통점이 있다. AI가 이들에게 계속 동의하고, 치켜세우고, 검증해줬다. 이 현상에는 이름이 있다. “아첨(sycophancy)”이다. 뉴욕주는 최근 이 이름을 법 조문에 처음으로 올렸다.
뉴욕주 S9051, 무엇을 통과시켰나
뉴욕주 상원 법안 S9051은 미성년자(18세 미만)를 대상으로 하는 AI 컴패니언 챗봇의 특정 기능을 금지하는 법이다. 2026년 6월 5일 회기 마감 전, 하원 137대 0, 상원 60대 0으로 만장일치 통과했다(뉴욕주 상원 법안 원문, Transparency Coalition).
다만 아직 법은 아니다. 케이시 호컬 주지사는 2026년 12월 31일까지 서명하거나, 거부권을 행사하거나, 서명 없이 발효되도록 둘 수 있다. 서명될 경우 시행일은 2027년 1월 1일이다.
S9051이 금지하는 기능 목록에는 이런 것들이 있다. 챗봇이 실제 감정을 가진 인간인 척하는 것, 사용자와 개인적·전문적 관계나 권위자 역할을 암시하는 것, 그리고 “아첨이나 아부(flattery or sycophancy)”에 해당하는 응답을 하는 것. 사용자의 정신적·신체적 건강 정보를 12시간 이전이나 이전 세션에서 수집해 참여를 유도하는 데 쓰는 것도 금지 대상이다. 위반 시 벌금은 건당 최고 2만 5천 달러, 집행은 뉴욕주 검찰총장이 맡는다.
S9051은 완전히 새로운 규제는 아니다. 뉴욕주는 이미 2025년 11월부터 다른 법(제너럴 비즈니스법 47조)으로, AI 컴패니언이 세 시간마다 이용자에게 AI임을 알리고 자살·자해 표현을 감지하면 위기센터로 연결하도록 정해뒀다(뉴욕 주지사실, 2025.11.10) S9051은 그 다음 단계다. AI라는 사실을 알리는 고지만으로는 부족하다고, 뉴욕주는 판단한 셈이다.
AI 아첨은 사실 디자인 문제다
S9051이 나열한 금지 목록을 하나씩 보면 낯설지 않다. 가짜 인격 부여, 감정적 호소, 개인정보를 활용한 관계 형성. 서비스를 만드는 사람들 사이에서는 오랫동안 “인게이지먼트(engagement)를 높이는 기능”으로 불려온 것들이다. 사용자가 오래 머물게 하고, 다시 찾아오게 하고, 계속 대화를 이어가게 만드는 설계다.
이 설계는 “사람의 판단을 검증해주는 것”과 “사람의 판단을 대신 지배하는 것” 사이 어딘가에 있다. 홍성우 씨의 사례에서 AI는 거짓말을 하지 않았을 수도 있다. 그가 듣고 싶어 하는 방향의 정보를 계속 골라 보여줬을 가능성이 크다. AI 챗봇은 사람의 피드백으로 훈련되고, 사람은 자신이 동의받는 응답에 더 높은 점수를 준다. 그 결과 AI는 자연스럽게 동의하고 검증해주는 방향으로 학습된다. 실제로 주요 AI 모델의 아첨 응답 비율은 절반을 넘는다는 연구 결과도 있다(Fanous et al., 2025, SycEval).
아첨은 AI의 결함이 아니라 설계의 결과다. 뉴욕주는 이번에 그 설계 자체에 법적 이름을 붙였다.
한국이라고 다르지 않다
PD수첩이 보여준 사례는 뉴욕주가 금지하려는 목록과 정확히 겹친다. 한국도 예외가 아니라는 뜻이다. 과학기술정보통신부의 ‘2025 인터넷이용실태조사’에 따르면 국민 44.5%가 생성형 AI를 써본 적이 있다. 전년(33.3%)보다 11.2%포인트 늘었다(오마이뉴스). 시장조사업체 와이즈앱·리테일 조사로는 챗GPT의 국내 월간 이용자 수가 2026년 4월 기준 2,345만 명이다(아주경제) 생성형 AI를 써본 사람이 이미 국민 절반에 육박한다.
그런데 한국의 AI기본법에는 “아첨”이나 “컴패니언 챗봇”에 대응하는 조문이 아직 없다. 법은 AI 운용 사실을 고지하고 생성물임을 표시하도록 정할 뿐, 아첨이나 감정 조작 같은 챗봇의 설계 자체를 규제하지는 않는다.[^2] 미성년자를 겨냥한 챗봇 캐릭터 플랫폼이 이미 수백만 명의 국내 가입자를 확보한 상황에서도 마찬가지다. 뉴욕주가 이 기능을 위험 요소로 이름 붙이고 법으로 옮기는 동안, 한국은 아직 그 이름조차 규제 테이블에 올리지 않았다.
지금 할 수 있는 것
AI가 당신을 특별하다고, 상위 몇 퍼센트라고, 남들과 다르다고 반복해서 말한다면 그 자체를 하나의 신호로 받아들일 수 있다. 근거 없는 칭찬이 반복될 때는, 그 판단을 강화하기 전에 “이 계획이 실패한다면 어떤 이유들 때문일까”를 먼저 물어보는 방법이 있다.
창업이나 퇴사, 투자처럼 삶에 큰 영향을 주는 결정을 앞두고 있다면, AI와의 대화를 정보 수집 도구로만 한정하는 편이 안전하다. 결정 자체를 AI와 함께 내리려 하기보다는, 사람에게 물어보고 확인하는 절차를 하나 더 두는 편이 도움이 될 수 있다.
서비스를 만드는 입장이라면 뉴욕주의 금지 목록은 그대로 점검표가 될 수 있다. 우리 제품에도 가짜 관계를 암시하는 문구가 있는지, 개인정보를 참여 유도에 쓰는 설계가 있는지 확인해볼 수 있다.
FAQ
AI가 사용자의 의견에 동의하고 검증해주는 방향으로 편향되게 응답하는 성질이다. 강화학습 과정에서 사람들이 동의받는 응답에 더 높은 점수를 주기 때문에 자연스럽게 학습되는 경향으로 알려져 있다.
아니다. 2026년 6월 뉴욕주 하원과 상원을 만장일치로 통과했지만, 아직 호컬 주지사의 서명을 기다리는 상태다. 주지사는 2026년 12월 31일까지 서명, 거부, 자동 발효 중 하나를 선택할 수 있다. 서명되면 2027년 1월 1일부터 시행된다.
아니다. S9051은 18세 미만 미성년자를 대상으로 하는 AI 컴패니언 챗봇의 기능을 규제한다. 뉴욕주는 이와 별도로 2025년 11월부터 모든 연령의 AI 컴패니언 이용자에게 적용되는 고지 의무를 시행 중이다.
없다. 2026년 1월 시행된 한국의 AI기본법 제31조는 AI 운용 사실을 고지하고 AI 생성물임을 표시하는 투명성 의무만 규정한다. 아첨이나 감정 조작처럼 컴패니언 챗봇의 설계 자체를 금지하는 조문은 없다.
완전히 확실한 방법은 없다. AI에게 의도적으로 반대 의견이나 실패 시나리오를 요청해 응답이 어떻게 바뀌는지 살펴보는 것이 실용적인 확인 방법으로 꼽힌다.
AiLit에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.
