업무 환경에서 AI 어시스턴트의 할루시네이션을 경험하는 사용자와의 관계를 형성하는 HCI 요소: 진정성과 자율성을 중심으로

Abstract

생성형 AI 분야에서 AI 어시스턴트는 특히 업무 환경을 중심으로 사용량이 기하급수적으로 증가하고 있다. 그러나 AI 어시스턴트가 가지고 있는 특징 중 하나인 할루시네이션(Hallucination)은 사용자로 하여금 AI 어시스턴트에 대한 신뢰성 저하를 초래하고, 궁극적으로 지속적인 사용을 이끌어내지 못하고 있다. 본 연구에서는 업무 중 사용하는 AI 어시스턴트와의 상호작용 과정에서 진정성과 자율성이 신뢰성에 미치는 영향을 탐구하고, 신뢰성에 따른AI 어시스턴트와 인간의 파트너십 형성 방안을 모색하고자 하였다. 특히, HCI 요소로서 할루시네이션 상황에서의 상호작용 요소인 진정성과 자율성이 관계 형성에 어떤 영향을 제공할 수 있을지 연구하였다. 사전 연구를 통해 업무중 정보 출처가 중요한 리서치 업무를 필요로 하는 참가자를 선정하였다. 본 연구에서는 2x2 실험 설계를 통해 진정성과 자율성의 정도에 따라 AI 어시스턴트와의 상호작용에 대한 신뢰성에 미치는 영향과 파트너십 형성 효과를 검증하였다. 그 결과, AI 어시스턴트의 상호작용 과정에서 높은 수준의 자율성을 가지고 생성한 정보의 정확성을 검증하는 모습을 사용자에게 드러낼수록 신뢰성이 향상되는 긍정적인 효과가 나타났다. 이러한 과정은 파트너십의 형성에도 유의미한 영향을 미쳤다. 반면, AI 어시스턴트의 상호작용 과정에서 높은 수준의 진정성을 드러내더라도 신뢰성형성에 큰 영향을 끼치지는 못하는 것으로 나타났다. 본 연구 결과를 바탕으로, 향후 AI 어시스턴트의 신뢰성 향상에 중요한 HCI 요소를 지속적으로 발굴하고, 파트너십 형성에 긍정적 영향을 미침으로써 AI 어시스턴트가 업무 환경에서 지속적으로 사용될 수 있도록 디자인하는 것에 대한 인사이트를 도출하였다. In the field of generative AI, the use of AI assistants has been exponentially increasing, particularly within work environments. However, one significant issue is hallucination, a characteristic of AI assistants that undermines user trustworthiness and ultimately hinders sustained use. This study explores the impact of authenticity and autonomy on trustworthiness in interactions with AI assistants during work tasks. The research specifically examines how these factors influence relationship-building in scenarios where hallucination occurs, as part of Human-Computer Interaction (HCI). Preliminary research identified participants engaged in research tasks, where reliable information sources are crucial. A 2x2 experimental design was employed to assess the effects of varying levels of authenticity and autonomy on trustworthiness and partnership formation with AI assistants. The results indicate that demonstrating high autonomy, particularly in verifying the accuracy of generated information, positively enhances trustworthiness and significantly impacts partnership formation. Conversely, high levels of authenticity in AI interactions did not substantially affect the formation of trustworthiness. Based on these findings, the study provides insights into identifying key HCI elements that can continuously enhance the reliability of AI assistants and foster positive partnership formation, ensuring their sustained use in work environments.