The Society of Pathology in Korean Medicine
[ ORIGINAL ARTICLES ]
Journal of Physiology & Pathology in Korean Medicine - Vol. 35, No. 1, pp.22-27
ISSN: 1738-7698 (Print) 2288-2529 (Online)
Print publication date 25 Feb 2021
Received 21 Nov 2020 Revised 28 Dec 2020 Accepted 19 Jan 2021
DOI: https://doi.org/10.15188/kjopp.2021.02.35.1.22

진단전문가시스템을 이용한 한의 실습의 설문 조사를 통한 AI에 대한 인식 및 활용방안 고찰

양지혁# ; 우정아# ; 신동하1 ; 박수호2 ; 권영규*
부산대학교 한의학전문대학원 양생기능의학부
1상명대학교 공과대학 전기전자컴퓨터공학과
2중앙승가대학
Study on the Perception and Application of AI in Korean Medicine through Practice and Questionnaire of Korean Medicine Using a Diagnostic Expert System
Ji-Hyuk Yang# ; Jeong-A Woo# ; Dong-Ha Shin1 ; Suho Park2 ; Young-Kyu Kwon*
Division of Longevity and Biofunctional Medicine, School of Korean Medicine, Pusan National University
1Division of Electrical Engineering and Computer Science, Sangmyung University,
2Joong-Ang Sangha University

Correspondence to: *Young-Kyu Kwon, Division of Longevity and Biofunctional Medicine, School of Korean Medicine, Pusan National University, 49, Busandaehak-ro, Mulgeum-eup, Yangsan-si, Gyeongsangnam-do, Korea ·E-mail : kwon@pusan.ac.kr ·Tel : +82-51-510-8471 Contributed by footnote: # Both authors contributed equally to this work


Ⓒ The Society of Pathology in Korean Medicine, The Physiological Society of Korean Medicine

Abstract

This study conducted a questionnaire for students of Pusan National University Graduate School of Korean Medicine who practiced using the Oriental Medicine Diagnosis System (ODS). From the questionnaire, this study investigated current state of application and perception of AI in Korean Medicine and explored the direction of ODS improvement and utilization. The survey questions consisted of six questions examining the satisfaction of the diagnostic expert system, five questions evaluating the availability of the diagnostic expert system, and six questions to predict the impact of AI on the Korean medicine community. The survey analysis showed high satisfaction with practice using ODS. On the other hand, the possibility of using ODS, especially in clinical use, was evaluated as relatively low compared to the satisfaction of the practice. Therefore, the overall impact of AI on the Korean medical community is not expected to be large. Although there are difficulties in standardization of clinical data due to the academic characteristics of Korean medicine, it is necessary to continue attempts to apply AI. By actively introducing educational tools using the latest AI techniques to the diagnosis experience and doctor-patient role in a practice, students will be able to increase their satisfaction with their practice and respond appropriately to the state-of-the-art medical environment.

Keywords:

Expert System, Artificial intelligence, Remote Practice, Diagnosis

서 론

전문가시스템(Expert System) 이란 인공지능(AI)의 한 분야로 전문가의 지식, 경험, 노하우 등을 컴퓨터에 구현하여 전문가를 보조하거나 비전문가도 전문가시스템의 도움을 받아서 문제를 해결하는 소프트웨어이다1). 최근 인공지능의 발전으로 IBM Watson이 실제 임상현장에 적용되어 가시적 성과를 보였고, 인공지능의 역할과 활용에 대한 논의가 활발히 이루어지고 있다. 또한 서양의학을 공부하는 학생들의 인공지능에 대한 인식과 전공분야 선택에 미치는 영향 등도 보고되고 있다. 이를 통하여 인공지능에 관한 교육을 의학 교육과정에 포함시킬지 논의하고 있으며 의대생들의 인공지능 수용에 대한 방안을 모색하고 있다2,3).

의학분야에서 인공지능이 도입된 영역은 X-ray나 MRI와 같이 이미지 처리기술과 관련된 영상진단 분야이며, 이상 검출(detection) 기술이 활용되고 있다. 이상 검출은 일정 부분에서 이미 인간보다 뛰어날 수 있음을 보였다. 하지만, 영상정보이외에 환자의 유전적 정보를 비롯하여 검사실 결과에 대한 종합적인 판단을 근거로 도출하는 진단(diagnosis) 영역에 있어서는 AI 적용이 단시일내에 이루어지기 어렵다고 예상하고 있다2).

한의학은 서양의학과 달리 인공지능 적용에 어려움이 있다. 대표적인 한의학의 변증 과정인 사진(四診)은 의사가 보고, 듣고, 묻고, 진맥하여 환자의 상태를 진단하는 과정으로 객관적이고 표준화된 수치를 도출하기 어려우며 표준화된 진단체계가 정립되지 않았기 때문이다. 따라서 한의학 변증진단의 표준화를 위해 변증의 수치화, 증상의 정량화 등 통계학적 검증이 필요하다4).

한의학계에서는 현재까지 한의진단전문가시스템(Oriental medicine Diagnosis System)을 비롯하여, 한방진단시스템(Diagnosis System of Oriental Medicine), 중풍진단 전문가시스템, 중풍병증 진단프로그램, 임상 의사결정 지원 시스템(Clinical Decision Support System) 등 여러 변증 프로그램이 개발 및 활용되고 있다5).

본 연구에서는 인공지능 기법으로 개발된 전문가시스템 ODS2.0(Oriental medicine Diagnosis System 2.0)을 부산대학교 한의학전문대학원 학생의 임상실습에 시범적으로 활용하였다.

한의학은 서양의학보다 인공지능을 적용하기 쉽지 않은 조건을 갖고 있다. 이로 인하여 인공지능에 대한 한의학 전공 학생들의 인식 및 수용 방식은 의대생들과 다른 점이 있을 수 있다. 이를 알아보기 위하여 ODS2.0을 이용한 실습을 마친 후, 시스템의 만족도, 활용 가능성, 인공지능이 한의학계에 미칠 영향에 대하여 설문조사를 실시하였다. 설문 결과를 바탕으로 한의학과 서양의학의 차이에 따른 인공지능의 적용 방법을 비교하고, 한의학에서의 인공지능 활용 및 방향성을 제안하고자 한다. 그리고 ODS와 같은 전문가시스템을 활용한 원격 실습의 유용성을 검토하였다.


연구방법

1. 진단전문가시스템 실습

ODS(Oriental medicine internal disease Diagnosis System)란 한국전자통신연구소에서 개발한 한의 내과질환진단시스템으로 Fig. 1의 구조를 가지고 팔강변증, 장부변증, 기혈변증, 병사변증의 변증방법을 이용하여 75개 증형으로 내과질환을 진단하고 처방을 제시하는 규칙 기반의 전문가 시스템(Rule-based expert system)이다6). ODS2.0은 전문의사의 진단보조용 또는 임상실습생들에게 학습 보조용으로 업그레이드시킨 교육용 진단전문가시스템으로 본 연구에서는 학생들이 ODS2.0을 활용하여 임상 실습을 수행하였다.

Fig. 1.

The steps of Syndrome Differentiation and Treatment Implemented in Diagnosis Expert System(ODS2.0).

2. 조사대상

필수 임상실습 과정에서 ODS2.0을 의사-환자 역할실습 및 케이스분석 실습을 수행한 부산대학교 한의학전문대학원 39명의 학생들을 대상으로 설문을 실시하였다.

의사-환자 역할실습은 사상체질의학 실습시간에 배당된 4시간 동안 3~4명의 학생들이 의사-환자 역을 담당하였다.

Fig. 2.

The Website (ods.smu.ac.kr) of Oriental medicine Diagnosis expert System(ODS2.0).

Fig. 3.

The Chart of Oriental medicine Diagnosis expert System (ODS2.0) for the Patient in Role Play.

3. 설문 문항 구성

설문 문항은 ‘진단전문가시스템에 대한 만족도’, ‘진단전문가시스템의 활용 가능성’, ‘AI 시대가 한의학계에 미칠 영향‘에 대한 평가로 구성하였다. 각 문항의 응답은 ‘매우 그렇지 않다(1점)’에서 ‘매우 그렇다(5점)’까지 5점 척도를 사용하였다. 자료분석은 각 설문문항에 대한 응답의 평균과 표준편차를 산출하여 비교하였다.

진단전문가시스템에 대한 만족도 평가는 6개 세부 문항으로 구성하여 실습이후 전문가시스템의 유용성 및 시스템에 대한 흥미 정도를 측정하였다. 진단전문가시스템 활용가능성 평가는 5개 세부 문항으로 구성하여 임상 및 교육 활용에 대한 가능성을 평가하였다. AI시대가 한의학계에 미칠 영향 평가는 6개 세부문항으로 구성하여 AI시대 한의사의 일자리, 소득, 여가시간 등에 미칠 영향에 대하여 조사하였다.


결 과

1. ODS2.0에 대한 만족도 평가

ODS2.0의 만족도를 평가하는 문항은 ‘전문가시스템을 활용한 실습이 실제 변증하는 데에 도움이 되었습니까?’, ‘전문가시스템을 활용하기 전, 후로 변증 결과에 차이가 있었습니까?’, ‘전문가시스템이 학생의 변증과정에 대한 이해와 오류 수정에 도움이 되었습니까?’, ‘전문가시스템은 사상체질과 변증과의 상관성 파악에 유용한 도구라 생각하십니까?’, ‘실습 프로그램을 통하여 전문가시스템에 대해 흥미와 관심을 가질 수 있었습니까?’, ‘전문가시스템을 활용한 실습은 유익하였습니까?’ 총 6문항으로 구성되었다.

ODS2.0을 활용한 실습이 실제 변증에 도움이 되었다는 응답비율은 79.5%(M=3.9)로 나타났다. ODS2.0활용 전후 변증결과 차이가 있었다는 응답 비율은 38.4%(M=3.3)이었고, ODS2.0이 변증과정에 대한 이해와 오류수정에 도움이 되었다는 응답 비율은 77.0%(M=3.8)이었다. ODS2.0이 사상체질과 변증과의 상관성 파악에 유용하는 응답 비율은 57.9%(M=3.5), ODS2.0을 통하여 진단전문가시스템에 대한 흥미와 관심을 가지게 되었다는 응답 비율은 89.5%(M=4.1)으로, ODS2.0을 활용한 실습이 유용하였다는 응답 비율은 92.4%(M=4.0)로 나타났다.

전반적으로 ODS2.0에 대하여 긍정적으로 조사되었다. 특히 ODS2.0이 실제 변증하는데 도움이 되었고, 실습을 통해 전문가시스템에 대한 흥미와 관심을 가지게 되었으며, 실습이 유익하다고 응답하였다(Table 1).

Satisfaction Assessment for ODS2.0 Diagnostic Expert System

평가 문항과 관련하여 추가로 ODS2.0가 변증에 어떻게 도움이 되었는지, ODS2.0활용 전후로 큰 차이를 보인 변증 종류가 무엇인지, ODS2.0활용 시 유익성이 잘 드러나는 부분은 무엇인지도 조사하였다. 변증에 어떤 도움이 되었는지 묻는 질문에 대해서는 변증 절차에 대한 이해(37.8%), 변증 결과와의 비교를 통한 오류 수정(27.0%), 변증에 필요한 자료수집 훈련(21.6%) 등에서 도움이 된다고 응답하였다.

ODS2.0 활용 전후 차이가 많이 나타난 변증은 병사변증(33.3%)과 팔강변증(30.0%)을 지적하는 응답자들이 상대적으로 많았다. ODS2.0을 활용한 실습의 유익성은 10점 만점을 기준으로 평균 7.9점이었고, 응답자의 69.2%가 ‘변증 및 체질 판단의 표준화 근거’ 영역에서 전문가시스템을 활용한 실습의 유익성이 가장 잘 드러날 것이라고 답하였다.

2. 임상 및 교육 등에 진단전문가시스템의 활용 가능성 평가

진단전문가시스템의 활용 가능성에 대하여 평가하는 문항은 ‘전문가시스템이 임상현장에서 효과적인 기능을 수행할 것으로 예상하십니까?’, ‘졸업 후 임상에서 전문가시스템을 활용할 의향이 있으십니까?’, ‘한의학에서 전문가시스템을 활용한 교육이 유용하다고 생각하십니까?’, ‘향후 한의학에서 전문가시스템의 개발과 도입이 적극적으로 이루어져야 한다고 생각하십니까?’, ‘미래 AI시대에 전문가시스템의 활용도가 높아질 필요가 있다고 생각하십니까?’ 등 모두 5문항으로 구성하였다.

진단전문가시스템이 임상현장에 효과적인 기능을 수행할 것으로 예상하는 응답 비율은 66.7%(M=3.6)로 나타났다. 졸업 후 임상에서 전문가시스템을 활용할 의향이 있다고 답한 응답비율은 51.3%(M=3.4)였고, 한의학에서 전문가시스템을 활용한 교육이 유용하다고 답한 응답비율은 84.6%(M=4.1)에 이른다. 향후 전문가시스템의 개발과 도입이 적극적으로 이루어져야 한다고 답한 응답비율은 76.9%(M=4.0), AI시대에 전문가시스템의 활용도가 높아질 필요가 있다는 응답자의 비율은 87.2%(M=3.9)로 나타났다(Table 2).

Evaluation of the Applicability of ODS2.0 Diagnostic Expert System in the Future

향후 진단전문가시스템 활용에 있어 가장 유용하다고 생각하는 영역은 교육(84.6%)이며, 임상에서의 활용 가능성은 상대적으로 낮게 평가하였다. 전문가시스템의 도입 및 개발, 활용의 필요성에 대해서는 대체로 긍정적인 반응을 보였다.

또한 ODS2.0활용 교육이 필요한 이유, ODS2.0활용 교육 시에 가장 먼저 고려해야 할 사항, 임상현장에서 ODS2.0가 기여할 수 있는 부분, 한의학에 ODS2.0도입 시에 가장 먼저 고려할 사항을 조사하였다.

한의학에서 전문가시스템을 활용한 교육이 필요한 이유로는 ‘AI시대로 인한 한의학의 발전 과정으로서 전문가시스템 교육의 필요성’(34.0%)과 ‘한의학 표준화의 결정체로서 전문가시스템 교육의 필요성’(34.0%), ‘전문가시스템 교육을 통한 한의학 교육의 질적 제고’(24.0%) 등이 꼽혔다. 또한 한의학에서 전문가시스템을 활용한 교육을 실시할 경우 ‘전문가시스템의 신뢰성’(46.2%), ‘전문가시스템과 한의학의 정합성’(30.8%), ‘전문가시스템 도입으로 인한 한의학 교육의 변화’(15.4%), ‘전문가시스템이 한의사 역할에 미치는 영향’(7.7%) 등을 가장 먼저 고려해야 한다고 응답하였다.

임상현장에서 전문가시스템의 기능은 ‘한의사의 변증 판단에 도움’을 줄 것이라는 응답자가 51.3%로 가장 많았고, ‘한의학 임상현장의 표준화’에 기여할 것이라는 응답자도 43.6%로 나타났다. 임상에서 전문가시스템을 활용하고자 할 때는 ‘전문가시스템의 지식 수준’(56.4%)과 ‘전문가시스템에 대한 환자의 신뢰’(23.1%) 등이 주요 고려요인인 것으로 나타났다. 한의학에서 전문가시스템의 개발과 도입가장 먼저 고려할 사항은 ‘한의학의 발전’(53.8%), ‘한의학 서비스의 다양화’(23.1%), ‘한의사의 역할 및 권한’(12.8%), ‘한의학계에 미칠 영향’(10.3%) 등이 거론되었다.

3. AI시대가 한의학계에 미칠 영향 평가

AI시대가 한의학계에 미칠 영향을 예측하는 설문 문항은 6개로 구성하였다. 문항 항목은 ‘한의사 일자리 축소’, ‘한의사와 AI의 역할 충돌’, ‘소득 양극화 심화’, ‘여가시간 확대’, ‘로봇 활용으로 인한 편리한 삶’, ‘경제적으로 여유로운 생활’ 이다.

AI시대가 ‘한의사 일자리 축소’ 현상에 미치는 영향이 클 것으로 예측한 응답 비율은 7.9%(M=2.1)로 나타났다. ‘한의사와 AI의 역할 충돌’을 걱정하는 응답 비율은 10.5%(M=2.3), ‘소득 양극화 심화’에 미치는 영향이 클 것이라는 응답비율은 21.0%(M=2.3), ‘여가시간 확대’에 큰 영향을 미칠 것이라는 응답비율은 36.8%(M=2.7), ‘로봇 활용으로 인한 편리한 삶’에 영향을 줄 것으로 보는 응답비율은 39.5%(M=3.2), ‘경제적으로 여유로운 생활’에 영향을 미칠 것이라는 응답비율은 18.4%(M=2.3)로 나타났다(Table 3). 전반적으로 AI가 한의학계에 미치는 영향은 크지 않을 것으로 예측하는 답변이 많았다.

Evaluation of the Influence of AI on Korean Medicine

이외에도 AI정보를 얻는 경로, AI정보에 관한 추가 지식의 필요 여부, AI에 관하여 더 알고 싶은 정보를 조사하였다.

AI시대와 관련한 정보는 주로 인터넷(69.6%)과 주변 사람(13.0%)에게서 얻는 것으로 나타났고, 응답자의 87.2%가 AI시대에 관한 더 많은 정보가 필요하다고 생각하고 있으며, ‘미래 사회에서 갖추어야 할 능력’(32.2%), ‘미래 사회의 변화’(27.1%), ‘미래의 기술 발전’(20.3%), ‘미래 사회의 변화할 인간관계’ 등에 대해 더 알고 싶은 것으로 나타났다.


고 찰

1. 한의, 중의, 서양 의학 AI 의료 적용 및 인식 현황 비교

서양의학에서는 AI를 활용한 진단전문가시스템을 만들어 암 진단을 하고, X-ray나 MRI 등의 영상결과 판독에 AI를 적용하여 가시적인 성과를 보여주고 있다. 이는 서양의학을 공부하는 학생들의 전공분야 선택에 영향을 미치고 있는데, 특히 영상의학과 선택에 직접적인 영향을 주고 있다2,3).

중의학 분야에서도 AI적용을 위해 임상자료를 수집하고 데이터베이스화하고 있지만, 객관화 및 표준화가 미흡한 상태이고 공통된 연구개발 플랫폼이 활성화되지 않아 AI기술 적용에 어려움을 겪고 있다. 중의학에 AI를 활용하기 위해서는 기존 연구를 체계적으로 정리하고 표준화하는 과정이 필요하다. AI활용이 제대로 이루어지면 중의학 고유의 사유방식 혁신을 도모할 수 있고, 의료기술 향상과 원격진료 실현으로 의료서비스 품질이 더욱 높아질 것으로 예측하고 있다7,8).

한의학은 중의학과 마찬가지로 서양의학에 비하여 객관적인 지표로 삼을 만한 데이터가 많지 않고 표준화가 어려운 점이 AI적용과 활용에 걸림돌이 된다.

본 연구의 설문 결과에서 진단전문가시스템의 활용 가능성이 상대적으로 낮게 평가되고, AI시대가 한의사의 일자리 축소에 미치는 영향 및 한의사와 AI의 역할 충돌에 대한 우려가 매우 적게 나타난 것도 이러한 문제와 연관되어 있다고 생각된다.

2. 한의학에서 AI를 적용한 전문가시스템 활용 방향성

ODS2.0을 활용한 실습이 한의학적 변증 과정에 대한 이해에 도움이 되었고, 그에 대한 만족도가 높다는 것을 확인되었다. 한의학에 AI를 적용한 진단전문가시스템을 이용한 교육적 활용 가치가 충분함을 알 수 있다.

중의 진단학 교육에서도 생소하고 추상적인 교과 내용을 장부변증 전문가시스템을 활용하여 전달함으로써 학습에 대한 흥미와 적극성을 이끌어내고 강의 내용의 전반적인 이해도를 높였으며, 학생 주도 학습으로 수업 분위기가 활발해졌다는 연구 결과가 있다9). 전문가시스템을 구성하는 방법에는 규칙 기반(rule-based), 지식 기반(knowledge-based), 신경망(neural networks), 퍼지(fuzzy) 기반 전문가 시스템 등 여러 방법이 있다10).

이중신경망 및 퍼지기반의 전문가시스템은 기계학습(Machine learning)을 통한 블랙박스(black box) 모형으로 많은 양의 학습 데이터가 필요하다. 이 방법은 최근 컴퓨터 성능 개선 및 데이터 양의 증가에 따라 급격히 발전한 인공지능 분야로서, 의학 분야에서는 대표적으로 IBM 의료 전문 인공지능 플랫폼 ‘Watson Health’가 있다11). 블랙박스 모형은 학습하는 데 있어서 방대한 양의 데이터가 필요하고, 결과 도출 과정을 사람이 이해할 수 있는 논리로 설명할 수 없다는 단점이 있다.

한의학은 블랙박스 모형을 학습시키는데 필요한 설문지, 맥진, 설진, 복진 등의 데이터가 표준화되지 않았고, 변증 방법도 다양하기 때문에 블랙박스 모델을 적용하기에는 적절하지 않다. 한의학 진단에 필요한 데이터는 객관화 및 표준화가 미흡하기 때문에 전문가시스템을 개발하고 임상 현장에서 활용하는데 어려움이 있다.

한의학에 정통한 임상 한의사들이 진단결과를 도출하는 과정을 검토하거나 시스템의 성능을 개선할 수 있는 규칙기반(rule-based) 전문가시스템이 적절하다고 본다. 규칙기반 진단전문가시스템을 임상실습 교육에 적용하면 피드백을 통하여 학생들의 학업 성취도 및 만족도를 제고할 수 있으며, 임상현장의 진단보조시스템으로 적용하면 피드백 데이터를 활용한 임상데이터의 표준화와 체계화기반을 확보할 수 있다.

특히, 한의진단에 필요한 임상 노하우에 대한 데이터가 누적되고 표준화가 이루어지면, 빅데이터 방식의 블랙박스 모델을 적용한 진단전문가시스템을 구현할 수 있으며 한의진단의 객관화에 기여할 것으로 기대된다.


결 론

ODS2.0를 활용한 임상실습 교육에서 학생들의 만족도는 높게 나왔지만, 임상의 활용에는 상대적으로 부정적으로 조사되었다. 실제 임상에서의 활용 가능성이 상대적으로 낮은 이유는 크게 두 가지로 추정할 수 있다. 우선, AI로 인하여 한의사의 일자리가 줄어들거나 한의사와 AI의 역할이 상충될 것으로 예상한 학생은 AI를 경쟁자로 인식한다고 볼 수 있다. 반면에 AI의 임상활용 가능성에 낮게 평가한 학생들은 AI의 진단수준이 임상에 활용하기에는 부족하여 전문가의 경쟁자로 인식하지 않는다고 볼 수 있다.

따라서 AI를 경쟁자로 인식하는 학생들에게는 AI에 대한 정확한 이해를 통하여 AI를 보조도구로 수용하는데 도움이 되는 교육과정을 제공할 필요하다. 또한 AI를 활용한 한의진단시스템이 아직 미흡하다고 생각하는 학생들에게는 AI에 대한 전반적인 지식개발 과정에 대한 이해와 더불어 시스템 개선을 위한 아이디어를 제공하고 필요한 경우 협업이 가능한 교육과정을 개발하여 제공할 필요가 있다.

AI시대가 한의학계에 미치는 영향이 크지 않으리라는 조사결과는 AI에 대한 우려 때문에 전공선택에 직접적인 영향을 받는 캐나다의 의대생 태도와 대비된다. 이는 한의학의 학문특성으로 인한 임상데이터의 표준화 문제로 진단전문가시스템 구축에 어려움이 있지만, 교육적 활용에 대한 가치는 충분하며, 향후 지속적으로 개선하면 한의학의 표준화된 진단체계 정립에 도움이 될 것이다.

본 조사연구를 통하여 최신 AI기법을 이용한 학습시스템을 이용하면 실질적인 진단경험을 제공할 수 있으며, 의사-환자 역할실습에 대한 실습 만족도와 효율성을 높일 수 있음을 확인하였다.

향후 한의진단시스템을 이용한 실습 및 AI에 대한 교육을 적극적으로 도입하면, 미래 비대면 의료서비스에 대비한 경험을 제공함으로써 미래 AI기술에 대한 막연한 불안이나 불신을 방지하고 새로운 미래 의료 환경에 대응할 능력도 배양할 수 있으리라 전망된다.

Acknowledgments

이 과제는 부산대학교 기본연구지원사업(2년)에 의하여 연구되었음.

References

  • Turban, Efraim, Aronson, E J. Decision support systems and intelligent systems. 6th ed. Prentice Hall; 2000.
  • Pinto dos Santos D, Giese D, Brodehl S, Chon SH, Staab W, Kleinert R, et al. Medical students’ attitude towards artificial intelligence: a multicentre survey. Eur Radiol. 2019;29(4):1640-6. [https://doi.org/10.1007/s00330-018-5601-1]
  • Gong B, Nugent JP, Guest W, Parker W, Chang PJ, Khosa F, et al. Influence of Artificial Intelligence on Canadian Medical Students’ Preference for Radiology Specialty: ANational Survey Study. Acad Radiol. 2019;26(4):566-77. [https://doi.org/10.1016/j.acra.2018.10.007]
  • Kim D. Study on Standardization Strategies for Globalizing Traditional Korean Medicine. Daejeon Univ. 2012.
  • Hwang KS, Park JG, Choi SU, Noh YH, Cho YS, Shin DH, et al. Correlation between Sasang Constitution and Eight Principle Pattern Identification, Qi-Blood Pattern Identification, Bing-Xie Pattern Identification by using Oriental Diagnosis System. J Physiol Pathol Korean Med. 2018;32(6):370-4. [https://doi.org/10.15188/kjopp.2018.12.32.6.370]
  • Kim KJ. A Study on KnowledgeBase Construction of Oriental Expert System. Korea Electonic commmunication Inst. 1987.
  • Jiang Y, Zhao C, Zhang X, Shang H cai. Problems and Solving Strategies of Traditional Chinese Medicine Clinical Research in the Artificial Intelligence Era. Chinese J Integr Tradit West Med. 2020;1-3.
  • Zhao Y, LI N, YAN P, MAO X, GAO J, SHANG Z, et al. Research and Development of Artificial Intelligence in Traditional Chinese MedicineNo Title. Chinese J Integr Tradit West Med. 2020;40(6):746-9.
  • Nian W. A Study on the use of a Diagnosis Expert System in Traditional Chinese Medicine Education. Electron World. 2013;21:163.
  • Liao SH. Expert system methodologies and applications-a decade review from 1995 to 2004. Expert Syst Appl. 2005;28(1):93-103. [https://doi.org/10.1016/j.eswa.2004.08.003]
  • Shin Y. Market Trend Report of Platform Technology by Artificial Intelligence. Commer Promot Agency R&D Outcomes. 2018;3:57.

Fig. 1.

Fig. 1.
The steps of Syndrome Differentiation and Treatment Implemented in Diagnosis Expert System(ODS2.0).

Fig. 2.

Fig. 2.
The Website (ods.smu.ac.kr) of Oriental medicine Diagnosis expert System(ODS2.0).

Fig. 3.

Fig. 3.
The Chart of Oriental medicine Diagnosis expert System (ODS2.0) for the Patient in Role Play.

Table 1.

Satisfaction Assessment for ODS2.0 Diagnostic Expert System

Items M±SD Response
Strongly Agree Agree Neither Agree Nor Disagree Disagree Strongly Disagree
1 Clinical practice of using the diagnosis expert system is helpful for actual pattern identification? 3.9±0.6 4 27 8 0 0
(10.3) (69.2) (20.5) (0.0) (0.0)
2 Differences in pattern identification results before and after using the diagnosis expert system 3.3±0.8 2 13 17 7 0
(5.1) (33.3) (43.6) (17.9) (0.0)
3 Diagnosis expert system helps students understand and correct errors in the pattern identification process 3.8±0.5 1 29 9 0 0
(2.6) (74.4) (23.1) (0.0) (0.0)
4 Diagnosis expert system is a useful tool for assessing the correlation between Sasang constitution and pattern identification 3.5±0.8 1 21 11 5 0
(2.6) (55.3) (28.9) (13.2) (0.0)
5 Diagnostic expert system through practice program was Interesting 4.1±0.5 6 28 4 0 0
(15.8) (73.7) (10.3) (0.0) (0.0)
6 Clinical practice using a diagnostic expert system was beneficial 4.0±0.4 4 32 3 0 0
(10.3) (82.1) (7.7) (0.0) (0.0)

Table 2.

Evaluation of the Applicability of ODS2.0 Diagnostic Expert System in the Future

Items M±SD Response
Strongly Agree Agree Neither Agree Nor Disagree Disagree Strongly Disagree
1 Diagnostic expert system expected to perform effectively in a clinic 3.6±0.5 0 26 12 1 0
(0.0) (66.7) (30.8) (2.6) (0.0)
2 Willing to use the diagnostic expert system in a clinic after graduation 3.4±0.7 1 19 16 2 1
(2.6) (48.7) (41) (5.1) (2.6)
3 Education using a diagnostic expert system in Korean medicine is useful 4.1±0.6 8 25 6 0 0
(20.5) (64.1) (15.4) (0.0) (0.0)
4 In the future, development and introduction of a diagnosis expert system should be actively performed in Korean medicine 4.0±0.7 8 22 9 0 0
(20.5) (56.4) (23.1) (0.0) (0.0)
5 Need to increase the utilization of diagnostic expert system in the AI era 3.9±0.5 3 31 5 0 0
(7.7) (79.5) (12.8) (0.0) (0.0)

Table 3.

Evaluation of the Influence of AI on Korean Medicine

Items M±SD Response
Strongly Agree Agree Neither Agree Nor Disagree Disagree Strongly Disagree
1 Reducing jobs for Korean medicine doctor 2.1±0.8 0(0.0) 3(7.9) 6(15.8) 22(57.9) 7(18.4)
2 The conflict between the role of Korean medicine doctor and AI 2.3±0.9 0(0.0) 4(10.5) 10(26.3) 17(44.7) 7(18.4)
3 Increasing the polarization of Korean medicine doctor income 2.3±1.1 1(2.6) 7(18.4) 6(15.8) 14(36.8) 10(26.3)
4 Expanding leisure time of Korean medicine doctor 2.7±1.3 3(7.9) 11(28.9) 5(13.2) 10(26.3) 9(23.7)
5 Convenient life using a robot 3.2±1.0 3(7.9) 12(31.6) 16(42.1) 5(13.2) 2(5.3)
6 Financially affluent life 2.3±1.2 1(2.6) 6(15.8) 9(23.7) 10(26.3) 12(31.6)