검진용 허실 변증 진단 설문지 타당도 평가

서 론

한의학에서 변증은 증상이나 징후와 같은 임상 정보를 통합하여 사유와 추론의 과정을 통해 병의 성질과 상태, 원인, 위치 등을 결정하는 행위이다¹⁾. 이러한 변증을 사용하는 것은 의료인의 영역으로, 치법과 치방 선용의 기준이 되므로 매우 중요하다²⁾. 한의변증에는 팔강변증, 육경변증, 육음변증, 삼초변증, 영위기혈변증, 병인변증, 기혈진액변증, 장부변증, 사상체질변증 등 다양한 종류가 있다. 그 중 팔강변증은 변증의 총강으로 다른 변증의 기반이 되면서 포괄성이 강해 임상 진료 시 가장 우선적으로 구별된다^3,4).

팔강변증 중에서 허실변증은 병의 특성과 정기상태를 제시하여 질병의 예후를 파악하고 치료 처방의 방향을 설정하는데 매우 중요한 역할을 하며, 장부변증이나 기혈진액변증의 기본 구성요소가 된다²⁾. 또한 허실변증은 정기의 강약과 사기의 강약을 동시에 포함하는 개념으로 ‘사기성즉실 정기탈즉허(邪氣盛則實 正氣奪則虛)’ 라고 하여 정기와 사기를 별도로 다루고 있다⁵⁾. 이런 허증과 실증은 단독으로 나타나면서도 또한 서로 착잡하는 특징이 있다⁶⁾. 특히 한의학에서는 질병을 사기의 문제로, 이에 대응하는 면역을 정기의 문제로 해석하면서 건강을 평가함에 허실이 더욱 중요해지고 있다⁷⁾.

인체에서 허실을 구분하고 건강과 질병의 기준을 제시하는 것은 한의학 진단의 최종목표이다⁸⁾. 전통 한의학에서는 사기가 침범하거나 인체 독소가 쌓여서 생기는 것을 습, 담, 혹은 어혈 등의 실증(實證)으로, 인체 기혈, 진액이 부족해서 생기는 증상을 허증(虛證)으로 바라보면서 질병과 건강을 해석해 왔다.

변증 설문에 대한 연구는 2000년 이후로 급속히 증가해 왔다. 특히 팔강은 한의학의 가장 기초이면서 대강(大綱)이라는 측면에서 팔강진단 연구들은 지속되어 왔다^9,10). 한의진단에서는 구조화된 도구를 이용하여 설문조사 하는 방법을 많이 활용되어 왔다¹¹⁾.

허실변증은 정기의 상태와 사기의 상태를 모두 평가하는 방법으로 크게 환자의 허실을 구별하는 연구와 검진에서 일반인들의 허실 상태를 구별하는 연구로 구분된다. 전자의 경우 치매¹²⁾, 중풍¹³⁾, 퇴행성관절염¹⁴⁾, 기능성 소화불량¹⁵⁾ 이라는 질환을 대상으로 연구가 진행된 사례가 있고, 후자의 경우 일반인구집단^6,16,17)을 대상으로 진행된 연구가 있다. 그동안 허실 연구에서 활용된 설문지는 신뢰도와 타당도가 낮은 경향이었는데, 이는 허증과 실증의 동시 출현성, 과거 문헌의 현대증상 반영 부족, 대상자 수의 부족 등으로 인해 발생한 것으로 제시되었다⁶⁾.

이에 저자들은 일반건강검진에서 신뢰도와 타당도가 높은 범용적인 건강 평가 도구 개발이 필요함을 주장하였다. 이에 기존의 허실관련 문헌을 바탕으로 허실변증지표를 발굴하고^18-21), 직장 코호트로 구축된 대상자들을 대상으로 신뢰도를 파악하는 연구를 수행하였다²²⁾. 본 연구에서는 앞서 진행된 허실 변증 설문지 신뢰도 연구의 후속으로 전문가 진단에 기반 한 허실 설문지의 타당도를 평가하여 의미 있는 결과를 도출하였기에 이를 보고하는 바이다.

연구대상 및 방법

결 과

1. 대상자의 일반적 특성

본 연구에 참여한 대상자의 일반적 특성을 살펴본 결과 대상자는 총 431명이었으며, 남성이 253명(58.7%), 여성이 178명(41.3%)이었다. 대상자 중 건강군에 포함된 사람은 198명(45.9%)이었고, 비건강군에 포함된 사람은 233명(54.1%)이었다. 대상자 중 술을 마시고 있다고 응답한 사람은 291명(67.5%)이었고 담배를 피우고 있다고 응답한 사람은 65명(15.1%)이었다. 대상자의 평균 연령은 45.5세로 나타났으며, 평균 체질량 지수는 24.3kg/m²이었다. 대상자의 평균 수축기 혈압은 118.6mmHg, 평균 이완기 혈압은 72.2mmHg, 맥박은 평균 74회/min으로 측정되었다(Table 1).

Table 1.

General Characteristics of the Subjects (N=431)

2. 허증 설문지와 관련 변수들의 상관관계

허증 설문지와 관련 변수와의 상관관계를 살펴본 결과 허증 설문지는 전문가 허점수와 .720(p<.001),로 양의 상관관계로 나타났다. 좌우 악력과는 –.258(p<.001), -.373(p<.001)으로 음의 상관관계로 나타났으며, 신체적ㆍ정신적 삶의 질 점수와는 -.373(p<.001), -.479(p<.001)로 역시 음의 상관관계가 있는 것으로 나타났다(Table 2).

Table 2.

The Correlation among Deficiency Questionnaire, Grip Strength and Quality of Life (N=431)

3. 실증 설문지와 관련 변수들의 상관관계

실증 설문지와 관련 변수와의 상관성을 살펴보면, 실증 설문지는 전문가 실점수와 .658(p<.001)로 양의 상관관계로 나타났고, 좌우 악력과는 상관관계가 나타나지 않았으며, 신체적ㆍ정신적 삶의 질 점수와는 -.336(p<.001), -.547(p<.001)로 음의 상관관계가 있는 것으로 나타났다(Table 3).

Table 3.

The Correlation among Excess Questionnaire, Grip Strength and Quality of Life (N=431)

4. 허증 설문지와 실증 설문지 최적의 절단 값

전문가 허실 진단 값을 기준으로 허증 설문지와 실증 설문지의 최적의 절단 값(Optimal Cut off Value)을 계산한 결과 허증 설문지의 허증 진단 가능 점수는 56.5점, 실증 설문지의 실증 진단 가능 점수는 47.5점으로 나타났다(Fig. 1).

Fig. 1.

The Optimal Cut off Value of Deficiency and Excess Questionnaire

5. 허증 설문지와 실증 설문지의 민감도와 특이도

전문가 진단을 기준으로 하여 허실 설문지의 민감도와 특이도를 살펴본 결과 허증 설문지의 경우 민감도 81.5%, 특이도 82.6%이었으며, AUC는 .900으로 나타났다. 또한 실증 설문지에서는 민감도 76.7%, 특이도 78.2%이었으며, AUC는 .851로 나타났다(Table 4).

Table 4.

The AUC, Sensitivity and Specificity of Deficiency and Excess Questionnaire (N=431)

6. 허증 설문지에 의한 진단과 전문가 진단의 일치도

허증 설문지로 측정된 절단 값으로 허증 여부를 구분한 결과 허증으로 진단된 경우가 231명, 그렇지 않은 경우가 200명으로 나타났다. 허증 설문지로 측정된 허증 대상자 231명 중 전문가 진단에서도 허증인 경우는 159명(79.5%)이었다. 또한 허증 설문지 결과 허증이 아니라고 진단된 대상자 중 전문가 진단에서도 허증이 아닌 경우는 195명(84.4%)로 나타났다. 이를 통해 허증 설문지와 전문가 허증 진단 일치도는 82.1%였고, Kappa 일치도는 .640으로 통계적으로 유의하였다(p<.001)(Table 5).

Table 5.

The Kappa and Agreement Rate between Deficiency Questionnaire and the Expert Diagnosis (N=431)

7. 실증 설문지에 의한 진단과 전문가 진단의 일치도

실증 설문지로 측정된 절단 값으로 실증 여부를 구분한 결과 실증으로 진단된 경우가 264명, 그렇지 않은 경우가 167명으로 나타났다. 실증 설문지로 측정된 실증 대상자 264명 중 전문가 진단에서도 실증인 경우는 102명(61.1%)이었다. 또한 실증 설문지로 측정한 결과 실증이 아니라고 진단된 대상자 중 전문가 진단에서도 실증이 아닌 경우는 233명(88.3%)로 나타났다. 이를 통해 실증 설문지와 전문가 실증 진단 일치도는 77.7% 이었고, Kappa 일치도는 .513으로 통계적으로 유의하였다(p<.001)(Table 6).

Table 6.

The Kappa and Agreement Rate between Excess Questionnaire and the Expert Diagnosis (N=431)

고 찰

질병을 치료하기 위해서 먼저 진단이 선행되어야 한다. 서론에서 언급하였듯이, 우리나라에서 행해진 많은 허실연구가 단일질병을 중심으로 한 허실구분에 초점을 맞추고 있다^12-15). 이는 해당질병을 구별하여 치료하는데 도움을 주지만, 단일질병이 아니거나, 미병(未病)과 같이 현대의학에서 질병범주에 넣을 수 없는 영역에는 적용할 수 없다는 단점이 있다. 따라서 일반인구집단에 범용적으로 사용할 수 있는 허실도구의 개발이 요구되고 있는 실정이다.

이에 본 연구는 허실 설문지의 타당도를 알아보고자 이미 선행연구에서 신뢰도가 확보된 설문지의 타당도를 평가하기 위하여 교직원을 대상으로 연구를 진행하였다. 교직원을 대상으로 한 연구는 미병(未病)연구나 예방의학 연구에 활용하기 적합하다고 알려져 있다^25,26).

한국 한의계는 한국표준 질병사인분류를 사용하고 있다. 즉 서양의학 병명이 건강의 비정상적인 상태를 설명하는 용어로 주로 사용됨에 따라 한의변증영역은 상대적으로 축소되어 왔다. 하지만 최근 세계 보건기구(World Health Organization)에서 한의학 변증체계를 질병분류에 포함하여 국제질병분류체계(ICD-11)를 개정하는 등 한의변증을 활성화하는 분위기가 마련되고 있다. 이런 시점에서 허실을 구분할 수 있는 도구의 개발은 한의학 영역을 넓히는데 기여할 것이라 생각된다.

본 연구에서 허증 설문지와 전문가 허증 점수, 악력, 삶의 질 점수와의 상관관계를 살펴보면 허증 설문지는 전문가 허증 점수와 양의 상관성을 나타냈고, 악력 및 정신적·신체적 삶의 질 점수와는 음의 상관성을 나타냈다. 이는 한의학에서 허증이 정기의 약함을 의미하는 것으로 인체가 허약해지면 근력이 떨어지고 삶의 질이 낮아지는 것과 관계가 있다고 해석할 수 있다. 한의학에서 허증의 대표증상이 핍력(乏力)이라고 제시된 점에서 근력측정은 허증을 평가할 수 있는 객관적 지표로 활용할 수 있으리라 생각된다²⁷⁾. 또한 허증의 대표증상인 피로²⁸⁾, 어지럼증²⁹⁾과 관련된 연구에서 삶의 질이 떨어진다는 결과가 본 연구결과를 지지한다고 할 수 있다.

실증 설문지에서는 전문가 실증 점수와 양의 상관관계를 나타내고, 신체적ㆍ정신적 삶의 질과는 음의 상관관계를 나타냈다. 허증이 인체 기혈, 진액이 부족해서 오는 불균형이라면, 실증은 인체 기혈진액의 병리적 과잉으로 오는 불균형이라고 할 수 있다. 따라서 이러한 불균형으로 인해 허증과 실증 각각에서 삶의 질이 낮아지는 쪽으로 연결된 것이라고 생각된다. 이는 삶의 질이 결핍에서만 오는 것이 아니라, 과잉에서 온다는 것을 의미하며, 건강을 균형으로 인식해오는 한의학적 건강개념을 지지한다. 여기서 실증 설문지는 악력과는 유의한 상관관계를 나타내지 않았는데, 이는 사기의 실증은 악력감퇴와 상관이 없는 것으로 정기의 허약과 그 축이 다르다고 해석할 수 있다.

본 연구에서는 ROC-curve 분석 방법으로 민감도와 특이도를 이용하여 최적의 절단 값(Optimal Cut-off)을 산출하였다. ROC-curve 분석법은 진단 정확도를 ROC Curve 아래 면적(Area under Curve; AUC)의 크기로 평가한다³⁰⁾. 일반적으로 AUC < 0.5 일 경우 이를 ‘비정보적’, 0.5<AUC≤0.7 일 경우 ‘덜 정확’, 0.7<AUC≤0.9일 때 ‘중등도 정확’, 0.9<AUC<1일 때 ‘매우 정확’이라 하며, AUC=1 일 때 ‘완벽한 검사’로 분류한다³¹⁾. 이를 이용하여 본 연구결과를 해석하면 허증 설문지는 ‘매우 정확’으로, 실증 설문지는 ‘중등도로 정확’으로 해석할 수 있다. 즉, 본 연구에서 사용한 허실 설문지의 AUC가 .900과 .851 이라는 결과는 이 설문지가 인체의 건강상태를 유의미하게 평가하는 도구라는 해석이 가능하다. 허실의 개념보다 객관적이고 구체적인 것으로 알려져 있는 한열 설문지의 선행연구 AUC가 각각 .884와 .786으로 나온 것과 비교하더라도 허증 설문지와 실증 설문지가 상대적으로 뛰어난 검사결과라 할 수 있다³²⁾.

마지막으로 본 연구에서는 Kappa 계수를 이용하여 한의사 진단결과와 비교해 보았다. Kappa 계수는 2개의 평가방법 간의 일치도를 계산하는 방법으로 0～1사이로 표기되며, 1에 가까울수록 일치도가 높아진다³³⁾. 이를 적용하면 허증 설문지는 Substantial Agreement로, 실증 설문지는 Moderate Agreement로 해석할 수 있다. 이는 직접적인 비교는 어렵지만, 허실 설문지 신뢰도 연구에서 알려진 Kappa 계수 보다 높은 수치다. 일반적으로 변증도구와 전문가 일치도가 높지 않다는 측면³⁴⁾을 고려할 때 이는 의미 있는 결과라고 평가할 수 있다.

본 연구에서는 대상자의 허증과 실증을 점수화하였다. 이를 통해 허증 점수와 실증 점수가 어떠한 질환이나 병증과 연결되는지, 향후 허증과 실증 점수가 질병의 예측변수로 중요하게 작용할 수 있는지에 대한 기반을 확보하였다. 또한 허증과 실증을 독립적인 변수로 인식하여 허증과 실증의 이분법적 진단이 아닌, 정기와 사기를 기반으로 4개 패턴으로 변증할 수 있는 기틀을 마련하였다. 물론 건강의 척도를 대상자가 호소하는 불편증상의 여부만으로 평가하기 어렵다. 하지만 일반적으로 한의진단 및 치료에서 증상표현을 중시하고, 환자가 불편증상을 호소하지 않는 것이 삶의 질의 높음을 의미한다. 이런 점에서 볼 때 증상표현이 건강상태를 가름하는 척도라는 것 역시 설득력이 있다. 따라서 본 연구에서 적용한 허실 설문지는 일반건강검진에서 대상자의 건강상태를 사전에 선별하여 평가하는 선별검사도구로 활용될 수 있을 것으로 생각된다. 다만 본 연구가 교직원이라는 특정집단을 대상으로 하여 결과를 일반화하기 어려움이 있으며, 허증과 실증의 기준값을 선정함에 1인의 전문가 진단 값을 기준으로 하였다는 점에서 다른 전문가와의 견해가 달라질 가능성이 있을 수 있다. 더불어 일반적으로 문항 별로 허실 가중치가 다를 수 있고, 현대인들에게 나타날 수 있는 새로운 허실 증상이 있을 수 있으며, 건강정도, 연령, 성별에 따라 허실 기준이 다를 수 있다는 제한점이 있다. 그럼에도 불구하고 본 연구에서는 한열과 더불어 건강검진에서 건강정도를 평가하는 도구로 허실을 적용할 수 있다는 점에서 그 의미가 있다고 할 수 있다. 향후 허실 설문도구에 대한 검증과 더불어 성별과 연령을 고려한 한 후속 연구가 필요함을 제언한다.

결 론

본 연구는 대학교 교직원을 대상으로 최근 증상을 기반으로 한 허실 설문지의 타당도를 평가하여 아래와 같은 결과를 얻었다.

허증 설문지는 전문가 허점수와 양의 상관관계로 나타났고, 좌우 악력 및 신체적·정신적 삶의 질과는 음의 상관관계가 있는 것으로 나타났다. 실증 설문지는 전문가 실점수와 양의 상관관계로 나타났고, 신체적ㆍ정신적 삶의 질 점수와는 음의 상관관계가 있는 것으로 나타났다. 하지만 좌우 악력과는 상관관계가 나타나지 않았다.

전문가 허실 진단 값을 기준으로 허증 설문지와 실증 설문지의 최적의 절단 값(Optimal Cut off Value)을 계산하면 허증 설문지의 허증 진단 점수는 56.5점, 실증 설문지의 실증 진단 점수는 47.5점으로 각각의 AUC는 .900과 .851 이었다. 허증 설문지와 전문가 일치도는 82.1%였고, Kappa 값이 .640이었으며, 실증 설문지와 전문가 일치도는 77.7%였고, Kappa 값이 .513이었다

이상의 결과를 통해 본 연구에서는 최근 증상을 기반으로 허증 설문지와 실증 설문지가 일정수준의 타당도를 갖추고 있음을 확인하였다. 추가적인 후속연구가 이루어진다면 건강검진에서 전반적인 건강상태를 평가하는데 본 설문이 활용될 수 있을 것이다.

Acknowledgments

본 연구는 한국한의학연구원 기관주요사업인 ‘빅데이터 기반 한의 예방 치료 원천기술 개발’(KSN2021120)과 한국연구재단 이공분야 대학중점연구사업 (Grant No. 2018R1A6A1A03025221)의 지원을 받아 수행된 연구임.

References

• WHO (World Health Organization). WHO traditional medicine. Strategy 2014-2023. Geneva: WHO Press; 2013.
• The Division of Korean medical pathology in Korea. Pathology of Korean Medicine. Seoul: Iljungsa; 2004. 186-436 p.
• Shin CH. An introduction of Korean Medicine by Q&A. Seoul: Seongbosa; 1990. 363 p.
• Kim WH. The Principle of Korean Medicine. Seoul: Seongbosa; 1990. 257 p.
• Bae WS. Yellow Empire(SoMun). Research Center of Oriental Medicine. 1981;107-11.
• Ryu JM, Yoon SH, Lim JJ, Han SY, Jang SY, Kim HK, Lee JS, Kim JS, Ryu BH, Ruy KW. The Usefulness of Electrogastrography on the Differential Diagnosis of Deficiency or Excess Condition in Patients with Functional Dyspepsia. Korea J of Oriental Int Med. 2004;25(4-2):346-55.
• Eun JS, Choi H, Song JM. Effect of Bojunglkgi-tang on the Specific Immune Response in BALB/c Mice. J Physiol & Pathol Korean Med. 2002;16(5):943-7.
• Na CS, Kang JS, YG Kwon, YB Kim, KO Kim et al. Total Lecture of Korean Medicine. 2013. Euisungdang. 348-404.
• Son JH, Kim JS, Park JW, Ryu BH. A Proposal for Standardization of Tongue Diagnosis Based on Diagnostic Criteria of Tongue Coating Thickness. Korean J, Oriental Med. 2012;33(1):1-13.
• Kim JH. A Comparative Research of Eight Principle Pattern Identification - based on Zhang Jie-Bin, Cheng Guo-Peng, and Jiang Han-Tun-. J Oriental Medical Classics. 2013;26(2):47-59. [https://doi.org/10.14369/skmc.2013.26.2.047]
• Jang ES, Kim YY, Lee EJ, Yoo HR, Jung IC. Review on the Development State and Utilization of Pattern Identification Questionnaire in Korean Medicine by U Code of Korean Classification of Disease. J Physiol & Pathol Korean Med. 2016;30(2):124-30. [https://doi.org/10.15188/kjopp.2016.04.30.2.124]
• Heo EJ, Lee SW, Jeon WK, Lyu YS, Kang HW. The Evaluation of Instrument for Cold-Heat & Deficiency-Excess Pattern Identification of Dementia. J of Oriental Neuropsychiatry. 2015;26(3):283-92. [https://doi.org/10.7231/jon.2015.26.3.283]
• Kim SY, Lee JS, Oh DS, Kang BK, Ko MM, Kim JC, Kwon SB, Bang OS. Study on the Relationship between Korean Standard of Pattern Identification (Ⅱ) and Pattern Identification of Cold-Heat and Deficiency-Excess. Korean J of Physiology and Pathology. 2010;24(1):15-21.
• Kim SC, Lee JD, Lee SK, Lee SY, Moon HC, Choi SM, Chung YH. The Study on the Questionnaire Analysis and Agreement Diagnosis of the Same Patients Using Differentiation of Symptoms and Signs on Chronic Knee Joint Pain Including Osteoarthritis of Knee Joint. The J of Korean Acupuncture & Moxibustion Society. 2006;23(1):71-93.
• Kwon OS, Kim JE, Lee JW, Seo CW, Han HY, Hong SH. Analytic Study of Diagnostic Validity by the Measure of Cold-Heat & Deficiency-Excess for Oriental Medical Examination. J Physiol & Pathol Korean Med. 2009;23(1):180-5.
• Cho HS, Bae GM. Research in Developing Diagnosis Questionnaires on Cold Heat, Deficiency and Excess. J Physiol & Pathol Korean Med. 2009;23(2):288-93.
• Kang BK, Ko MM, Jung JY, Lee JA. Blood Stasis Syndrome Questionnaire II and Its Reliability and Validity. Kor. J. Oriental Preventive Medical Society. 2017;21(1):41-8. [https://doi.org/10.25153/spkom.2017.21.1.005]
• Moon JS, Park KM, Choi SM. Study on the Development of a Questionnaire Software for Health Examination in Oriental Medicine. Korean Institution of Oriental Medicine. 2007;13(2):135-42.
• Han SY, Lim JH, Ryu JM, Jang SY, Kim HK, Lee JS, Yoon SH, Kim JS, Ryu BH, Ryu KW. Analysis pf Symptom Pattern through Comprehensive Diagnosis of Qui Xui Shui in Patients with Functional Dyspepsia. Korean J. Orient. Int. Med. 2004;25(2):224-37.
• Kim SH, Mamgung M, Chang YS, Jeong SG, Kim JS, Yoon SW, Jang KY, Yoo HS, Chung MW, Lee SH. Study on Development of Assessment Guideline and Endpoints for Clinical Trial with Antitumor Natural Products. Korean J Physiol & Pathol Korean Med. 2006;20(6):1678-1727.
• Park YJ, Park JS, Kim MY, Park YB. Development of a Valid and Reliable Phlegm Pattern Questionnaire. JACM. 2011;17(9):851-8. [https://doi.org/10.1089/acm.2010.0504]
• Jang ES, Yoon JH, Baek YH. Lee SW. Evaluation of Reliability and Validity for Deficiency and Excess Pattern Identification Questionnaire. J Physiol & Pathol Korean Med. 2018;32(3):171-7. [https://doi.org/10.15188/kjopp.2018.06.32.3.171]
• Ware JE, Sherbourne CD. The MOS 36-item short-form health survey (SF-36): I. Conceptual framework and item selection. Medical Care 1992;30(6):473-83. [https://doi.org/10.1097/00005650-199206000-00002]
• Koh SB, Chang SJ, Kang MG, Cha BS, Park JK. Reliability and Validity on Measurement Instrument for Health Status Assessment in Occupational Workers. J Prev Med Public Health. 1997;30(2):251-65.
• Kim BS, Lee CI, Han SD. Health Program for Increasing Physical Fitness of the Faculties in Hallim University. Journal of physical education. 1994;22:263-72.
• Kim JY, Lee SW, Jang ES, Baek YH. The Effect of Lifestyle on Mibyeong for University Employees. J Physiol & Pathol Korean Med. 2017;31(3):194-9. [https://doi.org/10.15188/kjopp.2017.06.31.3.194]
• The compilation committee of Diagnosis of Korean Medicine. Diagnosis of Korean Medicine-Diagnosis Part. Koonja publishing company. 2019.18
• Lee JI, Park SH, Moon JM, Jeong JY, Park KA, Kim KO, Jeong HJ. Fatigue and Quality of Life in Clinical Nurses. J Korean Acad Fundam Nurs. 2004;11(3):317-26.
• Vereeck L, Truijen S, Wuyts FL, Van de Heyning PH. The Dizziness Handicap Inventory and It’s Relationship with Functional Balance Performance. Otology and Neurotology. 2006;28:87-93. [https://doi.org/10.1097/01.mao.0000247821.98398.0d]
• Pencina MJ, D'Agostino Sr RB, D'Agostino Jr RB, Vasan RS. Evaluating the Added Predictive Ability of a New Marker: From Area under the ROC Curve to Reclassification and Beyond. Statistics in Medicine. 2008;27(2):157-72. [https://doi.org/10.1002/sim.2929]
• Swets JA. Measuring the Accuracy of Diagnostic Systems. Science. 1988;240(4857):1285-93. [https://doi.org/10.1126/science.3287615]
• Bae KH, Jang ES, Park KH, Lee YS. Development on the Questionnaire of Cold-Heat Pattern Identification Based on Usual Symptoms: Reliability and validation Study. J Physiol & Pathol Korean Med. 2018;32(5):341-6. [https://doi.org/10.15188/kjopp.2018.10.32.5.341]
• Landis JB, Koch GG. The Measurement of Observer Agreement for Categorical Data. Biometrics. 1977;33(1):159-74. [https://doi.org/10.2307/2529310]
• Choi WC, Lee HS, Seo BN, Kang WC, Jung IC. A Study to Assess the Reliability and Improvement of the Instrument of Pattern Identification for Jing Ji and Zheng Chong. J of Oriental Neuropsychiatry. 2014;25(4):371-82. [https://doi.org/10.7231/jon.2014.25.4.371]