← 목록으로
Animal Welfare

Can shelter dog observers score behavioural expressions consistently over time?

정리일 2026-10-01

Can shelter dog observers score behavioural expressions consistently over time?


TL;DR

보호견 영상에 고정된 행동 표현 목록을 적용한 QBA 평가는 15개월 후에도 높은 관찰자 내 일치도를 유지했다. 다만 각성 수준을 반영하는 PC2의 관찰자 간 일치도가 낮아져 재교육과 평가 기준 조정의 필요성을 제시했다.


1. 연구 배경 및 동기

  • 다루는 문제: 보호소의 낯선 소리·냄새·일상·사람은 개의 복지를 저해하는 스트레스 요인이다. 인력과 자원이 부족한 보호소에는 여러 개체의 복지를 빠르고 신뢰성 있게 추적하는 평가법이 필요하다. QBA는 행동·자세·움직임을 맥락과 함께 종합해 동물의 표현을 평가하는 방법이다.
  • 기존의 공백 / 왜 필요한가: 보호견 QBA의 높은 관찰자 간 신뢰도가 장기간 유지되는지 검증할 필요가 있었다. 관찰자 교육이 장기적인 관찰자 내·간 신뢰도에 미치는 영향을 다룬 연구도 부족했다.

2. 관련 연구

  • 기존 연구 흐름: 기존 보호견 연구는 고정된 행동 표현 목록을 이용한 영상 평가에서 높은 관찰자 간 신뢰도를 보고했다. 당나귀 연구에서는 교육이 신뢰도를 높였지만, 젖소 연구에서는 최초 평가 9개월 후 숙련 관찰자들의 신뢰도가 충분하지 않았다.
  • 이 논문의 위치: 기존 연구와 동일한 행동 표현 목록과 영상을 사용해 결과의 재현성을 확인했다. 동일 관찰자 3명의 15개월 간격 반복 평가로 장기적인 관찰자 내·간 신뢰도까지 검증 범위를 확장했다.

3. 핵심 기여

  1. 보호견 영상 QBA의 높은 관찰자 간 일치도를 재현했다.
  2. 15개월 간격 반복 평가에서 높은 관찰자 내 일치도를 확인했다.
  3. 기분과 각성 차원의 관찰자 간 일치도 변화가 서로 다름을 확인했다.

4. 제안 방법론

  • 전체 접근 논리: 동일한 보호견 영상과 고정된 행동 표현 목록으로 최초 평가와 15개월 후 평가를 비교했다. PCA로 주요 평가 차원을 추출하고 Kendall의 일치계수 W로 관찰자 내·간 신뢰도를 산출했다.
  • 단계:
    • 동물보건사 과정 3학년 학생 9명에게 약 1시간의 도입 교육을 실시하고, 연습 영상 3개를 보며 행동 해석과 점수를 토론하게 했다.
    • 정의가 제공된 행동 표현 20개로 영상 12개를 평가했다. 전체 9명의 자료를 Part Ia, 이 중 추적 참여자 3명의 자료를 Part Ib로 구분했다.
    • 추적 참여자 3명은 다음 주 가정견 직접 관찰을 연습하고, 최초 영상 평가 2주 후 지역 보호소에서 직접 관찰과 평가 기준 조정을 실시했다.
    • 15개월 후 추가 설명 없이 영상 순서를 무작위로 바꿔 3명이 다시 평가했다. 상관행렬 기반 비회전 PCA와 Kendall W로 평가 구조 및 신뢰도를 분석했다.

5. 실험 설정

항목 내용
대상/재료 노르웨이 생명과학대학교 동물보건사 과정 최종학년 학생 9명, 이 중 추적 평가 참여자 3명. 약 250마리를 수용한 헝가리 남부 보호소에서 촬영한 각 2분짜리 영상 12개.
처리 조건 최초 평가 전 QBA 교육과 영상 토론 실시. 추적 참여자 3명은 사전에 QBA 논문 6편을 읽고 최초 평가 후 직접 관찰 연습을 추가했다. 15개월 후 평가는 행동 표현에 대한 재토론이나 추가 지시 없이 Microsoft Teams에서 동시 진행했다.
대조군 별도 대조군 없음. 동일 관찰자 3명의 최초 평가인 Part Ib를 15개월 후 Part II와 비교했다.
측정 방법 행동 표현 20개의 강도를 최소–최대 시각적 아날로그 척도에 표시하고 최소점부터 표시점까지의 거리를 mm로 측정했다. PCA로 PC1·PC2를 추출하고 관찰자 간 일치도는 주성분과 개별 표현별로, 관찰자 내 일치도는 주성분별로 산출했다.

6. 실험 결과 분석

지표 변화(Δ) 조건 · 유의성
PC1 관찰자 간 일치도 W = 0.78 / 0.79 / 0.90 Part Ia / Part Ib / Part II
PC2 관찰자 간 일치도 W = 0.85 / 0.91 / 0.65 Part Ia / Part Ib / Part II
PC1 관찰자 내 일치도 W = 0.92 / 0.93 / 0.93 학생 1 / 2 / 3, 모두 p = 0.04
PC2 관찰자 내 일치도 W = 0.86 / 0.87 / 0.92 학생 1 / 2 / 3, p = 0.06 / 0.06 / 0.04
PCA 설명 분산 PC1·PC2: 34.8%·21.9% → 30.0%·20.0% Part Ia → Part II
Bored 관찰자 간 일치도 W = 0.53 / 0.76 / 0.23 Part Ia / Part Ib / Part II
Aggressive 관찰자 간 일치도 W = 0.40 / 0.46 / 0.25 Part Ia / Part Ib / Part II
Sociable 관찰자 간 일치도 W = 0.79 / 0.78 / 0.73 Part Ia / Part Ib / Part II

7. 비판적 평가

강점

  • 기존 연구의 영상과 행동 표현 목록을 재사용해 재현성을 평가했다.
  • 15개월 후 동일 관찰자의 반복 평가로 장기 일관성을 확인했다.
  • 주성분뿐 아니라 개별 행동 표현의 관찰자 간 일치도도 제시했다.

한계 · 의문

  • 장기 추적 평가자는 3명이며 모두 추가 문헌 학습과 직접 관찰 연습을 수행했다.
  • 최초 평가는 같은 방에서, 추적 평가는 온라인으로 진행해 평가 환경이 달랐다.
  • 직접 관찰 평가는 보호소 운영 제한으로 표본이 10개에 그쳐 연습과 평가 기준 조정 자료로 취급했다.

8. 향후 연구 방향

  • 교육·연습·평가 기준 조정이 QBA의 장기적인 관찰자 내·간 신뢰도에 미치는 영향을 검증한다.
  • 장기간 평가 간격에서 신뢰도를 유지하는 데 필요한 재교육 수준을 조사한다.

9. 결론

고정된 행동 표현 목록을 이용한 보호견 영상 QBA는 15개월 후에도 관찰자별 평가의 높은 일관성을 유지했다. 각성 수준을 반영하는 PC2의 관찰자 간 일치도 감소는 장기간 평가 간격에서 재교육과 평가 기준 조정이 필요할 수 있음을 시사했다.

Keywords

animal welfare, qualitative behaviour assessment, observer reliability, shelter dogs, intra-observer reliability, inter-observer reliability, behavioural descriptors, principal component analysis

paperanimal-welfarequalitative-behaviour-assessmeobserver-reliabilityshelter-dogsintra-observer-reliabilityinter-observer-reliability