Animal Welfare
Can shelter dog observers score behavioural expressions consistently over time?
Can shelter dog observers score behavioural expressions consistently over time?
- 저자: Stubsjøen SM; Moe RO; Johannessen C; Larsen M; Madsen H; Muri K
- 출처: - (2022)
- DOI/링크: https://doi.org/10.1186/s13028-022-00654-x
- 연구 계열: Topics/Animal Welfare
- 투고일: 2022-07-25
TL;DR
보호견 영상에 고정된 행동 표현 목록을 적용한 QBA 평가는 15개월 후에도 높은 관찰자 내 일치도를 유지했다. 다만 각성 수준을 반영하는 PC2의 관찰자 간 일치도가 낮아져 재교육과 평가 기준 조정의 필요성을 제시했다.
1. 연구 배경 및 동기
- 다루는 문제: 보호소의 낯선 소리·냄새·일상·사람은 개의 복지를 저해하는 스트레스 요인이다. 인력과 자원이 부족한 보호소에는 여러 개체의 복지를 빠르고 신뢰성 있게 추적하는 평가법이 필요하다. QBA는 행동·자세·움직임을 맥락과 함께 종합해 동물의 표현을 평가하는 방법이다.
- 기존의 공백 / 왜 필요한가: 보호견 QBA의 높은 관찰자 간 신뢰도가 장기간 유지되는지 검증할 필요가 있었다. 관찰자 교육이 장기적인 관찰자 내·간 신뢰도에 미치는 영향을 다룬 연구도 부족했다.
2. 관련 연구
- 기존 연구 흐름: 기존 보호견 연구는 고정된 행동 표현 목록을 이용한 영상 평가에서 높은 관찰자 간 신뢰도를 보고했다. 당나귀 연구에서는 교육이 신뢰도를 높였지만, 젖소 연구에서는 최초 평가 9개월 후 숙련 관찰자들의 신뢰도가 충분하지 않았다.
- 이 논문의 위치: 기존 연구와 동일한 행동 표현 목록과 영상을 사용해 결과의 재현성을 확인했다. 동일 관찰자 3명의 15개월 간격 반복 평가로 장기적인 관찰자 내·간 신뢰도까지 검증 범위를 확장했다.
3. 핵심 기여
- 보호견 영상 QBA의 높은 관찰자 간 일치도를 재현했다.
- 15개월 간격 반복 평가에서 높은 관찰자 내 일치도를 확인했다.
- 기분과 각성 차원의 관찰자 간 일치도 변화가 서로 다름을 확인했다.
4. 제안 방법론
- 전체 접근 논리: 동일한 보호견 영상과 고정된 행동 표현 목록으로 최초 평가와 15개월 후 평가를 비교했다. PCA로 주요 평가 차원을 추출하고 Kendall의 일치계수 W로 관찰자 내·간 신뢰도를 산출했다.
- 단계:
- 동물보건사 과정 3학년 학생 9명에게 약 1시간의 도입 교육을 실시하고, 연습 영상 3개를 보며 행동 해석과 점수를 토론하게 했다.
- 정의가 제공된 행동 표현 20개로 영상 12개를 평가했다. 전체 9명의 자료를 Part Ia, 이 중 추적 참여자 3명의 자료를 Part Ib로 구분했다.
- 추적 참여자 3명은 다음 주 가정견 직접 관찰을 연습하고, 최초 영상 평가 2주 후 지역 보호소에서 직접 관찰과 평가 기준 조정을 실시했다.
- 15개월 후 추가 설명 없이 영상 순서를 무작위로 바꿔 3명이 다시 평가했다. 상관행렬 기반 비회전 PCA와 Kendall W로 평가 구조 및 신뢰도를 분석했다.
5. 실험 설정
| 항목 | 내용 |
|---|---|
| 대상/재료 | 노르웨이 생명과학대학교 동물보건사 과정 최종학년 학생 9명, 이 중 추적 평가 참여자 3명. 약 250마리를 수용한 헝가리 남부 보호소에서 촬영한 각 2분짜리 영상 12개. |
| 처리 조건 | 최초 평가 전 QBA 교육과 영상 토론 실시. 추적 참여자 3명은 사전에 QBA 논문 6편을 읽고 최초 평가 후 직접 관찰 연습을 추가했다. 15개월 후 평가는 행동 표현에 대한 재토론이나 추가 지시 없이 Microsoft Teams에서 동시 진행했다. |
| 대조군 | 별도 대조군 없음. 동일 관찰자 3명의 최초 평가인 Part Ib를 15개월 후 Part II와 비교했다. |
| 측정 방법 | 행동 표현 20개의 강도를 최소–최대 시각적 아날로그 척도에 표시하고 최소점부터 표시점까지의 거리를 mm로 측정했다. PCA로 PC1·PC2를 추출하고 관찰자 간 일치도는 주성분과 개별 표현별로, 관찰자 내 일치도는 주성분별로 산출했다. |
6. 실험 결과 분석
| 지표 | 변화(Δ) | 조건 · 유의성 |
|---|---|---|
| PC1 관찰자 간 일치도 | W = 0.78 / 0.79 / 0.90 | Part Ia / Part Ib / Part II |
| PC2 관찰자 간 일치도 | W = 0.85 / 0.91 / 0.65 | Part Ia / Part Ib / Part II |
| PC1 관찰자 내 일치도 | W = 0.92 / 0.93 / 0.93 | 학생 1 / 2 / 3, 모두 p = 0.04 |
| PC2 관찰자 내 일치도 | W = 0.86 / 0.87 / 0.92 | 학생 1 / 2 / 3, p = 0.06 / 0.06 / 0.04 |
| PCA 설명 분산 | PC1·PC2: 34.8%·21.9% → 30.0%·20.0% | Part Ia → Part II |
| Bored 관찰자 간 일치도 | W = 0.53 / 0.76 / 0.23 | Part Ia / Part Ib / Part II |
| Aggressive 관찰자 간 일치도 | W = 0.40 / 0.46 / 0.25 | Part Ia / Part Ib / Part II |
| Sociable 관찰자 간 일치도 | W = 0.79 / 0.78 / 0.73 | Part Ia / Part Ib / Part II |
7. 비판적 평가
강점
- 기존 연구의 영상과 행동 표현 목록을 재사용해 재현성을 평가했다.
- 15개월 후 동일 관찰자의 반복 평가로 장기 일관성을 확인했다.
- 주성분뿐 아니라 개별 행동 표현의 관찰자 간 일치도도 제시했다.
한계 · 의문
- 장기 추적 평가자는 3명이며 모두 추가 문헌 학습과 직접 관찰 연습을 수행했다.
- 최초 평가는 같은 방에서, 추적 평가는 온라인으로 진행해 평가 환경이 달랐다.
- 직접 관찰 평가는 보호소 운영 제한으로 표본이 10개에 그쳐 연습과 평가 기준 조정 자료로 취급했다.
8. 향후 연구 방향
- 교육·연습·평가 기준 조정이 QBA의 장기적인 관찰자 내·간 신뢰도에 미치는 영향을 검증한다.
- 장기간 평가 간격에서 신뢰도를 유지하는 데 필요한 재교육 수준을 조사한다.
9. 결론
고정된 행동 표현 목록을 이용한 보호견 영상 QBA는 15개월 후에도 관찰자별 평가의 높은 일관성을 유지했다. 각성 수준을 반영하는 PC2의 관찰자 간 일치도 감소는 장기간 평가 간격에서 재교육과 평가 기준 조정이 필요할 수 있음을 시사했다.
Keywords
animal welfare, qualitative behaviour assessment, observer reliability, shelter dogs, intra-observer reliability, inter-observer reliability, behavioural descriptors, principal component analysis