가이드라인 작성

• Dataset 이해
  • 위키 백과에서 고래와 관련된 31개의 문서로 구성되어 있습니다.
  • 15개의 문서는 범고래, 밍크 고래 등 고래 종에 관한 문서, 8개의 문서는 참고래과, 부리고래과 등 고래 분류에 대한 문서 그리고 남은 8개의 문서는 플랑크톤, 포경, 고래기름 등 고래와 관련된 문서들로 데이터셋이 구성되어 있습니다.
  • 각 문서의 길이는 최소 1 문장(향고래상과)에서 최대 311 문장(범고래 문서)으로 문장 개수 차이가 많이 나는 것을 확인 했습니다.
  • 총 1221개의 문장이며 한글, 한자, 숫자, 영어로 구성되었습니다.
• Relation Map 작성
  • 고래에 대한 정보로 이루어진 데이터셋을 바탕으로 Relation Extraction에 적절한 Entity를 설정하였습니다.
    • SUBJ: WHA(고래)로만 지정
    • OBJ: 대상에 따라 ANI, LOC, WHA, DAT, POH, NOH
  • 지정한 Entity를 바탕으로 아래 표와 같이 12개의 relation을 설정하였습니다.

• 가이드라인 작성
  • 관계 추출 태스크 (RE Task)를 목적으로 한 가이드라인 작성했습니다.
  • 추후 발생할 수 있는 혐오 표현, 편향적 표현, 개인정보가 포함되는 데이터에 대한 가이드라인을 신중히 작성했습니다.
  • 특히 포경산업과 관련된 데이터에서 특정 단체나 국가에 대한 혐오 표현이 포함될 수 있을 것 같아 해당 가이드라인을 작성했습니다.
  • FAQ에서는 실제로 팀원들끼리 발생했던 의문점에 대해 의사결정한 부분을 포함했으며 추가 논의를 통해 모호할 수 있는 부분에 대하여 추가 FAQ를 작성했습니다.

어노테이션

• Tagtog을 사용해 각자 맡은 부분의 데이터 어노테이션을 진행
  • 작성된 relation map과 tagtog을 사용하여 annotation 진행을 했습니다.
  • 전체 말뭉치를 문장 개수를 기준으로 쪼개 각 팀원 별로 할당했습니다.
  • 문장의 주어가 대명사로 지칭된 경우는 annotation 진행을 하지 않았습니다.
  • 위치와 관련된 OBJ는 띄어쓰기를 포함하지 않았으며 ~만과 같은 OBJ만 띄어쓰기를 포함하여 annotation 진행을 했습니다.
• 완료한 어노테이션 산출물을 구글 스프레드시트로 옮김

  • annotation을 진행하니 총 313개의 데이터가 제작되었습니다.

  • 예시

    	document_id	sentence	subject_entity	object_entity	label
    0	ahvN6uuFfnEXpL4Y.ZTfpClzpzT4-data3.txt	범고래(학명: "Orcinus orca", )는 참돌고래과에 속하는 고래 중 큰 종이자, 극지방에서 열대지방에 이르기까지 널리 발견되는 이빨고래이다.	{'word': '범고래', 'start_idx': 1009, 'end_idx': 1011, 'type': 'WHA'}	{'word': '참돌고래과', 'start_idx': 1036, 'end_idx': 1040, 'type': 'POH'}	poh:parent_family
    1	ahvN6uuFfnEXpL4Y.ZTfpClzpzT4-data3.txt	범고래(학명: "Orcinus orca", )는 참돌고래과에 속하는 고래 중 큰 종이자, 극지방에서 열대지방에 이르기까지 널리 발견되는 이빨고래이다.	{'word': '범고래', 'start_idx': 1566, 'end_idx': 1568, 'type': 'WHA'}	{'word': '참돌고래과', 'start_idx': 1571, 'end_idx': 1575, 'type': 'POH'}	poh:parent_family

• 서로가 만든 데이터에 대해 어노테이션을 진행
  • 전체의 1/10 정도의 파일럿 태깅을 통해 서로의 이해가 다른 부분을 확인하고 가이드라인 및 relation map을 업데이트 했습니다.

데이터 평가

• IAA
  • 서로의 어노테이션을 평가하기 위해 Fleiss’ Kappa 함수를 활용하여 데이터를 평가했습니다.
  • 최초 Fleiss’ Kappa를 진행했을 때는 0.692의 값을 얻었습니다.
  • 논의한 결과 LOC Entity(위치 데이터)에 대하여 no_relation 라벨과 place_of_habitat 라벨로 의견이 갈리는 상황이었습니다.
  • 이에 대해 전체 LOC Entity를 함께 확인하여 의견을 통일하였고 최종 Fleiss’ Kappa는 0.775를 달성하였고 최종 수정된 데이터를 활용해 베이스라인 평가를 진행했습니다.
• 베이스라인 평가

  • 평가 개요 및 설정

    • 베이스라인은 이전 대회(관계 분류 태스크)에서 제작한 베이스라인을 활용했습니다.
    • roBerta-large
    • seed 200 / warm-up steps 10% / epoch 10 (total steps 90)
    • 검증 데이터는 학습 데이터에서 관계별 10%씩 겹치지 않게 추출, Cheating을 방지하였습니다.
    • 평가 기준은 Micro-F1 Score를 활용하였습니다.

  • 평가 결과

    • 실험 진행에 따라 F1 Score가 점차 증가하는 성향을 보였으며 모델의 경향성이 수렴되는 양상을 보였습니다.

    

    eval_micro_f1_score	89.8 (step=90)	0 (step=9)	89.8 (step=63)
    eval_accuracy	0.903 (step=90)	0.194 (step=9)	0.903 (step=63)
    eval_loss	0.323 (step=90)	0.323 (step=90)	2.09 (step=9)