자연어 (Natural Language)

자연어란 사람들 간의 상호작용과 반복을 통해 자연스럽게 발전해온 모든 언어를 말합니다. 영어, 힌디어, 독일어, 중국어, 한국어 등은 모두 자연어입니다. 라틴어도 자연어로 간주될 수 있지만, 현재는 사어(죽은 언어)로 더 이상 사용되지 않아 발전하지 않습니다.

자연어의 중요한 점은 창조자가 없다는 것입니다. 기원까지 추적하더라도 특정 개인이 언어를 발명했다고 찾는 것은 거의 불가능합니다. 자연어는 단일 기원이 없습니다.

자연어는 서로에게 영향을 미칩니다. 오늘날 영어는 거의 모든 살아있는 언어에 흔적을 남겼습니다. 프랑스에서는 프랑스 아카데미가 영어의 광범위한 영향을 제한하기 위해 매년 승인된 프랑스어 단어 목록을 발표합니다. 자연어는 화자들의 상호작용을 통해 변화하고 성장하며 변형됩니다. 이러한 상호작용은 때때로 새로운 언어의 탄생으로 이어집니다.

영어의 변종

오늘날 언어학자들은 세계 영어의 개념을 확립했습니다. 예를 들어, 인도에서는 사람들이 지역 언어와 영어를 섞어 Hinglish와 Kanglish 같은 널리 사용되는 혼합어를 만듭니다. 한국의 ‘콩글리시 (Konglish)’ 같은 경우가 되겠습니다.

영어가 매우 널리 사용되기 때문에 다양한 변종이 생겨났고, 앞으로 몇 십 년 동안 이들 중 일부는 별개의 언어로 발전할 수도 있습니다. 이들이 사라질 수도 있지만, 이는 극히 드뭅니다.

자유로운 영혼

자연어는 규정될 수 없으며, 설명될 수 있습니다. 우리는 특정 문법 규칙에 따라 언어를 사용하는 것이 아니라, 단순히 그것을 사용합니다. 또한 매우 중요한 차이점은 자연 언어에는 원어민이 있다는 것입니다. 원어민이란 특정 언어를 태어날 때부터 또는 처음 말을 할 때부터 사용해 온 사람을 의미합니다. 자연어는 그 자체로 발전합니다. 특정 목적을 가지고 인간에 의해 구성되지 않습니다.

사람들이 언어를 어떻게 개발할지 결정하지 않지만, 화자들이 서로 어떻게 상호 작용하느냐에 따라 자연어는 변화합니다. 인간은 서로 소통하면서 의도치 않게 언어를 “만듭니다”. 그러나 이러한 변화는 의도된 것이 아니라, 문화나 특정 시대를 반영합니다.

매우 적합한 예는 오늘날 영어 화자에게 거의 이해할 수 없는 빅토리아 시대의 영어입니다. 빅토리아 시대에는 영국 사람들이 다른 신념을 가지고 있었고, 그들의 언어는 그들의 문화에 맞추어졌습니다. 현대 영어도 마찬가지입니다. 오늘날 우리는 “인플루언서”와 “소셜 미디어”를 사용합니다. 이는 빅토리아 사회에서는 알지 못했던 개념입니다.

결론적으로, 자연어는 “자유로운 영혼”입니다. 어떤 처방도 따르지 않으며 인간에 의해 의도적으로 변경될 수 없습니다. 그들은 단순히 존재합니다. 자연어는 인간이 서로 소통하는 방식이며, 시간이 지남에 따라 진화합니다.

구성된 언어 (constructed language, conlang)

콘랭 (conlang) 이라고도 불리는 ‘constructed language’ 는 한국에서 ‘인공어’라고 명명되고 있습니다. 여기서는 ‘artificial language’ 와 구분하기 위해 ‘구성된 언어’라고 표현하겠습니다.

구성된 언어는 인간이 고안한 모든 언어를 포괄하는 상위 개념입니다. 어떤 경우에는 인공 (artificial), 계획 (planned), 허구 (fictional)의 언어가 상호 교환적으로 사용됩니다. 그러나 계획된 언어와 허구의 언어는 단지 그 하위 범주에 속합니다.

구성된 언어의 개념은 7세기 아일랜드 작품 Auraicept na n-Éces에서 시작되었으며, 이 작품에서는 아일랜드어의 전신인 고대 게일어가 “선택된 언어”라고 주장했습니다. 고대 게일어는 창세기 11:1-9 에 묘사된 바벨탑 건설로 인한 언어의 혼란을 해결하기 위해 만들어졌다고 전해집니다.

‘한글’이 아닌 ‘한국어’는 자연어로서 창시자가 없다는 점에서 다릅니다. 그러나 다양한 모국어를 사용하는 사람들 간의 의사소통을 돕기 위해 언어를 만드는 개념은 오랫동안 존재해왔습니다. 오늘날 이러한 언어 장벽은 현대의 영어로 인해 상당히 줄어들었습니다.

일반적으로, 구성된 언어는 특정 목적에 맞게 인간에 의해 의도적으로 설계된 언어입니다. 이 언어의 음운론, 문법, 어휘는 의사소통과 같은 특정 목적에 맞게 인공적으로 구성되었습니다. 이는 기존의 자연어를 기반으로 하지만 반드시 그렇지는 않습니다.

구성된 언어의 예

예를 들어, 모스 부호는 구성된 언어입니다. 코드들은 의사소통을 더 빠르고 쉽게 만들기 위해 고안된 언어입니다. 점과 선(대시)을 사용하여 라틴 문자와 아라비아 숫자, 그리고 몇 가지 구두점을 인코딩합니다. 대문자와 소문자의 구분이 없으며, 정보는 빛 신호나 음파를 통해 전달됩니다.

또 다른 예로는 에스페란토 (Esperanto) 가 있습니다. 허구의 언어로서 영화 ‘아바타’의 나비족의 언어 (Na’vi), 왕좌의 게임에서의 도트락어 (Dothraki), 스타트렉의 클링온어(Klingon), 반지의 제왕의 엘프어 (Elvish) 등이 있습니다.

인공 언어 (artificial language)

라틴어의 인기가 감소하기 시작한 17세기 초부터 최초의 인공 언어가 개발되었습니다. 그러나 이들은 모든 불일치를 제거하고 명확한 분류를 만들기 위해 살아있는 언어를 “합리화”하는 것을 목표로 했습니다.

오늘날 인공 언어는 주로 진화 언어학에서 사용됩니다. 연구자들은 인공 언어를 통해 살아있는 언어의 동역학과 진화 과정을 조사하고자 합니다. 인공 언어의 매우 중요한 측면은 실험의 목적에 따라 형태가 달라진다는 것입니다. 즉, 인공 언어는 자연어의 단순화된 형태일 수도 있고 완전히 새로운 언어일 수도 있습니다.

인공 언어와 구성된 언어의 차이를 이해하는 데 혼란스러울 수 있습니다. 실제로 이 두 용어는 종종 상호 교환적으로 사용됩니다. 이는 언어학자들조차 받아들이게 되었지만, 차이를 이해하려면 몇 가지 세부 사항에 주의해야 합니다.

구성된 언어와의 차이점

인공 언어와 구성된 언어의 주요 차이는 그 목적입니다. 인공 언어의 유일한 목적은 실험입니다. 이들은 매우 전망적이며 크기가 매우 제한적입니다. 왜냐하면 인공 언어는 특정 실험을 위해 만들어지기 때문입니다. 예를 들어, 연구자가 특정 문법 특징(예: 격 또는 어순)에 중점을 두는 경우, 인공 언어는 그 목적에 맞게 개발됩니다.

인공 언어는 수백만 단어로 구성되지 않습니다. 왜냐하면 그것은 실험을 어렵게 만들기 때문입니다. 대신, 인공 언어는 제한된 어휘를 가지며, 실험의 주요 초점은 문법이기 때문입니다. 게다가, 인공 언어는 특정 실험을 염두에 두고 만들어지기 때문에 그 수명은 매우 짧습니다. 즉, 특정 실험이 끝난 후에는 거의 사용되지 않습니다.

반면에 구성된 언어는 인간이 연결하려는 욕망의 결과로 등장했습니다. 이들은 언어 장벽을 극복하기 위한 시도입니다. 구성된 언어는 사람들이 다른 모국어를 가진 사람들과 소통할 수 있도록 영어가 공용어로 떠오르기 전에 개발되었습니다.

프로그래밍 언어는 구성된 언어인가?

모든 프로그래밍 언어(예: Java, C++, Python)와 마크업 언어(예: HTML, XML)는 구성된 언어로서, 기계와 인간 간의 의사소통에 사용됩니다. 인간은 코드(문자열 또는 단일 단어)를 통해 명령을 입력합니다. 그러면 기계는 작업을 완료하고 결과를 제시합니다.

컴퓨터의 연산 능력이 계속 증가함에 따라 프로그래밍 언어는 자연 언어와 더욱 유사해집니다. 그러나 프로그래밍 및 마크업 언어는 여전히 크기가 제한적이며 규범적입니다.

요약하자면, 인공 언어와 구성된 언어는 제한된 크기와 규범적, 인간이 만든 특성 면에서 매우 유사합니다. 하지만 인공 언어는 실험이라는 매우 구체적인 목적(따라서 짧은 수명)을 가지는 반면, 구성된 언어는 훨씬 다양하여 더 넓은 적용 범위를 가집니다.

자연어와의 차이점

구성된 언어와 인공 언어는 제한적이고 자유롭지 않습니다. 이러한 언어들은 명확히 규정된 규칙을 따르며, 인간이 의도적으로 변경하지 않는 한 거의 변화하지 않습니다.

자연, 구성, 인공 언어의 탐구는 많은 흥미로운 연구와 응용 분야로의 문을 엽니다. 특히 오늘날의 디지털 시대에서는 인공 언어가 정교한 기술을 개발하는 데 점점 더 많이 사용됩니다. 인공지능(AI)과 머신 러닝(ML)은 각각 인간의 지능을 모방하고 데이터 패턴에서 학습할 수 있는 능력 덕분에 두드러집니다.

이러한 복잡한 시스템을 구축하기 위해서는 전문가의 지도가 필요합니다. AI 및 머신 러닝 개발 서비스를 활용하면 인공 언어의 힘을 활용하는 데 도움이 될 수 있습니다. 이러한 전문가들은 구성된 언어와 자연 언어 모두와 효과적으로 상호 작용할 수 있는 AI 및 ML 시스템을 설계하는 데 필요한 전문 기술을 보유하고 있어 기술 혁신의 한계를 넓힐 수 있습니다.

형식 언어 (Formal Language)

형식 언어 (Formal Language)는 언어의 문법 구조를 수학적 측면에서 형식화한 인공 언어입니다. 논리, 수학, 컴퓨터 과학 및 언어학에서 다루어집니다. 알파벳에서 가져온 문자로 만들어지며, 특정 규칙 집합인 형식 문법에 따라 잘 구성된 것입니다.

형식 언어의 알파벳은 기호, 문자 또는 토큰으로 구성되며, 이들은 단어라고 불리는 문자열로 연결됩니다. 특정 형식 언어에 속하는 단어는 때때로 잘 구성된 단어 또는 잘 구성된 공식이라고 합니다. 형식 언어는 종종 정규 문법, 문맥 의존 문법 문맥, 자유 문법과 같은 형식 문법에 의해 정의되며, 이는 형성 규칙으로 구성됩니다.

논리 및 수학의 기초에서 형식 언어는 공리적 시스템의 구문을 나타내는 데 사용됩니다.

문맥 의존 언어 (context sensitive language) – 자연어
문맥 자유 언어 (context free language) – 프로그래밍 언어

컴퓨터 과학에서의 형식 언어

컴퓨터 과학에서는 형식 언어가 프로그래밍 언어의 문법을 정의하는 기초로 사용됩니다. 계산 복잡성 이론에서는 결정 문제를 형식 언어로 정의하며, 복잡성 클래스는 제한된 계산 능력을 가진 기계에 의해 구문 분석할 수 있는 형식 언어의 집합으로 정의됩니다.

계산 (computation)의 다양한 측면을 설명하는 데 사용되며, 컴퓨터가 어떻게 작동하고 정보를 처리하는지를 이해하는 데 필수적입니다.

형식 언어는 계산 이론에서 매우 중요합니다. 왜냐하면 이는 다양한 프로그래밍 언어의 구조와 동작을 이해하는 데 도움을 주며, 컴파일러 설계, 구문 분석 등 컴퓨터 과학에서 많은 분야에서 사용되기 때문입니다.

용어 정리

1. 알파벳: 계산 이론에서 알파벳은 유한한 기호의 집합입니다. 예를 들어, {0, 1}이라는 알파벳은 0과 1이라는 기호를 포함합니다.

2. 문자열: 문자열은 알파벳에서 가져온 기호들의 순서입니다. 예를 들어, “0110”과 “1001”은 알파벳의 기호로 구성된 문자열입니다.

3. 형식 언어: 형식 언어는 알파벳으로 형성된 문자열 집합이며, 어떤 문자열이 언어에 포함되고 어떤 문자열이 포함되지 않는지를 결정하는 특정 규칙을 포함합니다. 이러한 규칙을 언어의 문법이라고 합니다.

4. 문법: 문법은 언어 내에서 문자열을 구성하는 방법을 정의하는 규칙 집합입니다. 이는 기호들의 조합 중 어떤 것이 유효한지 아닌지를 명시합니다. 컴퓨터 과학에서 흔히 사용되는 형식 문법은 문맥 자유 문법입니다.

예시

이것을 간단한 예시로 설명해 봅시다:

예시: 알파벳 {0, 1} 위에 정의된 형식 언어 L을 고려해 봅시다.
언어 L은 0과 1의 개수가 동일한 모든 이진 문자열로 구성됩니다.
즉, 문자열이 언어 L에 속하기 위해서는 0과 1의 개수가 같아야 합니다.

언어 L에 속하는 유효한 문자열:

“0011”
“1100”
“010101”

언어 L에 속하지 않는 무효한 문자열:

“001” (0과 1의 개수가 다름)
“1111000” (0과 1의 개수가 다름)

이 예시에서, 우리는 {0, 1} 알파벳 위에 단순한 문법 규칙(0과 1의 개수가 동일해야 함)으로 형식 언어 L을 정의했습니다. 이 규칙을 따르는 모든 문자열은 언어에 속하며, 따르지 않는 문자열은 속하지 않습니다.

문법

문법은 네 가지 요소 (V, P, S, T)로 구성됩니다:

V: 변수
P: 생성 규칙
T: 터미널(종결 기호)
S: 시작 기호

예시:

생성 규칙: S -> a S b / ε ; n >= 0
ε, a S b, aa S bb, aaa S bbb …
ε, ab, a² S b², a³ S b³ … a^n b^n (a 뒤에 같은 수의 b가 오는 형식)

문맥 자유 문법 (CFG, Context Free Grammar)

문맥 자유 문법 (CFG)은 주어진 형식 언어에서 가능한 모든 문자열을 생성하기 위해 사용되는 형식 문법입니다.
이는 네 가지 요소 (V, T, P, S)로 설명할 수 있습니다:

CFG: 언어의 문자열을 생성하는 데 사용되는 생성 규칙 집합
V: 유한 변수(비종결 기호) 집합
T: 유한 종결 기호 집합 (V ∩ T = Φ)
P: 생성 규칙(치환 규칙)
S: 시작 변수

예시:

V: {S, A, B}
T: {a, b}
P: S -> aA | bB, A -> a, B -> b
S: S

프로그래밍 언어는 문맥 자유 문법으로 설계하여, 문법의 모호함이 없도록 개발합니다.

컴퓨터 과학: CFG는 재귀 규칙을 정의할 수 있는 잠재력 때문에 컴퓨터 과학에서 사용됩니다.

이 재귀적 잠재력은 컴퓨터 과학에서 두 가지 주요 응용 분야를 가지고 있습니다:

1. 파서 (Parser): 컴파일러의 일부분으로, 소스 프로그램의 구조를 발견하고 구문 트리로 그 구조를 나타내는 역할을 합니다.
2. XML의 DTDs: 허용된 태그와 이러한 태그가 중첩될 수 있는 방식을 설명합니다.

문맥 의존 문법 (CSG, Context Sensitive Grammar)

문맥 의존 문법 (CSG) 는 모든 생성 규칙의 왼쪽과 오른쪽에 터미널 및 비터미널 기호의 문맥이 둘러싸여 있을 수 있는 형식 문법입니다.

다음 네 개의 튜플로 정의될 수 있습니다:

CSG: (Σ, V, S, P)

CSG: 언어의 문자열을 생성할 수 있는 생성 규칙 집합
Σ: 터미널 기호 집합
V: 유한 비터미널 기호 집합
S: 시작 변수
P: 생성 규칙

이러한 구성 요소들을 통해 문맥 자유 문법은 언어를 형성하고 규칙을 따릅니다.

자연어 처리: 자연어는 위에서 알아본 것과 같이 문맥 자유 문법으로 설계되지 않습니다.
자연적으로 발생되고, 처리가 쉽지 않습니다. 문맥 의존 문법(CSG)으로서 처리합니다.

참고