1. 개요
베르 범주 정리(Baire category theorem, Baire 範疇定理, (프)Théorème de Baire)는 위상수학과 함수해석학의 정리로, 어떤 공간이 베르 공간이 될 충분조건을 제시하는 정리이다. 미국의 수학자 윌리엄 포그 오스굿과 프랑스의 수학자 르네 베르에 의해 실직선 및 유클리드 공간에서의 정리가 각각 증명되었으며, 특히 베르는 범주 개념을 도입하여 부르바키 학파는 이를 기려 베르 공간이라는 용어를 사용하였다.2. 베르 공간
위상 공간 [math(X)]의 부분집합 [math(E\subseteq X)]가 어느 곳에서도 조밀하지 않은 집합들의 가산 합집합이면 [math(E)]를 제1 범주 집합(set of the first category, meager set)이라고 한다. 제1 범주의 집합이 아닌 집합을 제2 범주 집합(set of the second category, residual set)이라고 한다. 베르의 범주는 범주론과는 무관하다.조밀한 열린 집합의 임의의 가산 교집합이 조밀한 위상공간을 베르 공간(Baire space)이라고 한다. 이는 다음과 동치이다.
- 임의의 제1 범주 집합의 여집합이 조밀하다.
- 제1 범주인 열린 집합은 공집합 뿐이다.
3. 베르 범주 정리
위상공간 [math(X)]가 베르 공간일 충분조건은 다음과 같다.- (제1 범주 정리) [math(X)]가 완비 거리화 가능 공간이면 [math(X)]는 베르 공간이다.
- (제2 범주 정리) [math(X)]가 국소 컴팩트 하우스도르프 공간이면 [math(X)]는 베르 공간이다.
3.1. 제1 범주 정리의 증명
[math((X,\ d))]를 공집합이 아닌 완비 거리 공간이라고 하자. [math(\{U_n\}_{n=1}^\infty)]를 [math(X)]의 조밀한 열린집합렬이라 할 때, [math(U=\bigcap_{n=1}^\infty U_n)]가 [math(X)]의 조밀한 집합임을 보인다. 즉, [math(X)]의 임의의 열린집합 [math(W)]에 대하여 [math(U\cap W \ne \varnothing)]임을 보인다. [math(W)]는 열린집합이므로 [math(B_d(x_0,\ r_0)\subseteq W)]인 [math(x_0\in W,\ r_0>0)]를 택할 수 있다. [math(U_1)]은 조밀한 열린집합이므로[math(\overline{B_d(x_1,\ r_1)}\subseteq U_1\cap B_d(x_0,\ r_0),\quad r_1<2^{-1})]
을 만족시키는 [math(x_1,\ r_1)]을 선택할 수 있다. 이 과정을 반복하여 각 [math(n\in\mathbb{N})]에 대하여[math(\overline{B_d(x_n,\ r_n)}\subseteq U_n\cap B_d(x_{n-1},\ r_{n-1}),\quad r_n<2^{-n})]
를 만족시키는 점렬 [math(\{x_n\}_{n=0}^\infty)]와 수열 [math(\{r_n\}_{n=0}^\infty)]를 얻는다. [math(n\to\infty)]에 따라 [math(r\to0)]이므로 [math(n,\ m\to\infty)]에 따라 [math(d(x_n,\ x_m)\to0)]이다. [math(X)]는 완비공간이므로 [math(x=\lim_{n\to\infty}x_n)]가 존재하고, [math(x\in W\cap U)]이므로 [math(U)]는 조밀하다.3.2. 제2 범주 정리의 증명
[math((X,\ d))]를 공집합이 아닌 국소 컴팩트 하우스도르프 공간이라고 하자. [math(\{U_n\}_{n=1}^\infty)]를 [math(X)]의 조밀한 열린집합렬이라 할 때, [math(U=\bigcap_{n=1}^\infty U_n)]가 [math(X)]의 조밀한 집합임을 보인다. 임의의 열린집합 [math(W)]에 대하여 [math(U_1)]은 조밀하므로 [math(w_1\in W\cap U_1)]이 존재한다. [math(X)]는 국소 하우스도르프 공간의 열린 집합이므로 [math(w_1\in W_1\subseteq W)]를 만족시키는 [math(w_1)]의 컴팩트 열린 근방 [math(W_1)]이 존재한다. [math(w_2\in W_1\cap U_2)]를 선택하여 위 과정을 반복하면 임의의 자연수 [math(n)]에 대하여[math(W_{n+1}\subseteq W_n)]
을 만족시키는 컴팩트 집합렬 [math(\{W_n\})]을 얻는다. [math(X)]는 하우스도르프 공간이므로 [math(w\in\bigcap_{n=1}^\infty W_n)]이 존재한다. [math(w\in W\cup U)]이므로 [math(U)]는 조밀하다.4. 적용
4.1. 바나흐 공간의 정리 증명
함수해석학에서 바나흐 공간의 열린 사상 정리, 닫힌 그래프 정리, 균등 유계 원리를 증명하는 과정에서 활용된다.
4.2. 병리적 함수의 존재성 증명
베르 범주 정리를 이용해 어느 곳에서도 미분 불가능하지만 모든 점에서 연속인 함수의 존재성을 증명할 수 있다.자연수 [math(n)]과 구간 [math([0,1])]의 연속함수 공간 [math(C[0,1])]에 대하여
[math(|f(x)-f(x_f)|\le n|x-x_f|\quad\forall x\in [0,1])]
를 만족시키는 [math(x_f\in [0,1])]가 존재하는 함수 [math(f\in C[0,1])]의 집합을 [math(E_n)]이라 하자. 함수 [math(f\in C[0,1])]가 미분가능한 점 [math(x_f\in[0,1])]를 가지면 함수[math( d_f(x)=\begin{cases}\displaystyle\left|\frac{f(x)-f(x_f)}{x-x_f}\right|,& x\ne x_f\\|f^\prime (x_f)|,&x=x_f\end{cases})]
는 구간 [math([0,1])]에서 연속이므로 최대최소정리에 의해 최댓값 [math(M)]를 갖는다. 즉 [math(n\ge M)]인 자연수 [math(n)]에 대하여 [math(f\in E_n)]으로, 미분가능한 점을 갖는 [math(C[0,1])]의 함수의 집합을 [math(D)], [math(E:=\bigcup_{n=1}^\infty E_n)]라고 하면 [math(D\subseteq E)]이다.[math(f\in C[0,1])]은 닫힌 구간에서 연속인 함수이므로 균등연속으로, 임의의 [math(\epsilon>0)]에 대하여
[math(|x-y|<\delta \Rightarrow |f(x)-f(y)|<\epsilon \quad \forall x, y \in [0,1])]
을 만족시키는 [math(\delta>0)]가 존재한다. 자연수 [math(m)]에 대하여 구간 [math([0,1])]의 [math(m)]등분할을 [math(P_m=\{x_0=0,\ldots,x_m=1\})], [math(P_m)]의 [math(k)]번째 소구간의 중점을 [math(x_k^*)]라 하자. 함수 [math(g_m:[0,1]\to\mathbb{R})]을 [math(g_m=\begin{cases}
2n(x-x_k^*)+f(x_k^*),&x\in [x_{k-1},x_{k})\\
f(1),&x=1
\end{cases})]
이라 하고 주어진 [math(\epsilon>0)]에 대하여 [math(M>\max\{n, \sqrt{1/\delta}, 4/\epsilon\})]을 만족시키는 자연수 [math(M)]을 선택하자. [math(m>M)]일 때 임의의 [math(x\in [x_k,x_{k+1})\subset [0,1])]에 대하여2n(x-x_k^*)+f(x_k^*),&x\in [x_{k-1},x_{k})\\
f(1),&x=1
\end{cases})]
[math(\begin{aligned}
&|f(x)-g(m)|\\
&\le \left|f(x)-f(x_k^*)\right|+\left|f(x_k^*)-g_m(x)\right|\\
&<\epsilon/2+2n/m^2\\
&<\epsilon
\end{aligned})]
이고 [math(f(1)=g_m(1)=0)]이므로 함수열 [math(\{g_n\})]은 [math(f)]로 균등수렴한다.&|f(x)-g(m)|\\
&\le \left|f(x)-f(x_k^*)\right|+\left|f(x_k^*)-g_m(x)\right|\\
&<\epsilon/2+2n/m^2\\
&<\epsilon
\end{aligned})]
위와 같이 정의된 함수 [math(g_m)]에 대하여 [math(d<1/2m^2)]인 [math(d>0)]를 택하자. [math(\|h-g_m\|_u<d)]일 때 임의의 [math(x_f\in[x_{k-1},x_k]\subset [0,1])]에 대하여 [math(x\in[x_{k-1},x_k] )]이면
[math(\begin{aligned}
&|h(x)-h(x_f)|\\
&>|g_m(x)-g_m(x_0)|-2d\\
&=2n|x-x_0|-1/m^2\\
&\ge (2n-1)|x-x_0|
\end{aligned})]
이므로 [math(h\notin E_n)]이다.&|h(x)-h(x_f)|\\
&>|g_m(x)-g_m(x_0)|-2d\\
&=2n|x-x_0|-1/m^2\\
&\ge (2n-1)|x-x_0|
\end{aligned})]
임의의 [math(f\in C[0,1])]과 자연수 [math(n)]에 대하여 [math(\epsilon<2/n)]을 만족시키는 [math(\epsilon>0)]와 [math(\|f-g_m\|_u<\epsilon/2)]을 만족시키는 자연수 [math(m)]을 택하자.
[math(
\begin{aligned}
&\|f-h\|_u\\
&\le\|f-g_m\|_u+\|g_m -h\|_u\\
&<\epsilon/2+\|g_m -h\|_u\\
&<\epsilon
\end{aligned}
)]
에서 [math(\|g_m-h\|_u<\epsilon/2)]이다. 이 때, [math(m>4/\epsilon>2n)]에서 [math(n/m^2<\epsilon/2)]이므로 [math(\|f-h\|_u<\epsilon)]을 만족시키는 임의의 [math(h\in C[0,1])]에 대하여 [math(h\notin E_n)]이다. 즉, [math(E_n)]은 어디에서도 조밀하지 않은 집합이다.\begin{aligned}
&\|f-h\|_u\\
&\le\|f-g_m\|_u+\|g_m -h\|_u\\
&<\epsilon/2+\|g_m -h\|_u\\
&<\epsilon
\end{aligned}
)]
따라서 [math(E)]는 제1 범주의 집합이고, [math(D\subseteq E)]에서 [math(D^c \supseteq E^c)]이므로 어느 곳에서도 미분 불가능한 연속함수의 집합은 제2 범주의 집합이다.