Chapter 1_2. Vector Space

 Definition ◦ Let V be a vector space, and let W be a subset of V, We define W to be a subspace if W satisfies the following 3 conditions  Vector Space V 의 Subset W 이므로 Vector Space 의 Group 성질과 Field 성질이 보존되면 Sub-Space 가 된다.  원점 O 를 항상 보존한다는 것을 주의한다.

 Example of Sub-Vector Space ◦ Vector Space V ◦ Sub-vector space W (Blue Region)  Principle Component Analysis

 Vector Space in Non-Euclidean Space Vector Space with center p Vector Space with center q 각 Vector Space 사이는 얼마나 휘었는가 ? ( 곡률 ) Euclidean Space 를 적용할 수 있는 범위는 어느 정도인가 ? (Point Set Toplology with epsilon-delta

 Let V be a vector space, and let. Let. An expression of type  Is called “Linear Combination” of.  Subspace W 가 의 모든 Linear Combination 에 의해 만들어진다면 Generates W 라 한다.

 Linear Combination 과 Matrix ◦ Linear Combination 의 또 다른 표현 ◦ 연립 방정식의 해법은 Sub-Space 간의 관계로 표현 될 수 있다.

 Linear Combination & Differential ◦ Assume, then ◦ Let ◦ Linear Combination with ◦ Gradient or nabla of f(x)  편미분 자체의 표현은 Vector 표현이다. 이것을 상미분 방정식 (Scalar) 표현으로 바꾸기 위해서는 Dot Product 가 적용되는 새로운 형식이 필요하다.

 Let. Let where . A Dot product/Scalar product is defined as follows.  Properties ◦ 1. Commutative ◦ 2. Distributive ◦ 3. Associative if,

 Dot Product 혹은 Scalar Product 는 Vector Space 위의 연산에 있어 가장 근본적인 연산이 되 며 공학적으로나 수학적으로 이를 사용하여야만 유의미한 문제 해결이 가능해진다.  Dot Product 는 어떤 단위 벡터에 대한 임의 벡터 의 사영된 크기가 된다.  벡터 를 벡터 에 의 해 Generate 된 Subspace 위에 나타낼 때의 모습이 가 된다.  혹은 에 의해 Generate 된 Subspace 상의 한 벡터가 된다.

 Dot Product 의 응용 ◦ Orthogonality  When is perpendicular, these vectors satisfy the following condition   Assume that is a linear combination of such that  In addition,  We can obtain If we define a dot product as an alternative one such as We can construct a stochastic filter algorithm

 Dot Product 와 미분 ◦ 앞에서 편미분 은 벡터 ( 필드 ) 의 번째 성분임을 알았다. ◦ 그런데 출발점 에서 시작하여 속도 를 가진 벡터를 생 각하자 ◦ 이 벡터는 함수 에 의하여 변환된다고 생각하자. ◦ 이러한 함수 관계의 시간에 대한 변화율을 생각하면,

◦ 즉, Gradient 와 속도 와의 Dot Product 가 의 속도에 대한 변화율이다. ◦ 최적화론에서는 속도 가 에 대한 변화율 로 나타나 최급강하법 (Gradient Descent Method) 라는 최적화 방 법론이 된다. ◦ 여기에서 이며 ◦ 를 “Directional Derivation” 이라 한다. ( 방 향 도함수 )

◦ 이때 Projection 함수 가 있어서 다음 을 만족한다고 하자. ◦ 앞에서 구한 Directional Derivation 에 를 적용하면 ◦ 이것을 에 대한 Linear Combination 으로 생각하면 ◦ 이는, 가 없다면 의 각 성분에 대한 의 Dot Product 로 볼 수 있다. 이를 Differential (1-form) 이라 하며 단위 입력에 대한 미소 선분 변화량으로 정의된다.

 함수도 앞의 Vector Space 공리를 만족하면 Space 를 구성할 수 있다. ◦ Let S be a set and K be a field. ◦ Consider a Function f of S such that  The function f is called K-valued function. ◦ Let V be the set of all functions of S into K and ….  Linearity ( 결합 법칙 성립 G1 )  Field Association : for  Zero Function : if x is in the set S of zero element for V HW 1. Linearity 가 성립 하면 결합 법칙이 성립 함을 증명하라. C 는 Field Component 이므로 자동적으로 배분 법칙 2 개가 성립한다.

 위 3 조건을 만족하고 함수 f 가 덧셈에 대한 역원 이 존재하면 “Function Space” 가 성립한다.  Example ◦ If there exists a vector Space V and f satisfies the conditions, then the set of functions on V constructs a function space over field K, such that ◦ Scalar Space and Continuous function space ◦ Differentiable function space

 Linearly Independent (1 차 결합 ) ◦ Let V be a vector space over K ◦ Let be elements of V ◦ Vectors are linearly independent iff ◦ Example

◦ Example 2 – Function space  Definition of Basis ◦ The vectors of V are linearly independent ◦ In addition, generates V ◦ Then, constitute or form a basis of V ◦ Example  The of example form a basis of  Two functions constitute a function space.  Coordinate ◦ The coordinate of an element of with respect to a basis is HW2. 이 두 함수가 1 차 독립 임을 증명하라. Coordinate Vector

 Theorem 2.2 (Maximal ?) ◦ Let be a set of generators of a vector space V. Let be a maximal subset of linearly independent elements. Then is a basis of V. (Where ) ◦ Basis 는 1 차 독립이며 벡터공간을 만들 수 있으면 어떤 것이든 가능하다. ◦ 특히 Orthogonal 이면 위 조건을 간단히 만족하므로 이 러한 특성을 가진, 어떠한 종류의 Group, Function, Mapping over Field 면 Basis 가 된다.

 Theorem 3.1 ◦ Let V be a vector space over field K, Let be a basis of V over K. Let, be a element of V. Then are linearly dependent.  Theorem 3.2 (The uniqueness of the number of the basis for V) ◦ Let V be a vector space and suppose that one basis has n elements, and basis has m elements. Then m=n.

 Let V be a vector space having a basis consisting of n elements. Then the number n is the dimension of V  Theorem 3.3 ◦ Let V be a vector space, and a maximal set of linearly independent elements of V. Then the set is a basis of V  Corollary 3.5 ( 따름 정리 ) ◦ Let V be a vector space and let W be a subspace of V. if then V=W

 Sum ◦ For, and ◦ If, then ◦ Moreover, ◦ Therefore is a subspace. ◦ V is Direct Sum of U and W if, there exist unique elements

 Notation of Direct Sum ◦ When V is a direct sum of subspaces U, W  Theorem 4.3 ◦ If V is a finite dimensional vector space over K, and  Direct Product ◦ If and, we define ◦ If, define the product ◦ Then is a vector space and called “Direct product “of U and W.

 Properties of Direct Product and Direct Sum ◦ Spanning dimensions of direct product ◦ Direct Sums ◦ Direct Products ◦ Addition is defined component wise, and multiplication by scalars is also component wise.

 Wedge Product (Exterior Product)