Computer system ArchitectureMain processor / memory / IO device→ 이 장치들이 bus로 연결되어 있음 CPU는 메인 메모리에 있는 것들을 하나씩 가져와서 시작PC: 현재 실행하고 있는 주소를 담고 있는 register모든 IO device는 controller가 있음, 일명 펌웨어로 돌아가는 cpu는 아니지만 컨트롤러이다. https://www.techopedia.com/definition/11356/io-controller-ioc→ I/O controller한테 명령을 시키고, 그것이 끝날 때 알려달라고 요청. 그래서 interrupt라는 개념이 등장. 매 instruction이 끝날 때마다 interrupt를 체크하고, 만약 interrupt가 왔으면..

Definition of Operating systemA. Silberschatz: “A program that acts as an intermediary between a user of a computer and the computer hardware.”Dietel: “Programs that make the hardware usable.”Operating Systems Goals자원의 효율적인 사용예전에는 하드웨어가 비쌌고, 그 효율을 최대한 쓰기 위해서 만들어짐.사용자 편의성유저 입장에서 커맨드를 모르고도 사용할 수 있게끔신뢰성, 접근성Evolution of Operating systemsBatch system (한번에 하나의 프로그램만 처리할 수 있음)multi-programmed batch sy..

Generative ModelGiven training dataset, we want to generate new samples from the same distribution. 즉 Generative model은 density of the data를 추정하는 것이 목표이다.💡learn pmodel(x)p_{\text{model}}(x)pmodel​(x) that approximates pdata(x)p_{\text{data}}(x)pdata​(x)Applications of Generative ModelDensity estimationData explorationAnomaly detectionImage-to-Image translationSuper-resolution : Increase the re..

Curse of DimensionalityDatasets are typically high-dimensional→ 차원이 올라갈수록 영역당 observation이 줄게 된다. 또한, computational cost가 올라가게 된다. 이러한 현상을 curse of dimensionality 라고 한다.Observed Dimensionality실제로 data가 놓여있는 공간의 dimension은 그보다 더 작다.Dimensional Reduction기존 데이터들의 properties들을 보존하면서 high-dimensional space를 low-dimensional space로 내리고자 하는것→ It is commonly used for feature extraction data compression d..

Gaussian Mixture Model (GMM)현재 주어진 label이 없는 training set {x(1),…,x(n)}\{x^{(1)}, \dots, x^{(n)}\}{x(1),…,x(n)}의 distribution을 추정하고 싶다. 이를 위해서 다음과 같은 joint distribution을 모델링한다.p(x(i),z(i))=p(x(i)∣z(i))p(z(i))p(x^{(i)}, z^{(i)}) = p(x^{(i)}|z^{(i)})p(z^{(i)})p(x(i),z(i))=p(x(i)∣z(i))p(z(i))이때, z(i)∼Multinomial(ϕ)z^{(i)} \sim \text{Multinomial}(\phi)z(i)∼Multinomial(ϕ) and x(i)∣z(i)∼N(μj,Σj)x^{(..

Unsupervised LearningClusteringK-means algorithmMixture of GaussianDimensionality reductionPrincipal component analysis (PCA)Factor analysisMixture of Factor analysisKernel PCAt-SNEGenerative modelGenerative adversarial networks (GAN)Variational Auto Encoder (VAE)Different definitions of likelihoodLet's break down the likelihood functions for generative and discriminative models in both supervis..

Training vs Test ErrorsRegression problem에서는 일반적으로 loss function을 MSE로 잡는다.J(θ)=1N∑i=1N(y(i)−hθ(x(i)))2J(\theta) = \frac{1}{N}\sum_{i = 1}^N(y^{(i)}-h_\theta(x^{(i)}))^2J(θ)=N1​i=1∑N​(y(i)−hθ​(x(i)))2하지만 test error는 위 방식과는 다름L(θ)=E(x,y)∼D[(y−hθ(x))2]L(\theta) = E_{(x, y) \sim \mathcal D}[(y-h_\theta(x))^2]L(θ)=E(x,y)∼D​[(y−hθ​(x))2]where a test sample (x,y)(x, y)(x,y) is sampled from the so cal..

Back-propagationDownstream gradient를 upstream gradient와 local gradient를 활용해서 구할 수 있다.Computational Graph복잡한 함수를 small function으로 쪼갠다는 것이 핵심기본적으로 upstream gradient와 local gradient를 곱해서 downstream gradient를 구한다.💡local gradient를 구하는 방법은 함숫값을 이용할 수도 있고, input값을 이용할 수도 있다. 두가지 방법 모두 다 적용해서 해볼 것.추가적으로 Sigmoid 단위로 묶으면 좀 더 편할 수 있다.💡local gradient는 함숫값을 이용해서 쉽게 구할 수 있다. 여기에서는 0.73×0.270.73 \times 0.270.7..