본문 바로가기

AI

 (10)
[Tensorflow 자격증 공부] batch_size의 개념 1000장의 데이터 batch_size = 10 update : 100번 장점: 미세한 조정 가능 단점: 속도가 느리다 업데이트 되는 양 자체도 작아서 초기 학습 값이 잘못되었을때 다시 되돌아 오지 못한다. batch_size = 100 update : 10번 장점: 크게크게 업데이트 속도가 빠르다 단점: 정밀도 떨어진다 적절한 batch_size 찾는 법 model.fit(batch_size는 32로 디폴트 지정됨) 또는 전처리 단계에서 batch_size 설정 가능 -> 장점은 train batch 크게/ valid batch 작게 따로 설정가능 Train/valid data 개수 batch_size steps_per_epoch validation_steps 1000 10 100 200 10 20 1..
[Tensorflow 자격증 공부] 1번문제 전체 복사 붙여넣게 금지 xs 와 ys 값이 랜덤으로 주어지므로 #YOUR CODE HERE 이하로만 손대기 import numpy as np import tensorflow as tf def solution_model(): xs = np.array([-1.0, 0.0, 1.0, 2.0, 3.0, 4.0], dtype=float) ys = np.array([5.0, 6.0, 7.0, 8.0, 9.0, 10.0], dtype=float) # YOUR CODE HERE model = tf.keras.models.Sequential([ tf.keras.layers.Dense(1, input_shape=[1]), ]) model.compile(optimizer="sgd", loss="mse") model.fit..
[Utils] 구글 코랩(Google Colaboratory ) 단축키 ctrl + m + a 위에 셀 추가 ctrl + m + b 아래에 셀 추가 ctrl + m + d 셀 삭제 ctrl + enter 해당 셀 실행 shift + enter 해당 셀 실행 후 다음 셀로 이동 Alt + enter 해당 셀 실행 후 아래쪽에 셀 추가 ctrl + m + m 해당 셀을 텍스트셀로 변환 ctrl + m + y 해당 셀을 코드셀로 변환
[Utils] 구글 코랩 사용하기 (Google Colaboratory) tensorflow 자격증 환경 세팅하기 1. 구글 드라이브 새로만들기 - 더보기 - 연결할 앱 더보기 (필자는 코랩이 깔려있어서 목록에 보이는 상태) 2. "colab" 검색하여 설치 실행
[Tensorflow 자격증 공부] 선형함수와 오차 1. 선형함수의 개념 Y = W * X + b W : Weight : 기울기 b : bias : 절편 2. 오차를 구하는 방법 각각의 X 값 마다 오차값들을 그냥 더하기만 한다면? 오차가 0이 나올 수 있다. -> 오류가 있음 ㅇ MAE (Mean Absolute Error) 오차 절대값 평균 ㅇ MSE (Mean Squared Error) 오차 제곱 평균
[Tensorflow 자격증 공부] 스케일링/원핫인코딩/relu/loss함수/compile/체크포인트 문제 유형 1번문제 기본문제 2/3/4 는 분류문제 sigmoid/ softmax둘 중 하나 checkpoint callback = [checkpoint] 저장을 한 후 자동으로 best epoch의 w 값을 실어주기 매 epoch 마다 loss가 더 낮게 나오면 checkpoint에 저장된다 가장 마지막 코드 model.load_weights(checkpoint_path) 2번은 3가지 문제 중에 한가지 랜덤하게 나옴 (2가지 유형) 1) 이미지 분류 2개 - mnist 손글씨분류 / fashion mnist 2) 정형데이터 - iris 꽃 분류문제 이미지 rescale 픽셀들을 하나씩 까서 보면 0~255 사이의 값을 가지고 있다. 1. 모든 픽셀 값이 0~1 사이의 값을 가지도록 하자 = Norma..
[Tensorflow 자격증 공부] Fully Connected Layer (Dense Layer) 1. Dense Layer (Fully Connected Layer) : 완전히 연결된 레이어 각각의 노드들이 완전히 연결되어있는 레이어 = Dense Layer = Fully Connected Layer = FC ㅇ 그림에서 보이는 하나의 동그라미는 = 노드 = 뉴런 이라고 한다. ㅇ 그림에서 각각의 layer 마다 노드의 개수가 다르다. hidden layer1의 Dense는 4 ㅇ input layer로 데이터가 들어와서 output layer로 데이터가 나간다. ㅇ input layer에서는 input_shape를 명시해 주어야한다. ㅇ 분류문제의 경우) output layer에서는 분류 class의 개수와 output layer의 노드의 개수가 일치해야한다. ex) 빨강/노랑/파랑 분류 문제시 ..
[AI] 머신러닝을 위한 데이터 준비 1) 사전작업 실제 문제가 해결될 수 있는지? 준비한 데이터가 의미가 있는지? 효용성이 있는지? 2) Data Preparation 다양한 내외부의 소스 수집 Data -> Data Preprocessing / Feature Enginnering -> Feature -> Learning Data Preparatin Pipeline Data -> Data Acquisition(데이터 수집,획득) -> Data Preprocessing(처리) -> Feature Engineering(가공, 도메인) -> Feauture 머신러닝 프로젝트 성공의 열쇠 대다수의 Data Preparation 과 Feature Engineering 기법은 도메인에 많은 영향을 받는다 (Domain Specific) - Data ..
[AI] 머신러닝의 개념과 요소 Data란? 현실세계의 어떤 현상을 / 관찰하여 / 기록한 것 ex) 심장데이터 심장상태를 관찰(청진기)하여 기록한것(심박수) 데이터의 특징 1) Facts : 객관화된 자료 2) No meaning : 의미가 없다. 주변의 context 가 필요 3) Representation of real world : 자연어 처리 ㅇ Feature : 요인, 변수란? 데이터를 컴퓨터가 이해할 수 있도록 수치(numeric) 또는 디지털(digitized)로 표현한 것 ex) 남자/여자 --> 0/1 ex) Titanic Feature 타이타닉호 티켓을 디지털 형태로 컴퓨터가 이해하도록 표현한다. Synonym of Feature (동의/유사어) - 독립변수(Independent Variable) - 설명변수(Exp..
[AI] 머신러닝을 위한 모델구축 및 평가과정 ㅇ 데이터과학의 목표 : 의사결정지원, 수익화(수익창출) ㅇ 머신러닝의 목표 : 예측과 패턴분석 ㅇ 전체적인 머신러닝 업무 프로세스 1) 문제파악 및 문제정의 2) 데이터 준비 3) 모델구축 & 평가 4) 결과 공유 5) 모니터링 ------------------------------------------------------ 1. 문제파악 및 문제정의 [세부프로세스] 비즈니스문제파악 - 머신러닝 문제로 전환 - 머신러닝 도입 가능성/필요성 검토 - 효과검증 설계 1) 비즈니스문제파악 = 문제정의(Define the Problem) 머신러닝 프로젝트를 시작할 때 해결해야하는 비즈니스 문제를 명확하게 먼저 정의 2) 머신러닝 문제로 전환 머신러닝의 종류 (1) Supervised Learning (지도학습..

티스토리툴바