tacit

인덱싱은 필요한 칼럼이나 로우를 인덱스로 가져오는 것이다.

슬라이싱은 필요한 부분만 남기고 잘라내는 것이다.

1) .loc : 명시된 인덱스 참조

import numpy as np
import pandas as pd

family_df = pd.DataFrame({"Gender":gender_series, "Age":age_series, "Job":job_series})
        Gender   Age         Job
Flin      Male   NaN     Student
Hank      Male  30.0         DEA
Mary    Female  25.0      Doctor
Skyler  Female  38.0  Accountant 

# "Hank"라고 명시적으로 인덱스 표기하여 데이터 추출하기
print(family_df.loc["Hank"])

# 결과
Gender    Male
Age         30
Job        DEA
Name: Hank, dtype: object

# 명시적인 인덱스의 범위를 지정하기 & 명시적인 칼럼의 범위 지정하기 
# 필요한 데이터만 추출하기
print(family_df.loc["Hank":"Skyler", :"Age"])

# 결과
        Gender   Age
Hank      Male  30.0
Mary    Female  25.0
Skyler  Female  38.0

2) .iloc : 정수 인덱스 참조

import numpy as np
import pandas as pd

family_df = pd.DataFrame({"Gender":gender_series, "Age":age_series, "Job":job_series})
        Gender   Age         Job
Flin      Male   NaN     Student
Hank      Male  30.0         DEA
Mary    Female  25.0      Doctor
Skyler  Female  38.0  Accountant 

# 일반적인 정수 인덱스를 사용하여 데이터 추출하기
print(family_df.iloc[0])

# 결과
Gender       Male
Age           NaN
Job       Student
Name: Flin, dtype: object

# 일반적인 정수 인덱스의 범위를 지정하기 & 칼럼번호도 정수로 범위 지정하기
# 필요한 데이터만 추출하기 

print(family_df.iloc[1:3, 0:2])
# 결과
      Gender   Age
Hank    Male  30.0
Mary  Female  25.0

3) .head(N) : 위에서부터 N개 남기고 잘라내기

import numpy as np
import pandas as pd

family_df 
        Gender   Age         Job  Tall  Weight  Number
Flin      Male   NaN     Student   178    70.0     0.0
Hank      Male  30.0         DEA   183     NaN  5490.0
Mary    Female  25.0      Doctor   165     NaN  4125.0
Skyler  Female  38.0  Accountant   170     NaN  6460.0
Walt      Male  50.0     Teacher   180     NaN  9000.0
Zessi     Male  23.0      Dealer   170     NaN  3910.0

# 위에서부터 3개만 잘라내기

print(family_df.head(3))
      Gender   Age      Job  Tall  Weight  Number
Flin    Male   NaN  Student   178    70.0     0.0
Hank    Male  30.0      DEA   183     NaN  5490.0
Mary  Female  25.0   Doctor   165     NaN  4125.0

DataFrame (데이터프레임) 은 여러개의 Series가 모여서 이룬 행*열 데이터이다.

흔히 생각하는 "표" 와 같다.

데이터베이스의 기반이 된다.

#Series는 인덱스를 가진 하나의 "컬럼(열)" 이라고 보면 된다.

1. DataFrame(데이터프레임) 만들기

 - 이름을 인덱스로 가지는 3개의 시리즈가 있다. (gender/age/job)

 - 이 3개의 시리즈를 이어 붙여서 하나의 family_df 데이터프레임을 만들었다.

 - 시리즈끼리 누락되어있는 인덱스 값은 자동으로 NaN 으로 들어간다.

import numpy as np
import pandas as pd

gender_series = pd.Series(['Female','Female','Male', 'Male'], index = ['Skyler','Mary','Hank','Flin'])
age_series = pd.Series([38,25,30], index = ['Skyler','Mary','Hank'])
job_series = pd.Series(["Accountant","Doctor","DEA","Student"],['Skyler','Mary','Hank','Flin'])

family_df = pd.DataFrame({"Gender":gender_series, "Age":age_series, "Job":job_series})
# 결과 
        Gender   Age         Job
Flin      Male   NaN     Student
Hank      Male  30.0         DEA
Mary    Female  25.0      Doctor
Skyler  Female  38.0  Accountant

다음과 같은 데이터프레임이 만들어 졌다.

2. 데이터프레임에 새로운 컬럼 추가하기

import numpy as np
import pandas as pd

#2. 특정 시리즈를 데이터프레임에 칼럼으로 추가하기
tall_series = pd.Series([170,183,165,178],
                         index = ['Skyler','Hank','Mary','Flin'])
family_df["Tall"] = tall_series
# 결과
        Gender   Age         Job  Tall
Flin      Male   NaN     Student   178
Hank      Male  30.0         DEA   183
Mary    Female  25.0      Doctor   165
Skyler  Female  38.0  Accountant   170

위와 같이 Tall 시리즈를 이용해서 컬럼을 추가했다.

3. 데이터프레임에 새로운 열(Row) 추가하기 

3-1) 리스트로 추가하기 : 컬럼의 순서(gender/age/job/tall)에 맞게 리스트요소를 입력해야 한다.

3-2) 딕셔너리로 추가하기 : 순서에 상관없이 key 값과 value값이 서로 호응 하면 된다.

import numpy as np
import pandas as pd

#3. 새로운 데이터를 데이터프레임에 행(row)으로 추가하기
#3-1) 리스트로 추가하기
family_df.loc['Walt'] = ['Male',50, 'Teacher', 180]

# 결과
        Gender   Age         Job  Tall
Flin      Male   NaN     Student   178
Hank      Male  30.0         DEA   183
Mary    Female  25.0      Doctor   165
Skyler  Female  38.0  Accountant   170
Walt      Male  50.0     Teacher   180


#3-2) 딕셔너리로 추가하기
family_df.loc['Zessi'] = {'Gender':'Male','Job':'Dealer', 'Tall':170, 'Age':23}

# 결과
        Gender   Age         Job  Tall
Flin      Male   NaN     Student   178
Hank      Male  30.0         DEA   183
Mary    Female  25.0      Doctor   165
Skyler  Female  38.0  Accountant   170
Walt      Male  50.0     Teacher   180
Zessi     Male  23.0      Dealer   170

4. 데이터프레임에 빈 칼럼 추가하기

 - Weight라는 이름의 빈 칼럼을 추가 하였다

 - np.nan 을 사용하였다.

4-1) .loc를 사용하여 행과 열을 지정하여 특정 데이터 하나를 입력할 수있다.

import numpy as np
import pandas as pd

#4. 빈 칼럼을 데이터프레임에 추가하기
family_df['Weight']=np.nan
# 결과
        Gender   Age         Job  Tall  Weight
Flin      Male   NaN     Student   178     NaN
Hank      Male  30.0         DEA   183     NaN
Mary    Female  25.0      Doctor   165     NaN
Skyler  Female  38.0  Accountant   170     NaN
Walt      Male  50.0     Teacher   180     NaN
Zessi     Male  23.0      Dealer   170     NaN


#4-1) 빈 칼럼에 특정 데이터 하나 넣기
family_df.loc['Flin','Weight'] = 70
# 
        Gender   Age         Job  Tall  Weight
Flin      Male   NaN     Student   178    70.0
Hank      Male  30.0         DEA   183     NaN
Mary    Female  25.0      Doctor   165     NaN
Skyler  Female  38.0  Accountant   170     NaN
Walt      Male  50.0     Teacher   180     NaN
Zessi     Male  23.0      Dealer   170     NaN

5. 컬럼끼리의 연산으로 새로운 컬럼 데이터 생성하고 추가하기

 - 인덱스로 컬럼데이터를 불러와서 서로 연산을 할 수 있다.

 - .fillna(0) 으로 NaN 데이터를 0으로 변경하여 연산을 수행 하였다.

import numpy as np
import pandas as pd

#5. 인덱스로 불러온 시리즈끼리 연산해서 새로운 칼럼추가하기
family_df['Number'] = family_df['Tall'].fillna(0)*family_df['Age'].fillna(0)

# 결과
        Gender   Age         Job  Tall  Weight  Number
Flin      Male   NaN     Student   178    70.0     0.0
Hank      Male  30.0         DEA   183     NaN  5490.0
Mary    Female  25.0      Doctor   165     NaN  4125.0
Skyler  Female  38.0  Accountant   170     NaN  6460.0
Walt      Male  50.0     Teacher   180     NaN  9000.0
Zessi     Male  23.0      Dealer   170     NaN  3910.0

6. 특정 컬럼 선택하여 새로운 데이터프레임에 저장하기

- 열(Row)을 선택하는 방법은 인덱스처럼 불러오는 것이다.

- 복수의 열이 필요할 때는 인덱스 안에 리스트로 필요한 열을 가져올 수 있다.

- 행(column)을 선택하는 방법은 .loc로 인덱스를 불러오는 것이다.

- 복수의 행이 필요할 때에는 .loc[a:b] 로 범위를 지정하여 불러올 수있다.

import numpy as np
import pandas as pd

#6. 데이터프레임에서 특정 행열 선택해서 신규 데이터프레임 만들기

#열선택
body_data = family_df[['Tall', 'Weight']]

# 결과 
        Tall  Weight
Flin     178    70.0
Hank     183     NaN
Mary     165     NaN
Skyler   170     NaN
Walt     180     NaN
Zessi    170     NaN


#행선택
Woman_df = pd.DataFrame(family_df.loc["Mary":"Skyler"])

# 결과
        Gender   Age         Job  Tall  Weight  Number
Mary    Female  25.0      Doctor   165     NaN  4125.0
Skyler  Female  38.0  Accountant   170     NaN  6460.0

Pandas(판다스) 란?

파이썬의 라이브러리이다.

사용 목적은 방대한 행렬, 엑셀자료, CSV자료를 가지고 데이터베이스(DB)작업을 하기 위함이다.

딕셔너리와 유사한 시리즈(Series), 거대한 표인 데이터프레임(DataFrame) 을 가지고 강력한 연산작업을 할 수 있게 해주는 라이브러리이다.

pandas를 사용하려면 아래의 코드를 가장 먼저 입력해 주어야 한다.

import pandas as pd

1. Series (시리즈) : 특수한 딕셔너리, key 값을 인덱스로 사용할 수 있다.

#Dictionary(딕셔너리) = {'key': 'value', 'key2':'value2' ....}

key 값과 value 값이 있다.

이 딕셔너리를 그대로 가져와서 key값을 index로 사용한다고 생각하면 Series(시리즈) 가 된다.

1-2) Series(시리즈) 정의하기

 - 인덱스를 따로 명시하지 않으면 일반적인 인덱스로 0부터 카운트 된다.

 - 인덱스를 따로 명시하면 그대로 입력된다, 문자열로도 인덱스를 지정 가능하다.

import pandas as pd

#인덱스 미지정
data = pd.Series(['a','b','c','d'])
# 결과
0    a
1    b
2    c
3    d
dtype: object

print(data[1]) # 결과 : b


#인덱스 지정    
data2 = pd.Series(['a','b','c','d'], index = [1,2,3,4])

#결과
1    a
2    b
3    c
4    d
dtype: object

print(data2[1]) # 결과 : a

1-3) 딕셔너리를 Series(시리즈)로 가져오기

 - 딕셔너리의 Key 값이 Index로 들어간다.

 - index로 명시된 문자열로 불러올 수 도 있고, 일반적인 카운팅 index도 사용 할 수있다

import pandas as pd 

my_dict = {'RED':'#FF0000', 'GRN':'#40FF00', 'BLU':'#0404B4', 'PPL': '#8904B1'}

my_Series = pd.Series(my_dict) 
# 결과
RED    #FF0000
GRN    #40FF00
BLU    #0404B4
PPL    #8904B1
dtype: object

print(my_Series[0]) # 결과: #FF0000
print(my_Series['RED']) # 결과 : #FF0000

마스킹이란

원하는 조건을 달아서 조건에 맞는 배열요소들만 걸러내는 작업이다.

True/False를 반환하는 조건을 인덱스처럼 집어 넣으면 조건의 True 값을 반환하는 원소들만 뽑아낼 수 있다.

arrra2 = array[array > 3]

import numpy as np
my_arr = np.random.randint(0,10,(3,4))

[[6 3 5 6]
 [2 3 4 3]
 [0 4 8 0]]

print(my_arr > 5)
# 결과 
[[ True False False  True]
 [False False False False]
 [False False  True False]]

mask_arr = my_arr[my_arr >5] 
# 결과
[6 6 8]

Numpy를 이용해서 만든 배열의 여러가지 특징들을 뽑아내는 함수들과 메서드에 대해 정리해보자.

[배열이 가진 성분들/ 관련 함수 및 메서드]

.ndim

.shape

.size

.dtype

type()

.reshape(행,열)

np.concatenate([배열1, 배열2, ...], axis = 0)

np.split(배열, [i], axis = 0)

np.sum(배열)

np.sum(배열, axis = 0)

np.min(배열)

np.max(배열)

np.mean(배열)

np.std(배열)

1. .ndim

 - 배열의 차원 알아보기

import numpy as np
my_arr = np.random.randint(0,10,(3,4))

[[2 6 8 8]
 [9 6 0 8]
 [6 0 6 4]]

print(my_arr.ndim) # 결과 : 2

2. .shape

 - 배열의 행*열 모양 알아보기

import numpy as np
my_arr = np.random.randint(0,10,(3,4))

[[2 6 8 8]
 [9 6 0 8]
 [6 0 6 4]]

print(my_arr.shape) # 결과 : (3,4)

3. .size

 - 배열요소의 개수 세기

import numpy as np
my_arr = np.random.randint(0,10,(3,4))

[[2 6 8 8]
 [9 6 0 8]
 [6 0 6 4]]

print(my_arr.size) # 결과 : 12

- 배열요소의 데이터타입 알아보기

import numpy as np
my_arr = np.random.randint(0,10,(3,4))

[[2 6 8 8]
 [9 6 0 8]
 [6 0 6 4]]

print(my_arr.dtype) # 결과 : int64

import numpy as np
my_arr = np.random.randint(0,10,(3,4))

[[2 6 8 8]
 [9 6 0 8]
 [6 0 6 4]]

print(type(my_arr)) # 결과 : <class 'numpy.ndarray'>

6. .reshpe(행*열)

 - 배열의 모양 바꾸기 

 - 배열요소의 갯수에 맞게 모양을 바꿀 수 있다.

 - 요소갯수의 약수로만 만들 수 있다.

 - 2차원 배열에서 --> 다른 N차원으로 변경 불가

import numpy as np
my_arr = np.random.randint(0,10,(3,4))

[[9 2 1 9]
 [8 5 4 9]
 [2 9 1 7]] 

re_arr = my_arr.reshape(2,6) 
# 결과 
[[9 2 1 9 8 5]
 [4 9 2 9 1 7]]

re_arr2 = my_arr.reshape(2,2,4) 
#결과 : ValueError: cannot reshape array of size 12 into shape (2,2,4)

re_arr3 = my_arr.reshape(5,3)
# 결과 : ValueError: cannot reshape array of size 12 into shape (5,3)

 - 배열 합치기 

 - axis = 0/1 로 지정해줌으로써 합치는 방향을 정할 수 있다.

 - axis = 0 : 세로방향으로 이어 붙이기 , 열의 숫자를 맞춰주어야 한다.

 - axis = 1 : 가로방향으로 이어 붙이기 , 행의 숫자를 맞춰주어야 한다.

import numpy as np

A = np.random.randint(0,10,(2,3))
B = np.random.randint(11,100,(4,3))

AB = np.concatenate([A,B], axis = 0)
# 결과 
[[ 3  4  3]
 [ 2  9  3]
 [68 80 60]
 [12 62 86]
 [53 34 19]
 [50 57 32]]

A = np.random.randint(0,10,(2,3))
C = np.random.randint(11,100,(2,4))

AC = np.concatenate([A,C], axis = 1)
#
[[ 0  4  6 68 95 80 33]
 [ 5  5  5 84 39 13 15]]

8. np.split()

 - 배열 나누기 , 쪼개기 

 - axis 를 설정해줌으로써 가로방향으로 쪼갤지, 세로방향으로 쪼갤지 정할 수 있다.

 - axis = 0 : upper/lower 

 - axis = 1 : left/right 

import numpy as np

my_arr = np.random.randint(0,10,(3,4))
[[9 2 1 9]
 [8 5 4 9]
 [2 9 1 7]] 

upper, lower = np.split(my_arr, [1], axis = 0)
# 결과
print(upper) 
[[6 1 4 4]]
print(lower)
[[5 5 1 6]
 [0 7 6 6]]

left, right = np.split(my_arr, [1], axis = 1)
# 결과 
print(left) 
[[6]
 [5]
 [0]]
print(right)
[[1 4 4]
 [5 1 6]
 [7 6 6]]​

9. sum()

 - 배열요소들의 합 구하기 

 - axis 설정으로 가로방향 누적합/ 세로방향 누적 합을 구할 수 있다.

import numpy as np

my_arr = np.random.randint(0,10,(3,4))

[[9 2 1 9]
 [8 5 4 9]
 [2 9 1 7]] 

print(np.sum(my_arr)) # 결과 : 51

print(np.sum(my_arr, axis = 0))
# 결과 
[11 13 11 16]

print(np.sum(my_arr, axis = 1))
# 결과 
[15 17 19]

10. np.min(), np.max(), np.mean(), np.std(), np.count_nonzero()

- np.min() : 배열 요소 중 최소값 구하기

- np.max() : 배열 요소 중 최대값 구하기

- np.mean() : 배열요소들의 평균 구하기 

- np.std() : 배열 요소들의 표전편차 구하기

- np.count_nonzero() : 배열요소들 중 0이 아닌 것의 갯수 

import numpy as np

my_arr = np.random.randint(0,10,(3,4))

[[9 2 1 9]
 [8 5 4 9]
 [2 9 1 7]] 

print(np.min(my_arr)) # 결과 : 0

print(np.max(my_arr)) # 결과 : 7

print(np.mean(my_arr)) # 결과 : 4.25

print(np.std(my_arr)) # 결과 : 2.2407216099581255

print(np.count_nonzero(my_arr)) # 결과 : 12

랜덤한 수를 난수라고 한다.

np.random 을 사용해서 난수로 채워진 여러가지 배열을 만들어 보려한다.

1. np.random.random(행*열) : 원하는 행렬 크기로 난수배열 만들기

튜플()의 형태로 행*열이라고 생각하여 원하는 모양의 숫자를 입력하면 된다. (주의할점은 괄호()가 두개이다)

import numpy as np
a = np.random.random((3,4))
print(a)
# 결과
#[[0.30822896 0.62104282 0.09954799 0.9689817 ]
# [0.86878544 0.08885583 0.84083332 0.42928726]
# [0.13762798 0.34424021 0.68729553 0.02205725]]

2. np.random.normal(평균, 표준편차, (행*열)) : 평균과 표준편차를 지정하여 표준정규분포표에서 랜덤으로 원하는 크기의 숫자 데이터 배열만들기

import numpy as np
b = np.random.normal(0,1,(2,3))
print(b)
# 결과
#[[ 1.32520528 -1.41569207 -0.29792984]
# [ 0.61157424  1.4428348   0.81730907]]

import numpy as np
c = np.random.randint(0,10,(2,2))
print(c) 
# 결과
#[[6 3]
# [3 5]]

객체 : 성질(변수), 할 수 있는 행동(함수)이 담긴 지표

       : 필요한 변수와 함수가 담긴 지표

클래스 : 객체를 만들 수 있는 틀 

           객체가 갖고있는 변수 = 필드

           객체가 행하는 함수 = 메서드

인스턴스 : 클래스라는 틀로 찍어낸 객체, 피조물

1. 클래스 정의 하기

class Human():
	name = "Undefined"
    age = 0
    def birth(self):
    	print("응애")

Human 이라는 클래스를 만들었다.

name 과 age를 변수로 갖는다.

초기값을 지정해 주었다.

birth라는 함수 = 메서드를 갖는다.

birth(self)에서 "self"는 이 정의가 메서드라는 걸 알려준다.

2. 위에서 정의한 Human이라는 클래스 틀로 Jane이라는 객체를 찍어냈다.

찍어낸 객체인 Jane 이 바로 인스턴스이다.

Jane = Human()
Jane.name = Jane Kim
Jane.age = 10
Jane.birth()
# 결과 : 응애

Human에서 정의한 name 과 age 변수를 재정의 또는 사용하려면

Jane.name / Jane.age 로 사용할 수 있다.

메서드 또한 Jane.birth로 사용할 수 있다.

※헷갈렸던 부분

1. 한 객체의 메서드에서 그 객체의 필드를 참조할 땐 self를 이용해서 참조해야 한다.

= 클래스를 생성하면서 내부에 정의한 변수를 메서드에서 받아서 사용할 때

class Human():
	age = 10
    def introduce(self):
    	print(self.age, "살 입니다")

Jane = Human()
Jane.introduce() 

# 결과 : 10살 입니다.

2. 매개변수를 입력받는 경우의 메소드 정의 방법

= 클래스를 생성하면서 내부에 정의한 변수를 메서드에서 받아서 사용 + 매개변수 입력이 필요한 메서드

class Human():
    name = "Ud"
    age = 0
    def introduce(self, a,b):
        self.name = a
        self.age = b
        
Jane = Human()
Jane.introduce("제인",3)
print(Jane.name,"입니다.",Jane.age, "살 입니다.")

# 결과 : 제인 입니다. 3 살 입니다.

리스트를 다루다보면, 괄호()안에 인덱스를 넣어야 하는지, 데이터값을 넣어야 하는지 헷갈릴 때가 많다.

[데이터값을 넣는 메서드]

1. list.append(d) : 맨 뒤에 한 개의 자료만 추가

my_list = [1,2,3]
list.append(7)

# 결과 : my_list = [1,2,3,7]

2. list.remove(d) : 리스트 안에 있는 d를 삭제, 중복되는 경우 인덱스가 작은 것(앞에 있는 것) 1개를 삭제

리스트 안에 d가 없는 경우 에러 발생

my_list = [2,3,4,3,3,5]
my_list.remove(3)

# 결과 my_list = [2,4,3,3,5]

3. list.count(d) : 리스트 안에 있는 특정 데이터의 개수 세기, d의 개수 세기

my_list = [3,3,4,4,5,3,3]
my_list.count(3)

# 결과 : 4

[인덱스를 넣는 메서드]

1. list[a:b] : 리스트 슬라이싱, 인덱스 a이상, 인덱스 b미만으로 자르기, 리스트 자르기

my_list = ["빨", "주", "노", "초", "파"]
my_list2 = my_list[1:3]

# 결과 : my_list2 = ["주", "노"]

2. del list[i] : 인덱스 i 원소 삭제, 리스트에서 인덱스로 삭제하기, 리스트 데이터 삭제하기, 대괄호[]임

my_list = [4,2,56,3,12,6]
del my_list[3]

# 결과 : my_list = [4,2,56,12,6]

3. list.pop(i) : 인덱스 i의 원소 제거 후 그 원소를 반환, 리스트 인덱스로 원소 뽑아내기

괄호()안이 공백일 경우, 마지막의 원소를 제거 후 반환

my_list = ["빨", "주", "노", "초", "파", "남", "보"]
a = my_list.pop(3)

# 결과 : a = "초"
# 결과 : my_list = ["빨", "주", "노", "파", "남", "보"]

b = my_list.pop()

# 결과 : b = "보"
# 결과 : my_list = ["빨", "주", "노", "파", "남"]

[인덱스와 데이터값 모두 필요한 메서드]

1. list.insert(i,d) : 인덱스i 앞에 데이터 d를 넣는다. 리스트 원하는 위치에 데이터 입력하기, 리스트 중간에 데이터 삽입

 my_list = ['a','b','c','d']
 my_list.insert(2,77)
 
 # 결과 : my_list = [a','b',77,'c','d']

[인덱스와 데이터값 필요 없는 메서드]

1. list.sort() : 리스트 오름차순 정렬, 리스트 사전순 정렬

2. list.reverse() : 리스트 뒤집기, (내림차순 아님) 원래있던 리스트를 거꾸로 뒤집는 것

3. list.clear() : 리스트 비우기