[멀티잇] start! Day 1

가상환경 만들기

Conda create -n dsde01 python = 3.9 혹은 3.10

Conda activate 이름명:dsde01

Conda bat deactivate

 

REPL (read eval print loop)

중괄호로 감싸는 경우: 명령어가 들어감. 

파이썬은 { } 대신 들여쓰기로 함. 

Space 4를 권장함. 

어떤 운영체제에서도 파이썬을 사용할 수 있음.

리눅스 mac window 상관없음 -> 플랫폼에 독립적임

*mac terminal은 마우스 우클릭이 복사

 

anaconda로 가상환경 사용 이유

가상환경: 플랫폼마다 다른 버전을 사용하고싶어서 

머신러닝: tensor1(3.7), tensor2(3.9, 3.10)도 설치할거임.

 

Tool

• IDE: pycharm (쓰고, 결과확인하는데 유용함.)
• Text editor : visual studio code
• 텍스트 에디터는 작성하는 걸 도와줌.  
• html(c언어)은 visual studio가 유용

 

✨ Process

빅데이터: Hadoop, spark, airflow + db(oracle, mysql, mongodb:비정형)

분석: ML

서비스: django (전후로 크롤링, 시각화 배울 것)

=> 일련의 과정: 빅데이터 파이프라인

마지막 포트폴리오가 서비스를 위한 파이프라인 구축하는 거임. 

 

웹 서비스 클라이언트

html, css, java script(jquery)

데이터 엔지니어는 리눅스가 필요함 (서버가 리눅스로 이뤄져서)

 

	수업	현업
data engineer	각 툴 다뤄보기 연결	db 유지보수
data analyst
data scientist	모델 개념 배우고 돌려보기 (영어논문)	커스터마이즈

AWS 계정 팀별 하나씩 부여

엔지니어는 버전에 민감함..