AI
파이썬 머신러닝 완벽 가이드 - 8. Clustering(2) (평균 이동, GMM, DBSCAN, 예제 실습)
* 티스토리에서 마크다운 적용이 안돼서 깨지는 부분이 많습니다. * 깨지지 않은 파일로 자세히 보기 원하시는 분들은 아래 링크 참고해주세요! 파이썬 머신러닝 완벽 가이드 - 8. Clustering(2) (평균 이동, GMM, DBSCAN, 예제 실습) : K-평균과 유사하게, 군집의 중심을 지속적으로 움직이면서 군집화를 수행함: 그러나, K-평균이 중심에 소속된 데이터의 평균 거리 중심으로 이동하는데 반해,: 평균 이동은 데이터가 모여있는 velog.io 4. 평균 이동 Mean shift : K-평균과 유사하게, 군집의 중심을 지속적으로 움직이면서 군집화를 수행함 : 그러나, K-평균이 중심에 소속된 데이터의 평균 거리 중심으로 이동하는데 반해, : 평균 이동은 데이터가 모여있는 밀도가 가장 높은 곳..
파이썬 머신러닝 완벽 가이드 - 6. Regression(2) (규제, 로지스틱회귀, 회귀 트리 및 예제)
* 티스토리에서 마크다운 적용이 안돼서 깨지는 부분이 많습니다. * 깨지지 않은 파일로 자세히 보기 원하시는 분들은 아래 링크 참고해주세요! 파이썬 머신러닝 완벽 가이드 - 6. Regression(2) (규제, 로지스틱회귀, 회귀 트리 및 예제) : $w^2$에 대해 패널티를 부여하는 방식. 주요 생성 파라미터는 alpha로, alpha가 커질 수록 회귀 계수 값을 작게 만든다.$RSS(w) + alpha\*||w||\_2^2$ 식을 최소화하는 w를 찾는 것: $|w|$에 패널티를 부여하는 velog.io 5. 규제 Regularization 1. 릿지 회귀 Ridge : $w^2$에 대해 패널티를 부여하는 방식. 주요 생성 파라미터는 alpha로, alpha가 커질 수록 회귀 계수 값을 작게 만든다...
파이썬 머신러닝 완벽 가이드 - 6. Regression(1) (경사하강법, 평가지표, 선형회귀)
* 티스토리에서 마크다운 적용이 안돼서 깨지는 부분이 많습니다. * 깨지지 않은 파일로 자세히 보기 원하시는 분들은 아래 링크 참고해주세요! 파이썬 머신러닝 완벽 가이드 - 6. Regression(1) (경사하강법, 평가지표, 선형회귀) : 여러 개의 독립 변수와 한 개의 종속 변수 간의 상관관계를 모델링 하는 기법: 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀계수(Regression coefficients)를 찾아내는 것회귀계수 velog.io Regression 회귀 : 여러 개의 독립 변수와 한 개의 종속 변수 간의 상관관계를 모델링 하는 기법 : 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀계수(Regression coefficients)를 찾아내는 것 회귀..
파이썬 머신러닝 완벽 가이드 - 5. Classification(3) (예제 및 스태킹)
* 티스토리에서 마크다운 적용이 안돼서 깨지는 부분이 많습니다. * 깨지지 않은 파일로 자세히 보기 원하시는 분들은 아래 링크 참고해주세요! 파이썬 머신러닝 완벽 가이드 - 5. Classification(3) (예제 및 스태킹) EDA 중, head, info, describe 사용이상치 발생 ⇒ 제일 많은 걸로 대체하는 방법론도 있음LGBMClassifier( . . . boost_from_average=False) : 레이블값 매우 불균형한 경우 False, if True ⇒ 재현률 및 R velog.io 4. 실전 예시 A. Santander 예시 EDA 중, head, info, describe 사용 이상치 발생 ⇒ 제일 많은 걸로 대체하는 방법론도 있음 B. 신용카드 사기 검출 예시 LGBMC..
파이썬 머신러닝 완벽 가이드 - 5. Classification(2) (앙상블)
* 티스토리에서 마크다운 적용이 안돼서 깨지는 부분이 많습니다. * 깨지지 않은 파일로 자세히 보기 원하시는 분들은 아래 링크 참고해주세요! 파이썬 머신러닝 완벽 가이드 - 5. Classification(2) (앙상블) : 여러 개의 분류기(classifier)를 생성하고 그 예측을 결합함으로써 보다 정확한 최종 예측을 도출하는 기법→ 보팅Voting, 배깅Bagging, 부스팅Boosting + 스태킹Stacking보팅 : 서로 다른 알고리즘을 가진 velog.io 3. 앙상블 Ensemble : 여러 개의 분류기(classifier)를 생성하고 그 예측을 결합함으로써 보다 정확한 최종 예측을 도출하는 기법 → 보팅Voting, 배깅Bagging, 부스팅Boosting + 스태킹Stacking 보팅 ..
파이썬 머신러닝 완벽 가이드 - 5. Classification(1) (결정트리)
* 티스토리에서 마크다운 적용이 안돼서 깨지는 부분이 많습니다. * 깨지지 않은 파일로 자세히 보기 원하시는 분들은 아래 링크 참고해주세요! 파이썬 머신러닝 완벽 가이드 - 5. Classification(1) (결정트리) Classification 분류 : 학습 데이터로 주어진 데이터의 피처와 레이블 값(결정 값, 클래스 값)을 머신러닝 알고리즘으로 학습해 모델을 생성하고, 이렇게 생성된 모델에 새로운 데이터 값이 주어졌을 velog.io Classification 분류 : 학습 데이터로 주어진 데이터의 피처와 레이블 값(결정 값, 클래스 값)을 머신러닝 알고리즘으로 학습해 모델을 생성하고, 이렇게 생성된 모델에 새로운 데이터 값이 주어졌을 때 미지의 레이블 값을 예측하는 것 나이브 베이즈 Naive ..
파이썬 머신러닝 완벽 가이드 - 4. Evaluation
* 티스토리에서 마크다운 적용이 안돼서 깨지는 부분이 많습니다. * 깨지지 않은 파일로 자세히 보기 원하시는 분들은 아래 링크 참고해주세요! 파이썬 머신러닝 완벽 가이드 - 4. Evaluation 실제 데이터에서 예측 데이터가 얼마나 같은지 판단하는 지표$$⁍ $$특히 정확도는 불균형한 레이블 값 분포에서는, 적합한 평가 지표가 아님ex) MNIST 데이터 셋을 다중분류에서 이진분류로 바꾸 velog.io Evaluation 평가 ( in 분류) 1. 평가 지표 1. 정확도 Accuracy 실제 데이터에서 예측 데이터가 얼마나 같은지 판단하는 지표 특히 정확도는 불균형한 레이블 값 분포에서는, 적합한 평가 지표가 아님 ex) MNIST 데이터 셋을 다중분류에서 이진분류로 바꾸면 (7을 True, 나머지..
파이썬 머신러닝 완벽 가이드 - 3. Scikit-Learn
* 티스토리에서 마크다운 적용이 안돼서 깨지는 부분이 많습니다. * 깨지지 않은 파일로 자세히 보기 원하시는 분들은 아래 링크 참고해주세요! 파이썬 머신러닝 완벽 가이드 - 3. Scikit-Learn Classifier 분류: DecisionTreeClassifier, RandomForestClassifier, GradientBoostingClassifier, GaussianNB, SVCRegressor 회귀: LinearRegression, Ridge, Lasso velog.io Scikit-Learn 사이킷런 1. Estimator 1. Classifier 분류 : DecisionTreeClassifier, RandomForestClassifier, GradientBoostingClassifier,..
파이썬 머신러닝 완벽 가이드 - 2. Pandas
* 티스토리에서 마크다운 적용이 안돼서 깨지는 부분이 많습니다. * 깨지지 않은 파일로 자세히 보기 원하시는 분들은 아래 링크 참고해주세요! 파이썬 머신러닝 완벽 가이드 - 2. Pandas read_csv() : ,, read_table() : \\t, read_fwf() : 고정길이 파일value_counts(): 해당 칼럼 값의 유형과 건수 확인 (Series 객체에만 정의)describe() : agg류 연산 보여줌2차원 이하의 데이터들만 변환 가 velog.io 🗂 Pandas 판다스 1. 데이터 읽기 및 확인 read_csv() : ,, read_table() : \t, read_fwf() : 고정길이 파일 value_counts(): 해당 칼럼 값의 유형과 건수 확인 (Series 객체에만 ..
AI가 빛 발하는 3가지 비즈니스 솔루션
📰 본문 인공지능이 너무 남용되고 있는 느낌이다. 아마도 클라우드 컴퓨팅 서비스 업체가 AI를 서비스로 제공하면서 시작된 일인지도 모른다. 클라우드는 인공지능을 솔루션 개발자가 저렴하게 바로 이용할 수 있도록 만들었고, 그 결과, AI 기능이 필요없는 애플리케이션까지 AI가 적용되고 있다. 하지만 이런 경우 AI는 별다른 가치를 만들어내지 못하고 끝나는 경우가 많은데, 경차에 고가의 경주용 브레이크를 다는 것과 마찬가지다. 경차는 기본 브레이크로도 잘 멈추기 때문에 고성능 브레이크는 낭비일 뿐이다. 요즘은 AI의 실용적인 활용에 대한 이해가 높아졌다. 즉 AI가 언제 가치를 발하고 언제는 아무런 가치가 없는지 알 수 있다. 클라우드 기반 AI의 가치를 극대화하는 비즈니스 솔루션으로는 다음 세 가지를 꼽을..
"ㅇㅇ후보가 당선할 것" AI의 예측 맞았을까
📰 본문 “여론조사는 틀렸고, 인공지능(AI)이 맞았다.” 2016년 미국 대통령 선거 직후 나왔던 얘기입니다. 당시 뉴욕타임스, 폭스뉴스, 워싱턴포스트, CBS 등 미국 주요 언론사들의 여론조사는 힐러리 클린턴의 승리를 예상했습니다. 반면 인도의 모그IA, 캐나다 어드밴스드 심볼릭스의 AI폴리 등 여러 AI 프로그램은 도널드 트럼프가 당선할 것이라고 점쳤고요. 실제 결과는 트럼프의 승리였습니다. 이는 세계의 이목이 집중된 미국 대선에서 AI가 기성 여론조사를 확실히 제친 첫 사례로 꼽힙니다. 이후 영미권에선 선거 결과 예측 등에 AI를 활용하는 사례가 꾸준합니다. 국내에서도 대선에서 AI의 영역이 늘고 있는 분위기입니다. 2020 美 대선 결과도 맞힌 AI 투표 결과를 예측하는 AI는 점점 많아지고 있..
딥러닝이 자연어 처리(NLP)에 가장 효과적인 이유
📰 본문 자연어 처리(Natural Language Processing, NLP)는 앞으로 인공지능(AI)이 인간의 욕구와 행동을 이해하는 방식을 크게 바꿔 놓을 전망이며, 이 자연어 처리의 비약적인 발전에 딥러닝이 핵심 역할을 하게 될 것이다. 이는 비즈니스와 마케팅에 어떤 영향을 미칠 것인가? 때로 인공지능(AI)을 직접 구축해보면 인간의 사고방식이 얼마나 복잡하게 작용하는지 절실히 체감하게 된다. AI가 인간의 언어를 이해하는 방식에 있어서 그 미묘한 차이를 연구하는 기술의 한 분야인 자연어 처리도 마찬가지로 굉장히 복잡하게 작용한다. 일례로 ‘plaster’(회반죽, 벽면을 바를 때 쓰는 물질)와 ‘plasters’(일회용 반창고)의 차이점을 학습하는 단순한 작업이 AI에게는 무척 버거운 일일 수..