아나콘다(Anaconda) - 기본 설명 안녕하세요. 좋은사람 입니다. 작년에 아나콘다 기초 명령어 관련 포스팅을 한 후 많은 분들이 질문을 주시고 피드백하는 과정속에서 관련 내용을 더욱 심도있게 학습을 할 수 있는 한 해 였습니다. 이번 포스팅 부터 아나콘다의 기본 명령어 이외에 레퍼런스 에서 제공하는 다양한 명령어 학습과 프로젝트 수행 중에 체감할 수 있는 이점에 대해서 알아보겠습니다. 제 계획은 약 3부에 걸쳐서 작성할 예정이며, 경우에 따라서 분량은 늘어나거나 줄어 들 수 있음을 알려드려요. 지난 아나콘다 기초 학습 관련 포스팅은 오른쪽 링크를 참고하세요. - 관련 포스팅 아나콘다(Anaconda) - list, search 명령어 실습 및 설명 일반적인 Create 명령어로 가상환경을 생성 하는..
리눅스(Linux) - 파이썬 3.X 설치 및 교체 최근에 딥러닝 프로젝트 운영을 위해서 여러 대의 서버에 Apache Spark, Hive, Elasticsearch 등 여러 프로그램을 설정하는 업무가 있었습니다. 기존에 많이 수행했던 미션이지만, 서버마다 디폴트로 설치되어 있는 Python 2.x 버전이 yum 등에서 많이 사용되고 있어서 운영 환경의 파이썬 버전과 실행환경의 파이썬 버전을 별도로 가져가도록 설정 하는 과정을 정리 했습니다. 손쉽게 할 수 있는 설정이고 이번 기회에 정리하면 여러 사람들에게 도움이 될까 싶어 이렇게 별도의 포스팅을 통해서 정리하게 되었습니다. 하단에 내용을 순차적으로 실행하시면 누구나 쉽게 구성하실 수 있을거라 생각됩니다. 리눅스(Linux) - Repository 설..
파이썬(Python) - 의사결정트리 오늘은 파이썬을 활용해서 scikit-learn 라이브러리의 의사결정 트리를 간단하게 학습하고 관련 결과를 시각화 시키는 간단한 예제 소스를 공유하고자 합니다. 보통 R을 활용해서 간단하게 구현가능하지만, 필드에서 파이썬을 활용하는 경우도 많기에 이와 같은예제를 간단하게 구현해보았습니다. 의사결정트리는 다양한 규칙을 순차로 적용하면서 독립변수의 공간을 분류하고 기준값을 정하는 모델 이라고 할 수 있습니다. 매우 직관적인 분류모델이고 자료의 결과를 해석하기가 용이해서 많이 사용하는 알고리즘이라고 볼 수 있습니다. 그러면 문서 하단에서 간단하게 예제를 작성해보겠습니다. 파이썬(Python) - 의사결정트리(Decision Tree) 예제 소스 파이썬의 graphviz의 ..
파이썬(Python) - 데코레이터(Decorator) 오늘은 지난 시간에 이어서 파이썬 데코레이터(Decorator) 패턴 및 wraps 사용 예제를 작성해보고 소스코드를 설명드리겠습니다. 데코레이터에 대한 정의는 특정 함수를 랩핑(wrapping) 후 추가적으로 기능을 추가하고 새로운 함수를 작성하는 역할이라고 볼 수 있습니다. 즉, 공통으로 항상 호출 되는 함수를 작성하거나, 특정 함수의 전/후에 실행가능한 기능을 추가하는 것 이라고 볼 수 있습니다. 데코레이터의 사용은 최대한 파이썬 문법(Pythonic)에 가깝게 작성 하고 공통적으로 코드를 쉽게 관리 및 가독성이 좋은 코드를 작성하기 위해서 사용합니다. 그러면 문서 하단에서 간단하게 예제를 작성해보겠습니다. 파이썬(Python) - 데코레이터(..
파이썬(Python) - Filter, Reduce 표현식 오늘은 지난 시간에 이어서 파이썬 람다식 및 Filter, Reduce 함수에 대해서 추가로 예제를 작성해보고 설명드리겠습니다. 지난 포스팅에서 다룬 Map 함수와 더불어 데이터 전처리 과정에서 자주 쓰이므로, 학습해 두시면 파이썬의 문법상의 장점을 활용하실 수 있을 거라 생각됩니다. 그러면 문서 하단에서 간단하게 예제를 작성해보겠습니다. 파이썬(Python) - 람다식 및 filter, reduce 함수 예제 코드 파이썬 람다식을 활용하면 데이터를 다루는 부분에 있어서는 타 언어와 다르게 매우 쉽고 직관적인 코드로 다양한 형식의 데이터를 변형 및 가공할 수 있습니다.lambda_example2.py12345678910111213141516171..
파이썬(Python) - 데이터 처리에 대해서 오늘은 파이썬 람다식 및 Map 함수에 대해서 설명드리겠습니다. 요즘 한참 파이썬을 활용해서 필드에서 빅데이터 처리 및 여러 알고리즘을 활용해서 학습 후 데이터 모델링을 만드는 업무에 매진 중에 있습니다. 데이터를 핸들링하는 프로젝트에서 무엇보다 중요한 것은 데이터를 처리하는 기반기술에 대한 이해 및 낮은COST(비용)으로 원하는 데이터 셋을 만드는 일련의 프로세스 즉, 데이터 전처리 과정에 많은 시간이 할애되는 것을 몸으로 체감하고 있습니다. 파이썬이 데이터 과학 분야에서 필두로 쓰이는 언어만큼 이번 포스팅 부터는 2회에 걸쳐서 람다식(lambda) 및 기본 예제를 설명드리려고 합니다. 기본에 충실할 때 단순한 코드로 원하는 데이터를 파싱해서 적합한 모델로..
파이썬 - 머신러닝 프로젝트 설명OCR 추출 부터 이어지는 머신러닝을 활용한 스팸 이미지 분류의 마지막 포스팅 입니다. 해당 프로젝트는 SMS로 수신되는 다양한 이미지 스팸(SPAM) 광고 문자(이미지)를 분석해서 텍스트를 분석 -> 출력 -> 데이터 정제 -> 기계학습 -> 스팸 종류 및 카테고리를 분류하는 순서로 개발했습니다. 오늘은 마지막 과정인 파이썬의 Pandas, Scikit-learn과 트위터 형태소 분석기(KoNLPy)를 활용해서전처리 된 텍스트를 기계학습(지도학습) 후에 스팸 항목별 분류 정확도를 높이는 예제를 작성하도록 하겠습니다. 관련 프로젝트를 진행하실 예정이거나, 관련 주제를 학습하시는 분들을 위해서 하단에 최종 소스파일을 첨부하였으므로, 실습을 해보시면 조금은 도움이 될 것으로 ..
파이썬 - 머신러닝 프로젝트 설명OCR 추출 부터 이어지는 머신러닝을 활용한 프로젝트 네 번 째 포스팅 입니다. 제가 진행하는 프로젝트는 SMS로 수신되는 다양한 이미지 스팸(SPAM) 광고 문자(이미지)를 분석해서 텍스트를 분석 -> 출력 후 -> 데이터 정제 -> 기계학습 -> 데이터 확인(스팸 종류 및 여부) 확인 순서로 진행할 예정입니다. 오늘은 지금까지 전처리 된 텍스트 데이터를 데이터베이스에 저장하는 방법을 설명드리겠습니다. 데이터를 저장하는 작업은 중요한 작업입니다. 전처리 된 데이터는 해당 프로젝트 분석 결과를 결정하는 만큼 원천 데이터를 반드시 관련 데이터베이스 저장해야 합니다. 아울러, 지속적으로 데이터가 증가되는 환경 및 후에 데이터 재사용을 고려할 때 응답속도가 높은 데이터베이스 시..
파이썬 - 머신러닝 프로젝트 설명OCR 추출 부터 이어지는 머신러닝을 활용한 프로젝트 세 번 째 포스팅 입니다. 제가 진행하는 프로젝트는 SMS로 수신되는 다양한 이미지 스팸(SPAM) 광고 문자(이미지)를 분석해서 텍스트를 분석 -> 출력 후 -> 데이터 정제 -> 기계학습 -> 데이터 확인(스팸 종류 및 여부) 확인 순서로 진행할 예정입니다. 오늘은 파이썬을 활용해서 기계학습 이전 단계까지의 추출 된 텍스트를 1차 정제 및 가공해서 트레이닝 데이터로 전달하기 위해서 최종적으로 작성하는 프로젝트를 구축할 예정입니다. 5회 정도의 포스팅으로 연재를 이어나갈 예정이며, 하단의 예제를 쉽게 따라하실 수 있게 정리하겠습니다.이전 포스팅을 차근차근 읽어보시면 더욱 도움이 되실걸로 생각이 됩니다. - 관련 포스팅..
파이썬 Tesseract - 프로젝트 설명OCR 추출 부터 이어지는 머신러닝을 활용한 프로젝트 두번 째 포스팅 입니다.제가 진행하는 프로젝트는 SMS로 수신되는 다양한 이미지 스팸(SPAM) 광고 문자(이미지)를 분석해서 텍스트를 분석 -> 출력 후 -> 데이터 정제 -> 기계학습 -> 데이터 확인(스팸 종류 및 여부) 확인 순서로 진행할 예정입니다. 오늘 정리 예정인 내용은 지난 시간에 이어서 Tesseract 사용 부분을 파이썬 코드로 변환해서 앞으로 연동 예정인 Pandas, Numpy 등에 대비할 예정입니다. 5회 정도의 포스팅으로 연재를 이어나갈 예정이며, 하단의 예제를 쉽게 따라하실 수 있게 정리하겠습니다.이전 포스팅을 차근차근 읽어보시면 더욱 도움이 되실걸로 생각이 됩니다. - 관련 포스팅 ..
![[좋은사람]](https://tistory1.daumcdn.net/tistory/1510577/attach/56b4c683045e4e5fb703da5a50954748){kind=small}