융융이'Blog

한경 컨센서스 크롤링 환경 : Jupyter notebook Version : 파이썬3.4 내용 : 5년 간 작성된 한경 컨센서스 증권 보고서를 크롤링 import requests from bs4 import BeautifulSoup from selenium import webdriver import time ## pdf 파싱하기 from pdfminer.pdfinterp import PDFResourceManager, process_pdf from pdfminer.converter import TextConverter from pdfminer.layout import LAParams from io import StringIO from io import open from urllib.request imp..

소켓(Socket) "Socket"은 사전적으로 구멍, 연결, 콘센트 등의 의미를 갖는다. 보통 OSI 7 Layer(Open System Interconnection 7 Layer)의 네 번째 계층인 TCP(Transport Control Protocol) 상에서 동작하는 소켓을 주로 사용하는데, 이를 "TCP 소켓" 또는 "TCP/IP 소켓"이라고 부릅니다. (UDP에서 동작하는 소켓은 "UDP 소켓"이라고 합니다.) TCP/IP 소켓 프로그래밍(Socket Programming) 소켓을 사용하여 네트워크 통신가능을 구현하는 과정 케이블 분리로 인한 네트워크 단절, 트래픽 증가에 따른 데이터 전송 지연, 시스템 리소스 관리 문제로 인한 에러 등, 네트워크 환경에서 발생할 수 있는 다양한 예외사항에 대..

데이터베이스의 정의 데이터베이스는 특정 조직의 업무를 수행하는 데 필요한 상호 관련된 데이터들의 모임이다. 1. 통합된 데이터(Integrated Data): 자료의 중복을 배제한 데이터의 모임이다. 2. 저장된 데이터(Stored Data): 컴퓨터가 접근할 수 있는 저장 매체에 저장된 자료이다. 3. 운영 데이터(Operational Data): 조직의 고유한 업무를 수행하는 데 존재 가치가 확실하고 없어서는 안 될 반드시 필요한 자료이다. 4. 공용 데이터(Shared Data): 여러 응용 시스템들이 공동으로 소유하고 유지하는 자료이다. 데이터베이스의 특징 1. 실시간 접근성(Real-Time Accessibility) : 수시적이고 비정형적인 질의(조회)에 대하여 실시간 처리에 의한 응답이 가능..

mongoDB Cluster세팅 1. MongoDB(https://www.mongodb.com/)들어가서 로그인 2. New Project - 프로젝트 이름 - 사용자 권한 - 지역설정 ... - 보안 설정!( IP 허용 꼭 설정해줘야 합니다. Default로 허용 IP가 아무것도 없기 때문에 이 설정 안하시고 연동하면 Server connection rejection 에러가 뜹니다.!! 3. 컬렉션 만들기(User, Board, Comment, Like...등) GUI 환경에서 간단하게 만들수 있습니다. Express와 mongoDB의 연동 const { mongoDBurl } = require('../../../config/mongoDBconfig'); const MongoClient ..

mongoDB mongoDB는 NoSQL중 하나이다. mongoDB의 구조는 위 그림과 같이 구성되어 있다. Document가 모여서 Collection이 되고, Collection들이 모여서 Database를 이루게 됩니다. Document JSON과 비슷한 BSON구조로 되어 있다. RDB과 비교 mongoDB는 C++로 짜여진 오픈소스 데이터베이스이다. 문서지향(Document-Oriented)적이며 뛰어난 확장성과 성능을 자랑한다. NoSQL이다. RDBMSMongoDB DataBase DataBase Table Collection Tuple/Row Document Column Key/Field Table Join Embedded Documents PrimaryKey Primary Key(_id)..