2020-2-capstone-design2 / 2015104491

Go to a project
Toggle navigation Toggle navigation pinning
이하영
87721555 1 parent 587f652a

종목별 데이터(daily_crawler) 데이터베이스

Inline Side-by-side
Showing 3 changed files with 48 additions and 149 deletions
import math
import pymysql
import datetime
from sqlalchemy import create_engine
import pandas as pd
from PyQt5.QtCore import *
import cf
pymysql.install_as_MySQLdb()
# -* daily_crawler *-
# 종목별 일자별 데이터를 저장하는 데이터베이스
class daily_crawler():
def __init__(self, db_name, daily_craw_db_name, daily_buy_list_db_name):
# db_name==0인 경우는 simulator
if db_name != 0:
self.db_name = db_name
self.daily_craw_db_name = daily_craw_db_name
self.daily_buy_list_db_name = daily_buy_list_db_name
self.engine = create_engine(
"mysql+pymysql://" + cf.db_id + ":" + cf.db_pw + "@" + cf.db_ip + ":" + cf.db_port + "/daily_craw",
encoding='utf-8')
self.daily_craw_db_con = self.engine.connect()
self.variable_setting()
else:
pass
# 업데이트가 금일 제대로 끝났는지 확인하는 함수
def variable_setting(self):
self.market_start_time = QTime(9, 0, 0) # 장 시작시간
self.market_end_time = QTime(15, 31, 0) # 장 마감시간
self.today = datetime.datetime.today().strftime("%Y%m%d")
self.today_detail = datetime.datetime.today().strftime("%Y%m%d%H%M")
# 현재 시간에 장이 열려있는지 확인하는 함수
def market_time_check(self):
self.current_time = QTime.currentTime()
if self.current_time > self.market_start_time and self.current_time < self.market_end_time:
return True
else:
return False
import datetime
from sqlalchemy import *
from pandas import DataFrame
import config
class Daily_Info():
def __init__(self):
self.set_variable()
def set_variable(self):
self.today=datetime.datetime.today().strftime("%Y%m%d")
self.today_time=datetime.datetime.today().strftime("%Y%m%d%H%M")
self.start_date=config.start_buying
self.engine_daily=create_engine(
"mysql+pymysql://" + config.db_id + ":" + config.db_pw + "@" + config.db_ip + ":" + config.db_port +
"/daily_info", encoding='utf-8')
self.engine_stock=create_engine(
"mysql+pymysql://" + config.db_id + ":" + config.db_pw + "@" + config.db_ip + ":" + config.db_port +
"/stock_info", encoding='utf-8')
# 지정한 날짜부터 현재까지의 날짜 리스트를 반환
# 모든 지정한 날짜에 대해 정확한 값을 반환하기 위해
# 한국에서 가장 오래된 상장기업 중 하나인 'CJ대한통운' 테이블을 활용한다
def set_date_rows(self):
query="select date from 'CJ대한통운' where date>=%s group by date"
self.date_rows=self.engine_stock.execute(query%self.start_date)
# date에 해당하는 이름을 가진 테이블이 daily_info 데이터베이스 안에 존재하는지 확인하는 함수
def is_date_table_exist(self,date):
query = "select 1 from information_schema.tables where table_schema ='daily_info' and table_name = '%s'"
result=self.engine_daily.execute(query%date).fetchall()
if len(result)==0:
return False
else:
return True
# 날짜에 해당하는 테이블 생성
def create_daily_table(self):
print("setting daily_info database!!")
self.set_date_rows()
self.get_all_stock_list()
for date in self.date_rows:
if not self.is_date_table_exist(date):
print(date,"테이블이 존재하지 않습니다. 테이블을 생성합니다")
daily_list=list()
for i in range(len(self.stock_all)):
code_name=self.stock_all.loc[i][0]
code=self.stock_all.loc[i][1]
if self.is_stock_table_exist(code,code_name):
query="select * from {} where date='{}' group by date"
result=self.engine_stock.execute(query.format(code_name,date)).fetchall()
daily_list+=result
# diff_rate : 전날대비 가격 상승/하락률
# close : 종가
# open : 시가
# high : 고가
# low : 저가
# volume : 거래량
# avg5 : 5일 이동평균선
# ...
# prev_avg5 : 전날의 5일 이동평균선
# ...
# vol5 : 5일동안 거래량의 평균
# ...
if (len(daily_list)!=0):
df=DataFrame(daily_list,
columns=['index', 'date', 'code', 'code_name', 'diff_rate',
'close', 'open', 'high', 'low', 'volume',
'avg5', 'avg10', 'avg20', 'avg60', 'avg120',
'prev_avg5', 'prev_avg10', 'prev_avg20', 'prev_avg60', 'prev_avg120',
'vol5', 'vol10', 'vol20', 'vol60', 'vol120'
])
df.to_sql(name=date,con=self.engine_daily,if_exists='replace')
# 데이터베이스에 저장된 모든 주식 리스트를 가져오는 함수
def get_all_stock_list(self):
query="select code_name,code from stock_all"
self.stock_all=self.engine_daily.execute(query).fetchall()
# stock info 데이터베이스에 code_name 테이블이 존재하는지 확인하는 함수
def is_stock_table_exist(self,code,code_name):
query = "select 1 from information_schema.tables where table_schema ='stock_info' and table_name = '%s'"
result=self.engine_stock.execute(query%code_name).fetchall()
if len(result)==0:
return False
else:
return True
\ No newline at end of file
from sqlalchemy import *
from PyQt5.QtCore import *
import datetime
import pandas as pd
import config
class Stock_Info():
def __init__(self,db_name,daily_db_name,stock_db_name):
if db_name!=0:
self.db_name=db_name
self.daily_db_name=daily_db_name
self.stock_db_name=stock_db_name
self.engine=create_engine(
"mysql+pymysql://" + config.db_id + ":" + config.db_pw + "@" + config.db_ip + ":" + config.db_port +
"/stock_info", encoding='utf-8')
self.conn=self.engine.connect()
self.set_variable()
# 변수 설정
def set_variable(self):
self.mkt_start_time=QTime(9,0,0)
self.mkt_end_time=QTime(15,31,0)
self.today=datetime.datetime.today().strftime("%Y%m%d")
self.today_time=datetime.datetime.today().strftime("%Y%m%d%H%M")
# 현재 시간이 주식 장이 열린 시간인지 확인하는 함수
def check_time(self):
self.current_time=QTime.currentTime()
if self.current_time>self.mkt_start_time and self.current_time<self.mkt_end_time:
return True
else:
return False
# 코스피 주식 리스트 저장
def get_item_kospi(self):
self.kospi_list = pd.read_html(
'http://kind.krx.co.kr/corpgeneral/corpList.do?method=download&searchType=13&marketType=stockMkt',
header=0)[0]
self.kospi_list.종목코드 = self.kospi_list.종목코드.map('{:06d}'.format)
self.kospi_list = self.kospi_list[['회사명', '종목코드']]
self.kospi_list = self.kospi_list.rename(columns={'회사명': 'code_name', '종목코드': 'code'})
# 코스닥 주식 리스트 저장
def get_item_kosdaq(self):
self.kosdaq_list = pd.read_html(
'http://kind.krx.co.kr/corpgeneral/corpList.do?method=download&searchType=13&marketType=kosdaqMkt',
header=0)[0]
self.kosdaq_list.종목코드 = self.kosdaq_list.종목코드.map('{:06d}'.format)
self.kosdaq_list = self.kosdaq_list[['회사명', '종목코드']]
self.kosdaq_list = self.kosdaq_list.rename(columns={'회사명': 'code_name', '종목코드': 'code'})
\ No newline at end of file