박건희 / emon_bot

Go to a project
Toggle navigation Toggle navigation pinning
String15
6d52bd72 1 parent 407e22eb

Add japannine crawling method

Inline Side-by-side
Showing 1 changed file with 88 additions and 19 deletions
const Discord = require("discord.js");
exports.run = async (client, msg, args, prefix) => {
if (args[0]) { // 명령어 뒤에 입력값이 있을 경우 (ex. !<명령어> <채팅>)
// 검색어 한 문장으로 합치기
const search = args.join(' ');
// console.log(search);
// 각 사이트별 제품 검색
const puppeteer = require('puppeteer'); //include Puppeteer Library
puppeteer.launch({headless:true}).then(async browser => {
......@@ -17,10 +13,10 @@ exports.run = async (client, msg, args, prefix) => {
console.log("bestpen crawling");
await page .goto('http://www.bestpen.kr');
// 검색창으로 이동 & search 검색
// 검색창으로 이동 & args[0] 검색
await page.waitForSelector('#header > div.headerBtm > div > p.searchOpen > i');
await page .click('#header > div.headerBtm > div > p.searchOpen > i');
await page .type('#keyword', search);
await page .type('#keyword', args[0]);
await page .keyboard.press( "Enter" );
// await page.screenshot({ path : "screenshot.png" });
} catch { ; } // 사이트 링크에 이상이 생겼거나 검색에 문제가 생겼을 경우 프로그램이 종료되는 것을 방지
......@@ -68,9 +64,9 @@ exports.run = async (client, msg, args, prefix) => {
console.log("pencafe crawling");
await page .goto('http://www.pencafe.co.kr');
// search 검색
// args[0] 검색
await page.waitForSelector('#header > div.hd_mib > div.hd_sch.f_left > form > fieldset > input');
await page .type('#header > div.hd_mib > div.hd_sch.f_left > form > fieldset > input', search);
await page .type('#header > div.hd_mib > div.hd_sch.f_left > form > fieldset > input', args[0]);
await page .keyboard.press( "Enter" );
// await page.screenshot({ path : "screenshot.png" });
} catch { ; } // 사이트 링크에 이상이 생겼거나 검색에 문제가 생겼을 경우 프로그램이 종료되는 것을 방지
......@@ -86,7 +82,7 @@ exports.run = async (client, msg, args, prefix) => {
// 펜카페 구조상 제품명 앞에 할인률(ex. 17%)이 붙는 경우가 많음 -> 제거
if (pencafe_title.indexOf('%') != -1) { pencafe_title = pencafe_title.slice(pencafe_title.indexOf('%')+1); }
// 펜카페 구조상 제품명 뒤에 사족(ex. (색상선택/금장~~~))이 붙는 경우가 많음 -> 제거
if (pencafe_title.indexOf('(') != -1) { pencafe_title = pencafe_title.slice(0, pencafe_title.lastIndexOf('(')); }
if (pencafe_title.lastIndexOf(')') == pencafe_title.length-1) { pencafe_title = pencafe_title.slice(0, pencafe_title.lastIndexOf('(')); }
var link = await page.waitForSelector('#searchWrap > div > div.item-wrap > div:nth-child(2) > dl:nth-child('+i+') > dd > ul > li.prd-name > a');
var pencafe_link = await page.evaluate( link => link.href, link );
......@@ -109,7 +105,7 @@ exports.run = async (client, msg, args, prefix) => {
} catch {
if (i == 1) {
// 제품 정보가 아예 없을 경우 "검색결과 없음"으로 표시
pencafe += "검색결과 없음" + '\n'
pencafe += "검색결과 없음" + '\n';
break;
} else {
// 제품 개수가 4개 이하인 경우
......@@ -123,9 +119,9 @@ exports.run = async (client, msg, args, prefix) => {
console.log("blueblack crawling");
await page .goto('https://blueblack.co.kr');
// search 검색
// args[0] 검색
await page.waitForSelector('#keyword');
await page .type('#keyword', search);
await page .type('#keyword', args[0]);
await page .keyboard.press( "Enter" );
// await page.screenshot({ path : "screenshot.png" });
} catch { ; } // 사이트 링크에 이상이 생겼거나 검색에 문제가 생겼을 경우 프로그램이 종료되는 것을 방지
......@@ -142,9 +138,9 @@ exports.run = async (client, msg, args, prefix) => {
var blueblack_link = await page.evaluate( link => link.href, link );
// console.log("블루블랙 검색 링크 : ", blueblack_link);
var price = await page.waitForSelector('#contents > div:nth-child(4) > ul > li:nth-child('+i+') > div.description > ul > li:nth-child(3) > span:nth-child(2)');
var blueblack_data = await page.evaluate( price => price.textContent, price );
// console.log("블루블랙 검색 결과 가격 : ", blueblack_data);
// 링크 구조상 &search 뒷부분은 제품 링크를 띄우는데 영향을 미치지 않음
// -> 글자수 제한(1024)도 있으므로 제거
pencafe_link = pencafe_link.slice(0, pencafe_link.indexOf('&cate_no'));
try {
// 품절 아이콘이 있는지 확인
......@@ -152,14 +148,85 @@ exports.run = async (client, msg, args, prefix) => {
return element.getAttribute("src");
});
blueblack_data = 'SOLD OUT'
} catch { ; }
blueblack_data = 'SOLD OUT';
} catch {
// 품절 아이콘이 없을 경우
var price = await page.waitForSelector('#contents > div:nth-child(4) > ul > li:nth-child('+i+') > div.description > ul > li:nth-child(3) > span:nth-child(2)');
var blueblack_data = await page.evaluate( price => price.textContent, price );
// console.log("블루블랙 검색 결과 가격 : ", blueblack_data);
}
blueblack += `[${blueblack_title}](${blueblack_link}) - ${blueblack_data}` + '\n';
} catch {
if (i == 1) {
// 제품 정보가 아예 없을 경우 "검색결과 없음"으로 표시
blueblack += "검색결과 없음" + '\n'
blueblack += "검색결과 없음" + '\n';
break;
} else {
// 제품 개수가 4개 이하인 경우
break;
}
}
}
// 4. 재팬나인
try {
console.log("japannine crawling");
await page .goto('http://www.japan9.co.kr');
// args[0] 검색
await page.waitForSelector('body > center > table:nth-child(7) > tbody > tr > td > table:nth-child(1) > tbody > tr > td:nth-child(2) > table > tbody > tr > td:nth-child(2) > input');
await page .type('body > center > table:nth-child(7) > tbody > tr > td > table:nth-child(1) > tbody > tr > td:nth-child(2) > table > tbody > tr > td:nth-child(2) > input', args[0]);
await page .keyboard.press( "Enter" );
// await page.screenshot({ path : "screenshot.png" });
} catch { ; } // 사이트 링크에 이상이 생겼거나 검색에 문제가 생겼을 경우 프로그램이 종료되는 것을 방지
// 검색 결과 가져오기 (최대 4개)
var japannine = '';
for (var i = 1; i <= 4; i++) {
try {
var title = await page.waitForSelector('#mk_search_production > tbody > tr:nth-child('+(5+((i-1)*4))+') > td:nth-child(3) > a');
var japannine_title = await page.evaluate( title => title.textContent, title );
// console.log("재팬나인 검색 결과 제품명 : ", japannine_title);
// 재팬나인 구조상 제품명 앞에 항상 '/n'이 붙는다 -> 제거
japannine_title = japannine_title.slice(1);
// 재팬나인 구조상 제품명 앞과 뒤에 [쿠폰적용 || 주문예약상품]이 붙는 경우가 많음 -> 제거
if (japannine_title.indexOf('[') == 0) { japannine_title = japannine_title.slice(japannine_title.indexOf(']')+1); }
if (japannine_title.lastIndexOf(']') == japannine_title.length-1) { japannine_title = japannine_title.slice(0, japannine_title.lastIndexOf('[')); }
if (japannine_title.indexOf('{') == 0) { japannine_title = japannine_title.slice(japannine_title.indexOf('}')+1); }
if (japannine_title.lastIndexOf('}') == japannine_title.length-1) { japannine_title = japannine_title.slice(0, japannine_title.lastIndexOf('{')); }
var link = await page.waitForSelector('#mk_search_production > tbody > tr:nth-child('+(5+((i-1)*4))+') > td:nth-child(3) > a');
var japannine_link = await page.evaluate( link => link.href, link );
// console.log("재팬나인 검색 링크 : ", japannine_link);
// 링크 구조상 &search 뒷부분은 제품 링크를 띄우는데 영향을 미치지 않음
// -> 글자수 제한(1024)도 있으므로 제거
japannine_link = japannine_link.slice(0, japannine_link.indexOf('&search'));
try {
// 품절 아이콘이 있는지 확인
var img_src = await page.$eval('#mk_search_production > tbody > tr:nth-child('+(5+((i-1)*4))+') > td:nth-child(6) > img', element => {
return element.getAttribute("src");
});
if (img_src.indexOf('no_amount0') != -1) { japannine_data = 'SOLD OUT'; }
} catch {
// 품절 아이콘이 없을 경우
var price = await page.waitForSelector('#mk_search_production > tbody > tr:nth-child('+(5+((i-1)*4))+') > td.brandprice > span');
var japannine_data = await page.evaluate( price => price.textContent, price );
// console.log("재팬나인 검색 결과 가격 : ", japannine_data);
// 재팬나인 구조상 금액 뒤에 (옵션에 따라 변동)이 붙는 경우가 있다 -> 제거
if (japannine_data.indexOf('(') != -1) { japannine_data = japannine_data.slice(0, japannine_data.indexOf('원')+1); }
}
japannine += `[${japannine_title}](${japannine_link}) - ${japannine_data}` + '\n';
} catch {
if (i == 1) {
// 제품 정보가 아예 없을 경우 "검색결과 없음"으로 표시
japannine += "검색결과 없음" + '\n';
break;
} else {
// 제품 개수가 4개 이하인 경우
......@@ -174,7 +241,7 @@ exports.run = async (client, msg, args, prefix) => {
// 검색 결과 챗봇에 출력
let Commands = new Discord.MessageEmbed()
.setTitle(`${search}에 대한 검색 결과`)
.setTitle(`${args[0]}에 대한 검색 결과`)
.setColor("E5D49A")
// 베스트펜 검색 결과 (ex. 제품명(링크) - 금액)
.addField('베스트펜', `${bestpen.slice(0, 1023)}`)
......@@ -182,6 +249,8 @@ exports.run = async (client, msg, args, prefix) => {
.addField('펜카페', `${pencafe.slice(0, 1023)}`)
// 블루블랙 검색 결과
.addField('블루블랙', `${blueblack.slice(0, 1023)}`)
// 재팬나인 검색 결과
.addField('재팬나인', `${japannine.slice(0, 1023)}`)
msg.reply({ embeds: [Commands] });
});
......