개발일지/광고데이터 연결 PJT - 차콜진센 (5) 썸네일형 리스트형 20201228_메인스크립트 - 데이터 수집 및 저장 메인 스크립트를 통해 크게 2가지 작업을 한다. 1. 각 플랫폼 데이터 수집 -> 데이터베이스 저장 2. 데이터베이스에서 데이터 취득 -> 구글 스프레드시트에 자동 입력 이번 포스트에선 1. 각 플랫폼 데이터 수집에 대해 설명해보고자 한다. 먼저, 각 플랫폼에서 데이터를 수집하는 방법은 크롤링 혹은 API를 통해서이다. 이렇게 수집한 데이터를 DB에 저장하며 1번 작업이 끝나게 된다. 아래와 같은 흐름으로 코드를 작성했다. 각 플랫폼 코드 객체화 및 초기화 -> 데이터 수집 -> 데이터 저장 1) 각 플랫폼 코드 객체화/초기화 및 데이터 수집 # main.rb def retrieve_dtoc_data(date) begin puts "start retrieve #{date} d2c data" sixpack.. 20201228_시스템 구조 - 메인스크립트 구조 및 환경설정 시스템의 작동원리는 단순하다. ruby main.rb 위의 커맨드를 통해 매시간 main.rb라는 루비 스크립트를 실행시키는 것이다. main.rb의 대략적인 구조를 살펴보자면 아래와 같다. # main.rb require 'capybara' require 'active_record' require 'selenium-webdriver' require 'google_drive' ... project_root = File.dirname(File.absolute_path(__FILE__)) config_database_yml_file = File.join(project_root, 'config', 'database.yml') config_database_yml = YAML::load(ERB.new(File.r.. 20201219_시스템 구조 - 데이터베이스 드디어 코드에 대해 적어볼 예정이다. 이번엔 최대한 루비를 루비답게 써보려했다. 그 전 코드들은 정말이지 엉성했다. 효율성 생각 없이, 대충 돌아가는 대로, 누가 보면 루비인지 아닌지도 모를 정도로 '일단 그냥' 짰다. 최근에 많이 느끼는건데, 그냥 코드를 짠다고 다가 아닌 것 같다. 시스템은 그냥 짜도 어떻게든 돌아는 간다(삐걱삐걱..). 하지만 만약 자신이 루비 개발자라면 루비의 정수를 최대한 누려가며 코드를 작성해야 하며, 간단한 코드라도 항상 질문을 해봐야 한다. 그 안에서 가장 효율적인 코드를 적용해야 하며 그 이유도 충분히 갖춰야 한다. 지금까진 그러지 못했다. 지금까지라 해도 고작 반년 좀 지난거지만, 여하튼, 반성해야 한다. 목표는 간단하다. 크론잡으로 메인 스크립트를 매시간 실행시키기. .. 20201219_뒤죽박죽 엉망진창 -> 얼렁뚱땅 월요일 아침에 들려온 룸메의 갑작스런 이직 소식. 홋카이도로 간단다. 1월부터 근무라하니 나도 당장 대책을 세워야만 했다. 이사를 하든, 새로운 룸메를 구하든. 여튼 그러다보니 이번주는 너무 정신이 없었다. 대책세우랴, 이런 저런 걱정하랴. 일이 손에 잡히질 않았다. 뒤죽박죽이 되어버린 일상탓에 일도 얼렁뚱땅 해버렸다. 조금 더 고민해보고 마케팅 팀과 회의해가며 방향을 잡아보려 했으나 회의는 커녕 채팅조차 하지 못했다. 간신히 대책을 마련해두고 정신차리니 벌써 금요일이다. 양심에 찔려 야근신청을 했다. 일단 저번주 정리해둔 각 플랫폼과 성과측정 사이트의 관계를 토대로 내린 내 나름의 결론은, 플랫폼 -> ec force의 구조가 아닌 ec force -> 플랫폼의 구조로 개편해야 한다는 것이었다. 플랫폼.. 2020.12.10_프로젝트의 이해 우리 회사 CTO는 너무 순하다. 그리고 자기 사업때문에 바쁜 탓인지 세세하게 관리하질 않는다. 그래서, 날 혼내지 않는다. 순해서, 그리고 관심이 없어서(?). 내가 혼나야 하는 이유는 2가지이다. 첫 번째, 프로젝트에 대한 이해도가 부족해서이다. 프로젝트는 단순했다. 현재 사용하고 있는 광고플랫폼들의 데이터를 엑셀시트에 자동 기입하는 시스템만 구축하면 된다. 이걸 이해못했냐고? 아니, 완벽히 했다. 마케팅팀 멤버와 일본어로 회의까지 했다. '여기 데이터를 어디어디에 넣어주세요. 이 데이터는 여기에 있구요, 저 데이터는 저기에 있어요' 등등의 이야기를 귀뿐만이 아닌 온몸의 기관을 다 사용하여 완벽히 이해해냈다. (야마키상, 천천히 얘기해줘서 고마웠어요) 내가 부족했던 것은 '프로젝트' 자체에 대한 이해.. 이전 1 다음