데이터 엔지니어

문제링크: https://www.acmicpc.net/problem/1916 1916번: 최소비용 구하기 첫째 줄에 도시의 개수 N(1 ≤ N ≤ 1,000)이 주어지고 둘째 줄에는 버스의 개수 M(1 ≤ M ≤ 100,000)이 주어진다. 그리고 셋째 줄부터 M+2줄까지 다음과 같은 버스의 정보가 주어진다. 먼저 처음에는 그 www.acmicpc.net 문제 설명 - N: 도시의 개수 - M: 버스의 개수 - (출발 도시, 도착 도시, 버스 비용) M개 - 시작도시, 끝도시 위와 같은 입력이 주어졌을 때, 시작도시부터 끝도시까지 가는 최소비용을 구하는 문제입니다. 풀이 문제를 보자마자 최소거리를 구하는 알고리즘들을 떠올렸습니다. 코테에서 주로 나오는 그래프 알고리즘들은 아래와 같습니다. 이 문제에는 시..

개념 MongoDB: C++로 작성된 오픈소스 문서지향(Document-Oriented)적 Cross-platform 데이터베이스 뛰어난 확장성과 성능, 현존하는 NoSQL 데이터베이스 중 인지도 1위를 유지 NoSQL & Schemaless NoSQL = Not Only SQL 쿼리를 안쓴다는 것이 아닙니다. 기존 RDBMS(관계형 데이터 베이스 매니지먼트)가 갖고 있는 특성뿐만 아니라, 다른 특성들을 부가적으로 지원한다는 것을 의미합니다. 그중에서도 MongoDB는 Key Value DB를 사용하고 있습니다. Schemaless: Schema를 따로 정의할 필요가 없다. 같은 컬렉션안에서 데이터 타입, 필드가 서로 달라도 저장됩니다. Schema: RDBMS에서 주로 쓰이는 개체, 속성, 관계를 미리..

소리 데이터 augmentation에 다양한 방법에 대해 알아보겠습니다. 먼저 말씀드리자면, 이 코드는 2020년 1월에 했던 빅데이터분석연합동아리 투빅스 컨퍼런스에 했던 코드들입니다. 이때 했던 프로젝트는 Singing Voice Conversion으로 기회가 되면 Cycle GAN내용과 함께 나중에 포스팅 하겠습니다. 이미지 같은 경우는 noise, 회전, 압축 등 다양한 augmentation 방법이 있고 설명도 많은데, 소리 같은 경우는 코드나 방법에 관한 내용이 별로 없습니다. 그래서 제가 알고 있고 사용했던 총 5가지 방법을 포스팅하겠습니다. (참고로 이 augmentation 방법이 정확하고 항상 설명력이 있다고는 못함을 전제합니다.) 필요 라이브러리 pip install librosa pi..

프로그래머스 사이트에서 주최한 월간 코드 챌린지에 참가하였습니다. 9 / 10 / 11 월 각 한번씩 열리며 각 대회마다 4개의 문제가 주어져 1, 2, 3 등에게는 상금을 수여하고, 세 번의 대회에서 총 5문제 이상 풀 경우 이벤트 상품에 응모할 수 있는 챌린지입니다. 저는 상금 받을 정도의 실력자가 아니기 때문에 알고리즘 실력도 늘리고 이벤트 응모라도 하기 위해 참가하였습니다! 문제와 풀이를 완전히 공유하는 것은 불법이기 때문에 4문제에 대한 제 개인적인 난이도 풀이로 후기를 남기겠습니다 자세한 사항은 아래 링크를 참조해주세요. 링크: programmers.co.kr/competitions/417?slug=monthly-code-challenge-s1&utm_campaign=competition417..

문제링크: https://www.acmicpc.net/problem/2623 2623번: 음악프로그램 첫째 줄에는 가수의 수 N과 보조 PD의 수 M이 주어진다. 가수는 번호 1, 2,…,N 으로 표시한다. 둘째 줄부터 각 보조 PD가 정한 순서들이 한 줄에 하나씩 나온다. 각 줄의 맨 앞에는 보조 PD가 담당한 www.acmicpc.net 문제 설명 - N: 가수의 수 - M: 보조 PD의 수 - 각 보조 PD가 정한 가수의 순서가 주어질 때 모든 보조 PD의 순서를 만족하는 가수의 순서를 출력 - 답이 여러개일 경우 아무거나 출력, 답이 없을경우 0 출력 - ex) 보조PD가 3명(M)일 때 입력이 아래와 같이 주어지면 1 4 3 6 2 5 4 2 3 => 6 2 1 5 4 3 or 1 6 2 5 4..

문제링크: https://www.acmicpc.net/problem/1759 1759번: 암호 만들기 첫째 줄에 두 정수 L, C가 주어진다. (3 ≤ L ≤ C ≤ 15) 다음 줄에는 C개의 문자들이 공백으로 구분되어 주어진다. 주어지는 문자들은 알파벳 소문자이며, 중복되는 것은 없다. www.acmicpc.net 문제 설명 - L: 암호 자릿 수 - C: 알파벳 개수 - C개 알파벳으로 L 자릿 수의 암호를 만들 수 있는 모든 경우의 수를 사전순으로 출력 - 조건 1: 최소 1개의 모음 (a, e, i, o, u) - 조건 2: 최소 2개의 자음 - 조건 3: 오름차순 - 중복 x 모두 소문자 풀이 python 내장 라이브러리인 combination을 사용하여 해결하였습니다. 처음에는 permutat..

문제링크: www.acmicpc.net/problem/1744 1744번: 수 묶기 길이가 N인 수열이 주어졌을 때, 그 수열의 합을 구하려고 한다. 하지만, 그냥 그 수열의 합을 모두 더해서 구하는 것이 아니라, 수열의 두 수를 묶으려고 한다. 어떤 수를 묶으려고 할 때, 위치에 www.acmicpc.net 골드 4여서 두려웠지만, 경우의 수만 잘 따져주면 되는 문제였습니다. 문제 설명 - N: 숫자의 개수 - N개의 숫자가 주어진다. - 숫자를 2개씩 묶을 수 있다. 묶은 수는 곱하기로 계산된다. - 숫자는 단 한번만 묶거나 안 묶인다. - ex) -1, 2, 3, 1 이 주어졌을 때 최대의 값은 (-1)+1+(2*3)=6 이다. 풀이 처음에는 단순하게 정렬하여 양수의 큰 수 끼리 곱 음수의 작은 수..

강의 오늘은 태블로 교육의 마지막입니다! 마지막 강의는 시각화나 분석이 아닌 tableau prep builder를 통한 데이터 정리를 하는 시간이였습니다. 흔히 말하는 데이터 전처리 과정입니다. 제가 데이터 엔지니어링을 하고 싶고 좋아하는 이유가 여기에 있는데 분석의 스킬이나 기술도 중요하지만, 저는 분석의 데이터 인프라를 서포트하고 기본적인 전처리는 하여 분석에 용이한 데이터를 제공하는 부분도 중요하다고 생각했기 때문입니다. tableua prep같은 경우도 인프라적인 요소는 포함은 못하지만 여러 곳에 산재된 데이터를 하나의 데이터로 'JOIN' 이나 'UNION'을 통해 통합 시켜주고 잘못된 Column이나 데이터의 차이들을 쉽게 볼 수 있는 도구입니다. 자세한 내용은 아래링크 참조해주시고 과제를 ..