본문 바로가기

분류 전체보기

데이터 분석기법 7가지
2020. 6. 2. 비즈니스 가치를 만드는 7가지 빅데이터 기법 빅데이터란 무엇인가? ‘빅데이터’란 거대한 데이터를 처리하기 위해 특화된 기법과 기술을 적용하는 것입니다. 이러한 데이터는 너무나 방대하고 복잡해서 수작업으로 처리가 불가능합니다. 웹로그, 전화 기록, 진료 기록, 군사 기록, 사진 기록, 영상 기록, 그리고 대규모 전자상거래 기록 등이 빅데이터의 예에 속합니다. ‘거대함’에 대하여, 우리는 적어도 1 terabyte를 필요로 하는 데이터세트라고 말할 수 있으며, 더 나아가 수백의 petabytes까지 말할 수 있습니다. (1 petabyte = 1024 terabytes). 페이스북은 적어도 100 petabytes가 넘는 사진 및 영상 데이터를 저장하고 있다고 추정됩니다. 1. Association rule..
[SQLD] 계층형 질의와 셀프조인
2020. 5. 31. 계층형 질의와 셀프 조인 계층형 질의 테이블에 계층형 데이터가 존재하는 경우 데이터를 조회하기 위해서 계층형 질의(Hierarchical Query)를 사용한다. 계층형 데이터란 동일 테이블에 계층적으로 상위와 하위 데이터가 포함된 데이터를 말한다. 그림은 사원에 대한 순환관계 데이터 모델을 표현한 것이다. (2)계층형 구조에서 A의 하위 사원은 B, C이고 B 밑에는 하위 사원이 없고 C의 하위 사원은 D, E가 있다. 계층형 구조를 데이터로 표현한 것이 (3)샘플 데이터이다. Oracle 계층형 질의 SELECT ... FROM TABLE WHERE CONDITION AND CONDITION START WITH CONDITION CONNECT BY [NOCYCLE] CONDITION AND CONDI..
[SQLD] 조인원리 NL join, Sort-Merge join, Hash Join
2020. 5. 29. 조인 수행원리에 대해 알아보자 조인수행의 방법으로 3가지가 있다. 1. Nested Loop - 루프를 돌며 두 테이블의 로우를 연결하는 형식 2. Sort-Merge - 참조할 인덱스가 없는 두테이블을 정렬하여, 순차적으로 연결시켜주는 방식 3. Hash - 두테이블이 너무 큰 경우, 해쉬맵에 저장하여, 연결시켜 조인하는 방식 각각의 방식에 대해서 조금더 자세히 알아보자 1. Nested Loop 원리 1. 선행테이블에서 첫번째 행을 접근. 2. 그 행의 조인할 속성을가지고 후행테이블 인덱스를 거쳐 접근 3. 1-2번의 작업을 반복하여 맵핑하며 결과를 버퍼에 저장하여 마지막에 출력함. 특징 1. 선행테이블은 풀스캔하므로, 선행테이블의 크기가 작을수록 유리하다 ( So. 두 테이블의 크기 차이가 있는 경..
[SQLD] 윈도우 함수, 범위 지정
2020. 5. 29. ANSI/ISO SQL 표준에서 정의한 함수 1. AGGREGATE FUNCTION GROUP AGGREGATE FUNCTION 이라고도 부릅니다. COUNT, SUM, AVG, MAX, MIN 외 각종 집계 함수들이 포함됩니다. 2. GROUP FUNCTION 집계함수를 제외하고, 소그룹 간의 소계를 계산하는 ROLLUP, GROUP BY 항목들간 다차원적인 소계를 계산하는 CUBE, 특정항목에 대한 소계를 계산하는 GROUPING SETS 함수가 있습니다. 3. WINDOW FUNCTION 분석함수(ANALYTIC FUNCTION)나 순위함수(RANK FUNCTION)로도 알려져 있는 윈도우 함수는 데이터웨어하우스에서 발전된 기능입니다. 그중에서 오늘은 window함수의 범위를 다뤄보자 Window ..
[SQLD] Delete, Truncate, Drop 비교
2020. 5. 29. delete는 테이블의 row단위로 데이터를 삭제하는 DML이며, DML의 특성상 롤백이 가능하지만. truncate, drop 은 테이블 단위로 이루어지는 DDL로, 특성상 복구(Rollback)가 불가능하다. 데이터를 모두 날리는 경우에는, Delete보다 DDL이 빠르고 유리하지만, 테이블의 구조와 스키마는 지우지 않고 남기고 싶을때, Truncate를 사용하며, 테이블의 모든정보를 지울때만, Drop을 사용한다. [DELETE 구문] [ WITH [ ,...n ] ] DELETE [ TOP ( expression ) [ PERCENT ] ] [ FROM ] { | rowset_function_limited [ WITH ( [ ...n ] ) ] } [ ] [ FROM [ ,...n ] ] [ WH..
[ORACLE] DB dump 백업 및 복구 (export / emport )
2020. 5. 28. 오라클에서 데이터베이스나 스키마 별로 데이터를 저장, 백업하거나 다시 복구해야할때, DB Dump를 떠논다고 말한다. Dump는 간단한 명령어로 쉽게 떠지지만, 반드시 Dump를 저장할 디렉토리를 만들어 지정해줘야한다. 1. 오라클시스템상 디렉토리 만들기. CREATE DIRECTORY datadump AS 'C:\dump' ; GRANT READ, WRITE ON DIRECTORY dump TO SYSTEM ; GRANT CREATE ANY DIRECTORY TO SYSTEM; SELECT * FROM DBA_DIRECTORIES; 1. C밑에 물리적인 폴더를 생성하고, (dump라는 이름으로 생성했다) 이후 "CREATE DIRECTORY datadump AS 'C:\dump'"를 수행하여 데이터 베..
[JS] 비동기 처리 ajax 구문 사용법
2020. 5. 22. $.ajax() 메소드는 HTTP 요청을 만드는 강력하고도 직관적인 방법을 제공하여 데이터처리가 비동기로 이루어지며, 페이지의 이동없이, 데이터처리가 완료됨과 동시에 해당페이지에서 변경이 된다. 배우기 : http://tcpschool.com/ajax/ajax_jquery_ajax 코딩교육 티씨피스쿨 4차산업혁명, 코딩교육, 소프트웨어교육, 코딩기초, SW코딩, 기초코딩부터 자바 파이썬 등 tcpschool.com 기본 구문 $.ajax({ url: "", type: "", cache: , dataType: "", data: "", success: function(data){ }, error: function (request, status, error){ } }); url : 요청 url을 의미한다. t..
[윈도우] 레지스트리, 편집기, CMD 명령어
2020. 5. 22. 1. 레지스트리란? 등기소(registry)라는 뜻, 운영체제 안에서 작동하는 모든 프로그램의 시스템 정보를 담고 있는 데이터베이스이다. 해당 시스템에 대한 프로세서의 종류, 주기억장치의 용량, 접속된 주변장치의 정보, 시스템 매개변수, 응용소프트웨어에서 취급하는 파일의 타입과 각종 매개변수(parameter)등이 기억돼 있다. 사용자가 제어판 설정, 파일 연결, 시스템 정책, 또는 설치된 소프트웨어를 변경하면, 이에 따른 변경 사항들이 레지스트리에 반영되어 저장된다. 레지스트리는 또한 성능 카운터와 현재 사용하고 있는 하드웨어와 같은 런타임 정보를 노출하면서 윈도우를 커널의 운영 체제 안에 제공한다. 2. 레지스트리 편집기 'regedit' 이라는 명령어를 통해 실행 'HKEY_' 로 시작하는 것은 '..
[SQLD] SQLD 최신 기출 문제 , 요약 , 책 , 사이트 총정리
2020. 5. 15. 1. SQLD 온라인 요약 정리 https://blog.naver.com/liberty264/220567987579 2. SQLD 요약 정리본 (간단한 버전) https://cafe.naver.com/sqlpd/7810 3. SQLD 요약 정리본 (상세한 버전) https://wbslqj3300.blog.me/220301179115 4. SQLD 예상문제 (객관식) https://cafe.naver.com/sqlpd/5488 5.SQLD 예상문제 (주관식) https://cafe.naver.com/sqlpd/6693 6. SQLD 기출문제 https://seokr.tistory.com/606 7. SQL 코드 직접 실습할 수 있는 사이트 (오라클 회원가입 및 로그인 후 이용 가능) https://live..
[JS] 자바스크립트 동작방식 - 싱글쓰레드, 비동기처리
2020. 5. 15. 자바스크립트는 기본적으로 싱글쓰레드기반의 비동기처리를 지원한다. 싱글쓰레드는 하나의 잡만을 수행하며, 멀티진행이 안된다는 말이다. 하지만 자바스크립트는 비순차적으로 하나의 이벤트의 대해서 많은 함수라도 동시성을 보장하며 빠르게 처리한다. 이것이 비동기 처리이다. 동기적으로 실행된다면, 함수 A안에서 B가 실행될때, 일반적인 A안에서 호출된 B가 끝나고 복귀하여 A가 실행되지만, 자바스크립트는 A는 A대로 호출된 B는 B대로 실행이 된다. 이 동시성 처리는 UI를 랜더링하고, 이벤트 I/O를 통해 JS를 처리하는 브라우저 엔진에서 호출스택에 담아 처리한다. 웹에서 무엇인가 I/O를 통한 이벤트가 발생하면, 태스크큐에 작업목록으로 올라간다. 이후 큐에 FIFO방식으로 첫번째 작업을 수행하는데, 이 작업에서 ..
[네트워크] NTP 서버란?
2020. 5. 7. NTP (network time protocol) ; 네트웍 시각 프로토콜 "NTP"는 네트웍으로 연결되어 있는 컴퓨터들끼리 클록 시각을 동기화시키는데 사용되는 프로토콜이다. "NTP"는 미국 델라웨어 대학의 데이빗 밀스에 의해 처음 개발되었으나, 이제는 인터넷 표준이 되었다. "NTP"는 컴퓨터 클록 시간을 1/1000 초 이하까지 동기화시키기 위해 협정 세계시각(UTC)을 사용하게 됩니다. - www.terms.co.kr - 국내 Time Server 리스트 직장이나 가정에서 개인 PC의 시각 동기용으로 타임서버를 선택할 경우 Stratum 2 타임서버를 선택하세요. - Stratum 1 타임서버는 Stratum 2 타임서버의 시각동기를 목적으로 운영됩니다. Stratum 2 타임서버를 선택해도 충분..
[네트워크] 3-way / 4-way Handshake 란?
2020. 5. 7. 1. TCP 3-way Handshake 란? TCP는 장치들 사이에 논리적인 접속을 성립(establish)하기 위하여 three-way handshake를 사용한다. TCP 3 Way Handshake는 TCP/IP프로토콜을 이용해서 통신을 하는 응용프로그램이 데이터를 전송하기 전에 먼저 정확한 전송을 보장하기 위해 상대방 컴퓨터와 사전에 세션을 수립하는 과정을 의미한다.. Client > Server : TCP SYN Server > Client : TCP SYN, ACK Client > Server : TCP ACK 여기서 SYN은 'synchronize sequence numbers', 그리고 ACK는'acknowledgment' 의 약자이다. 이러한 절차는 TCP 접속을 성공적으로 성립하기 위..
[Oracle] 스키마, 테이블 조회
2020. 4. 27. 1. 테이블 조회하기 - 테이블 목록 조회 SELECT * FROM all_all_tables SELECT * FROM dba_tables SELECT * FROM ALL_OBJECTS WHERE OBJECT_TYPE = 'TABLE' - 테이블 목록 조회 (접속한 계정) SELECT * FROM tabs SELECT * FROM USER_OBJECTS WHERE OBJECT_TYPE = 'TABLE' SELECT * FROM USER_TABLES - 테이블 코멘트 조회 SELECT * FROM ALL_TAB_COMMENTS WHERE TABLE_NAME = '테이블명' SELECT * FROM USER_TAB_COMMENTS 2. 컬럼 조회하기 - 컬럼 조회 SELECT * FROM COLS WHERE..
[양말코디] 양말코디 양말매칭, 페이크삭스, 발목양말, 크루삭스
2020. 4. 12. 양말의 종류 1. 페이크삭스 슬립온, 단화, 로퍼 등에 잘 매치되며, 양말이 보이지않아서, 여름엔 시원한 느낌을 살릴수있고, 슬렉스나 크롭진에 발목이 이쁘게 노출되어 잘 신을수있는 양말이다. 페이커삭스는 이처럼 발목양말보다 훨씬 깔끔하고 다리가 길어보인다. 2. 스니커즈 / 발목양말 / 미들 주로 운동화를 신거나, 운동을 하거나, 캐주얼룩에 단순한 코디에만 쓰인다. 3. 크루양말 / 하이삭스 물론 검정 긴 양말은 정장을 입거나, 구두, 부츠 등을 신을때, 검정색으로 매치할때 사용되고 흰색 크루양말은 흰색 스니커즈나 청바지에 찰떡이며 트랙팬츠를 긴양말안에 넣어 조거팬츠처럼 트렌디하게 코디할수도 있다. 4. 컬러양말 톤온톤코디에 활용하고, 색조합이 적은 깔끔한 룩에 양말로 포인트를 줄 수 있다. 스트릿 패션..
[버킷햇, 벙거지] 코디, 상품 추천 총정리
2020. 4. 12. 샐럽과 패피의 필수아이템, 벙거지 이런 모습 상상하며, 구매하지만, 현실은... 그냥 거지.ㅠㅠ 패완얼임을 알지만, 그래도 버킷햇을 정리해보자. 종류 와이드 > 스탠다드 > 스트릿 챙의 길이에 따라 다르게 분류하고, 가장 많이 착용하는 상품은 스탠다드로, 다양한 디자인과 색상이 나온다. 앞에서부터 뒤를 눌러써주면 된다. 얼굴형에 따라 어울리는 모자종류가 다른데. 머리가 작은사람은 뭐든 잘어울리므로, 머리가 큰사람들을 대상으로 말하자면, 머리가 큰사람이라고 무조건 와이드를 사는게 정답은 아니다. 머리가 길면 되려 짧은 모자를 사서 눌러쓰는게 단점을 보완할수있고 머리가 크면, 되려 챙이 짧은 모자를 사서 캐주얼하게 매치시킬수있다. 중요한건 머리 둘레보다, 얼굴(광대부분)둘레가 더 크면, 예쁘지않다. 역삼각형..
[주식기초] 거래중지 종류와 상한/하한제
2020. 4. 10. 주식시장의 상한가, 하한가 제도 우리나라에서는 선의의 투자자를 보호하기 위해 개별 주식의 가격변동폭을 제한하고 있습니다. 전일 종가 기준으로 상하 30% 이상 변동하지않도록 되어있는데 이를 상한가/하한가라고 합니다. 예를 들면 전일에 1만원이던 한 주식은 오늘 최고 11,500원(+15%)까지 오를 수 있고, 최저 8,500원(-15%)까지 떨어질 수 있습니다. 지나친 등락을 막아 시장의 안정을 꾀하기 위한 것입니다. 상하한가 제도는 우리나라와 같이 증권 시장이 안정되지 못한 나라에서 시행되는 제도로, 미국은 이런 제한이 없습니다. 주식시장의 거래가 중지될 때는? 주식시장에서는 귬융감독원에 의해 이상급등종목, 관리종목, 투자유의종목을 골라내고 있습니다 비정상적으로 시장이 교란될 때. 매매를 일순간 지연시..
[주식기초] 주식 매도 종류 - 시장가,지정가,조건부지정가,IOC,FOK
2020. 4. 10. 1. 주식매매의 원칙 가격 > 시간 > 수량 > 위탁매매 순서로 우선권을 지닌다. 같은가격이면 먼저 주문한 사람이 우선이고, 같은 시간주문했으면, 더 많은 수량을 매매하는사람이 우선권을 지닌다. 이를 이용한 다양한 매매법이 존재한다. 2. 주식매매 종류 1. 지정가 주문 자신이 원하는 가격을 지정해서 내는 주문으로 가장 많이 사용하는 주문형태이다. 지정가 주문을 내고 난 다음 현재 시세가 호가와 맞지 않으면 호가를 정정하여 주문을 다시 하면 된다. 2. 시장가 주문 투자자가 원하는 종목과 수량만 지정을 하고, 가격은 직접 지정하지 않고 현재 시장에서 형성되고 있는 가격, 또는 형성될 가격으로 매매주문을 하는 방법이다. 가장 빠른 시간 안에 확실히 체결되기를 원한다면 이 주문을 선택하면 된다. 하지만 사는..
[EDW] 데이터 이관 - CDC, ETL, ODS
2020. 4. 8. # CDC 실시간으로 원천 데이터의 변경 사항을 감지하여 이관하는작업이 CDC(Change Data Capture)이다. 다양한 방법으로 캡쳐를 진행하나, 로그를 읽어 변경을 반영하는 방법과 통신을 통한 변경이 주로쓰인다. 현업에서 CDC란 용어는 실시간데이터가 반영된 EDW 그 자체를 칭하기도 한다. # ETL 그리고 데이터를 이관하기위해 추출, 변환, 적재라는 일련의 과정을 거치는데 이를 ETL이라고 한다. ETL 도구로는 SSIS(MS-SQL), ODI(Orcle), ESF 등이 있다. # ODS 현재는 ODS가 staging과 같은의미로 1차적인 데이터 수집공간(temporary)으로 표현되곤한다. EDW로 이관을 위한 중간단계 데이터로, 원천데이터의 복사본으로 사용한다.
[Liunx] 명렁어 정리
2020. 4. 7. 윈도우와 리눅스에 시스템적으로 가장큰 차이는 경로를 표시법입니다 윈도우는 백슬래쉬 \ 를 사용하고 리눅스는 슬래쉬 / 를 사용합니다. 꼭 알아야할 리눅스 기본 명령어 10가지 1. ls - 현재 위치의 파일목록을 조회하는 명령어 2. cd - 디렉토리를 이동하는 명령어 3. touch - 파일의 용량이 0인 파일을 생성, 날짜 변경하는 명령어 4. mkdir - 디렉토리를 생성하는 명령어 5. cp - 파일을 복사하는 명령어 6. mv - 파일을 이동시키는 명령어 7. rm - 파일을 제거하는 명령어 8. cat - 파일의 내용을 화면에 출력하거나 파일을 만드는 명령어 9. redirection - 화면에 출력되는 결과를 파일로 저장하는 명령어 10. alias - 자주 수행하는 명령어들을 쉽게 사용할 ..
[Window] Dos 명령어 정리
2020. 4. 7. DOS 명령어 1. 커맨드창 위치이동 CD [이동할 경로] 2. 현재 위치의 파일과 디렉토리(폴더) 목록 보기 dir 3. 명령어 도움말 보기 (명령 프롬프트 명령어를 모두 보여줍니다) help 4. 네트워크 설정상태 보기(/all 옵션을 붙여 상세한 설정 정보를 볼수 있습니다) ipconfig 5. 디렉토리(폴더) 생성 md [생성할 폴더 이름], mkdir [생성할 폴더 이름] 6. 디렉토리(폴더) 지우기 (/s 입력시 폴더안 파일이 있더라도 삭제가능, 휴지통으로 가지않고 완전삭제이므로 주의해야합니다) rd [삭제할 폴더 이름], rmdir [삭제할 폴더 이름] 7. 환경변수 보기 set 8. 환경변수 path 보기 path 9. 현재 명령 프롬프트 창 초기화 (이전 명령어 결과를 지웁니다) cls ..

티스토리툴바