본문 바로가기

Work

[AI] 지도학습, 비지도학습, 강화학습(RL) 개념과 차이점
2020. 8. 6. 인공지능의 기계학습은 크게 3가지로 분류된다. 1. 지도학습(Supervised Learning) - 분류 , 회귀 2. 비지도학습(Unsupervised Learning) - 군집화, 차원축소 3. 강화학습(Reinforcement Learning) - 게임산업, 실시간결정, 로봇네비게이션 개념과 서로 차이점이 무엇인지 알아보자. 지도, 비지도, 강화학습 모두 적절한 feature를 잘 정의하는 것이 핵심입니다. 예를 들어 고양이, 강아지 사진은 분류한다고 하면 고양이는 귀가 뾰족하다 거나 눈코입의 위치, 무늬 등이 피처가 됩니다. 키와 성별을 주고 몸무게를 예측한다고 하면 키와 성별이 피처가 됩니다. Feature는 Label, Class, Target, Response, Dependent varia..
[AI] 인공지능 AI, 머신러닝 ML, 딥러닝 DL의 개념, 차이점
2020. 8. 6. 1. AI, ML, DL 개념 Artificial Intelligence ,AI 인공지능은 인간의 학습능력, 추론능력, 지각능력, 언어 이해능력 등을 컴퓨터에 구현한 기술이다. 사람만 할수있었던, 가치 판단, 학습, 인식, 의사소통, 심리상태 추론 등 기계로는 할 수 없던 일들을 가능케 하는기술이다 이 분야는 , 빅데이터를 기반으로 분석을 하고 분석한 데이터를 가지고 학습하며, 학습한 내용을 가지고 복잡한 문제의 답을 찾거나, 가치판단을 하거나, 결과를 예측하는 기술이다. 많은 데이터를 기반으로한 학습을 흔히 머신러닝 (기계학습, Machine Learning )이라고 말한다. 빅데이터를 기반으로 스스로 학습하여 결정을 내리는 수많은 알고리즘들이 존재하는데, 이보다 복잡한 하드웨어(슈퍼컴퓨터)와 복잡하고..
[SQLD] SQLD 공부법 (1주) - 단기 합격 , 전공자
2020. 7. 2. 극히 주관적이며, Oracle 이나 Mysql을 사용한 전공자입니다. [ 안일하게 또 너무쉽게 생각하면, 낙방하실 수 있으니, 참고만 하세요! ] 일주일전부터 사실상 4일정도... (라고 하지만 이런사람들 절대 믿지마세요ㅋ) 모르는 개념이 문제에 나왔을때만, 구글링후 정리하며 공부했고 오라클이나 Mysql 설치해서 이해안될때마다 돌려보시는걸 추천드립니다. 설치가 싫으면? SQL 코드 직접 실습할 수 있는 사이트 https://livesql.oracle.com/apex/f?p=590:1000 1. 개념 정리 - 2주이상의 시간이있고, 꼼꼼히 공부하고 싶다면 추천합니다. - 전공자라면, 사실상 pass해도 무방( 합니다만 저는 쓕~봤어욬 ) SQLD 온라인 책 정리 https://blog.naver.com/..
[SQLD] 그룹함수 - GROUPING SETS 예문, 총정리
2020. 7. 2. GROUP FUNCTION 는 1. 소그룹 간의 소계를 계산하는 ROLLUP, - 글 바로가기 2. 다차원적인 소계를 계산하는 CUBE, - 글 바로가기 3. 특정항목에 대한 소계를 계산하는 GROUPING SETS 함수 총 3가지가 있습니다. 3. GROUPING SETS 함수 select * from test1 예제에 사용할 test1 테이블 그룹핑셋은 소계를 내는 함수가 아닙니다. 그룹핑에 대해서 개별적인 합계를 내어주고, 이를 UNION해준것과 같은 결과를 냅니다. ex >COL1 , COL2 그룹핑셋 select COL1 ,COL2 ,COUNT(*) 행수 from test1 group by GROUPING SETS(COL1,COL2) order by col1; COL1 기준 합, COL2 기준 ..
[SQLD] 그룹함수 - CUBE 예문, 총정리
2020. 7. 2. GROUP FUNCTION 는 1.소그룹 간의 소계를 계산하는 ROLLUP, - 글 바로가기 2.다차원적인 소계를 계산하는 CUBE, 3.특정항목에 대한 소계를 계산하는 GROUPING SETS 함수 총 3가지가 있습니다. - 글 바로가기 2. CUBE 함수 CUBE 는 그룹화된 모든 경우에 합을 구함 , ROLLUP과 달리 그룹화의 순서가 중요하지않다! select * from test1 예제에 사용할 test1 테이블 기본예제 select col1,sum(col2) from test1 group by CUBE(col1) 그룹을 하나만 사용하면, ROLLUP과 결과가 같다. 그룹화를 2개이상 할때 달라진다. select COL1 ,COL2 , COUNT(*) 행수 from test1 group by C..
[SQLD] 그룹함수 - ROLLUP 예문, 총정리, 사용시 주의사항
2020. 7. 2. GROUP FUNCTION 는 소그룹 간의 소계를 계산하는 ROLLUP, 다차원적인 소계를 계산하는 CUBE, - 글 바로가기 특정항목에 대한 소계를 계산하는 GROUPING SETS 함수 총 3가지가 있습니다. - 글 바로가기 이중 컬럼을 그룹화여 부분합, 합계, 소계 등을 할수있는 그룹함수에 대해서 알아보자 1. ROLLUP 함수 롤업은 소계를 위해 사용되는 함수이며, 모든 그룹함수는 group by와 함께 쓰인다 select * from test1 예제에 사용할 test1 테이블 Rollup은 Aggregation함수 (sum, count, 등 )과 함께 그룹화 기준을 통해 소계를 내는데 유용하게 쓰인다. ex > rollup + count(*) select col1,col2,count(*) fro..
[SQLD] 윈도우함수 - 비율함수 (ratio_to_report, percent_rank, cume_dist, ntile)
2020. 6. 28. 윈도우함수 종류 순위(RANK) 관련 RANK, DENSE_RANK, ROW_NUMBER 대부분 지원 순서 관련 함수 FIRST_VALUE, LAST_VALUE, LAG, LEAD ORACLE 만 지원 그룹 내 비율 관련 함수 CUME_DIST, PERCENT_RANK, NTILE, RATIO_TO_REPORT PERCENT_RANK 함수는 ANSI/ISO SQL 표준과 Oracle DBMS에서 지원하고 있으며, NTILE 함수는 ANSI/ISO SQL 표준에는 없지만, Oracle, SQL Server에서 지원하고 있다. RATIO_TO_REPORT 함수는 Oracle에서만 지원되는 함수(현업에서 유용). 비율함수의 결과값은 모두 0 - 1의 범위를 가지며, 값의 총합은 1이됩니다. 실행을 통해 설명하..
[SQLD] 윈도우함수 - 순위함수(rank, dense_rank, row_number)
2020. 6. 28. 윈도우함수 종류 순위(RANK) 관련 RANK, DENSE_RANK, ROW_NUMBER 대부분 지원 순서 관련 함수 FIRST_VALUE, LAST_VALUE, LAG, LEAD ORACLE 만 지원 그룹 내 비율 관련 함수 CUME_DIST, PERCENT_RANK, NTILE, RATIO_TO_REPORT PERCENT_RANK 함수는 ANSI/ISO SQL 표준과 Oracle DBMS에서 지원하고 있으며, NTILE 함수는 ANSI/ISO SQL 표준에는 없지만, Oracle, SQL Server에서 지원하고 있다. RATIO_TO_REPORT 함수는 Oracle에서만 지원되는 함수(현업에서 유용). 랭크함수() + over() rank - 같은값은 같은순위 이후 동일수만큼 뒤에 랭크를 반환 (1..
데이터 분석기법 7가지
2020. 6. 2. 비즈니스 가치를 만드는 7가지 빅데이터 기법 빅데이터란 무엇인가? ‘빅데이터’란 거대한 데이터를 처리하기 위해 특화된 기법과 기술을 적용하는 것입니다. 이러한 데이터는 너무나 방대하고 복잡해서 수작업으로 처리가 불가능합니다. 웹로그, 전화 기록, 진료 기록, 군사 기록, 사진 기록, 영상 기록, 그리고 대규모 전자상거래 기록 등이 빅데이터의 예에 속합니다. ‘거대함’에 대하여, 우리는 적어도 1 terabyte를 필요로 하는 데이터세트라고 말할 수 있으며, 더 나아가 수백의 petabytes까지 말할 수 있습니다. (1 petabyte = 1024 terabytes). 페이스북은 적어도 100 petabytes가 넘는 사진 및 영상 데이터를 저장하고 있다고 추정됩니다. 1. Association rule..
[SQLD] 계층형 질의와 셀프조인
2020. 5. 31. 계층형 질의와 셀프 조인 계층형 질의 테이블에 계층형 데이터가 존재하는 경우 데이터를 조회하기 위해서 계층형 질의(Hierarchical Query)를 사용한다. 계층형 데이터란 동일 테이블에 계층적으로 상위와 하위 데이터가 포함된 데이터를 말한다. 그림은 사원에 대한 순환관계 데이터 모델을 표현한 것이다. (2)계층형 구조에서 A의 하위 사원은 B, C이고 B 밑에는 하위 사원이 없고 C의 하위 사원은 D, E가 있다. 계층형 구조를 데이터로 표현한 것이 (3)샘플 데이터이다. Oracle 계층형 질의 SELECT ... FROM TABLE WHERE CONDITION AND CONDITION START WITH CONDITION CONNECT BY [NOCYCLE] CONDITION AND CONDI..
[SQLD] 조인원리 NL join, Sort-Merge join, Hash Join
2020. 5. 29. 조인 수행원리에 대해 알아보자 조인수행의 방법으로 3가지가 있다. 1. Nested Loop - 루프를 돌며 두 테이블의 로우를 연결하는 형식 2. Sort-Merge - 참조할 인덱스가 없는 두테이블을 정렬하여, 순차적으로 연결시켜주는 방식 3. Hash - 두테이블이 너무 큰 경우, 해쉬맵에 저장하여, 연결시켜 조인하는 방식 각각의 방식에 대해서 조금더 자세히 알아보자 1. Nested Loop 원리 1. 선행테이블에서 첫번째 행을 접근. 2. 그 행의 조인할 속성을가지고 후행테이블 인덱스를 거쳐 접근 3. 1-2번의 작업을 반복하여 맵핑하며 결과를 버퍼에 저장하여 마지막에 출력함. 특징 1. 선행테이블은 풀스캔하므로, 선행테이블의 크기가 작을수록 유리하다 ( So. 두 테이블의 크기 차이가 있는 경..
[SQLD] 윈도우 함수, 범위 지정
2020. 5. 29. ANSI/ISO SQL 표준에서 정의한 함수 1. AGGREGATE FUNCTION GROUP AGGREGATE FUNCTION 이라고도 부릅니다. COUNT, SUM, AVG, MAX, MIN 외 각종 집계 함수들이 포함됩니다. 2. GROUP FUNCTION 집계함수를 제외하고, 소그룹 간의 소계를 계산하는 ROLLUP, GROUP BY 항목들간 다차원적인 소계를 계산하는 CUBE, 특정항목에 대한 소계를 계산하는 GROUPING SETS 함수가 있습니다. 3. WINDOW FUNCTION 분석함수(ANALYTIC FUNCTION)나 순위함수(RANK FUNCTION)로도 알려져 있는 윈도우 함수는 데이터웨어하우스에서 발전된 기능입니다. 그중에서 오늘은 window함수의 범위를 다뤄보자 Window ..
[SQLD] Delete, Truncate, Drop 비교
2020. 5. 29. delete는 테이블의 row단위로 데이터를 삭제하는 DML이며, DML의 특성상 롤백이 가능하지만. truncate, drop 은 테이블 단위로 이루어지는 DDL로, 특성상 복구(Rollback)가 불가능하다. 데이터를 모두 날리는 경우에는, Delete보다 DDL이 빠르고 유리하지만, 테이블의 구조와 스키마는 지우지 않고 남기고 싶을때, Truncate를 사용하며, 테이블의 모든정보를 지울때만, Drop을 사용한다. [DELETE 구문] [ WITH [ ,...n ] ] DELETE [ TOP ( expression ) [ PERCENT ] ] [ FROM ] { | rowset_function_limited [ WITH ( [ ...n ] ) ] } [ ] [ FROM [ ,...n ] ] [ WH..
[ORACLE] DB dump 백업 및 복구 (export / emport )
2020. 5. 28. 오라클에서 데이터베이스나 스키마 별로 데이터를 저장, 백업하거나 다시 복구해야할때, DB Dump를 떠논다고 말한다. Dump는 간단한 명령어로 쉽게 떠지지만, 반드시 Dump를 저장할 디렉토리를 만들어 지정해줘야한다. 1. 오라클시스템상 디렉토리 만들기. CREATE DIRECTORY datadump AS 'C:\dump' ; GRANT READ, WRITE ON DIRECTORY dump TO SYSTEM ; GRANT CREATE ANY DIRECTORY TO SYSTEM; SELECT * FROM DBA_DIRECTORIES; 1. C밑에 물리적인 폴더를 생성하고, (dump라는 이름으로 생성했다) 이후 "CREATE DIRECTORY datadump AS 'C:\dump'"를 수행하여 데이터 베..
[SQLD] SQLD 최신 기출 문제 , 요약 , 책 , 사이트 총정리
2020. 5. 15. 1. SQLD 온라인 요약 정리 https://blog.naver.com/liberty264/220567987579 2. SQLD 요약 정리본 (간단한 버전) https://cafe.naver.com/sqlpd/7810 3. SQLD 요약 정리본 (상세한 버전) https://wbslqj3300.blog.me/220301179115 4. SQLD 예상문제 (객관식) https://cafe.naver.com/sqlpd/5488 5.SQLD 예상문제 (주관식) https://cafe.naver.com/sqlpd/6693 6. SQLD 기출문제 https://seokr.tistory.com/606 7. SQL 코드 직접 실습할 수 있는 사이트 (오라클 회원가입 및 로그인 후 이용 가능) https://live..
[Oracle] 스키마, 테이블 조회
2020. 4. 27. 1. 테이블 조회하기 - 테이블 목록 조회 SELECT * FROM all_all_tables SELECT * FROM dba_tables SELECT * FROM ALL_OBJECTS WHERE OBJECT_TYPE = 'TABLE' - 테이블 목록 조회 (접속한 계정) SELECT * FROM tabs SELECT * FROM USER_OBJECTS WHERE OBJECT_TYPE = 'TABLE' SELECT * FROM USER_TABLES - 테이블 코멘트 조회 SELECT * FROM ALL_TAB_COMMENTS WHERE TABLE_NAME = '테이블명' SELECT * FROM USER_TAB_COMMENTS 2. 컬럼 조회하기 - 컬럼 조회 SELECT * FROM COLS WHERE..
[EDW] 데이터 이관 - CDC, ETL, ODS
2020. 4. 8. # CDC 실시간으로 원천 데이터의 변경 사항을 감지하여 이관하는작업이 CDC(Change Data Capture)이다. 다양한 방법으로 캡쳐를 진행하나, 로그를 읽어 변경을 반영하는 방법과 통신을 통한 변경이 주로쓰인다. 현업에서 CDC란 용어는 실시간데이터가 반영된 EDW 그 자체를 칭하기도 한다. # ETL 그리고 데이터를 이관하기위해 추출, 변환, 적재라는 일련의 과정을 거치는데 이를 ETL이라고 한다. ETL 도구로는 SSIS(MS-SQL), ODI(Orcle), ESF 등이 있다. # ODS 현재는 ODS가 staging과 같은의미로 1차적인 데이터 수집공간(temporary)으로 표현되곤한다. EDW로 이관을 위한 중간단계 데이터로, 원천데이터의 복사본으로 사용한다.
[Liunx] 명렁어 정리
2020. 4. 7. 윈도우와 리눅스에 시스템적으로 가장큰 차이는 경로를 표시법입니다 윈도우는 백슬래쉬 \ 를 사용하고 리눅스는 슬래쉬 / 를 사용합니다. 꼭 알아야할 리눅스 기본 명령어 10가지 1. ls - 현재 위치의 파일목록을 조회하는 명령어 2. cd - 디렉토리를 이동하는 명령어 3. touch - 파일의 용량이 0인 파일을 생성, 날짜 변경하는 명령어 4. mkdir - 디렉토리를 생성하는 명령어 5. cp - 파일을 복사하는 명령어 6. mv - 파일을 이동시키는 명령어 7. rm - 파일을 제거하는 명령어 8. cat - 파일의 내용을 화면에 출력하거나 파일을 만드는 명령어 9. redirection - 화면에 출력되는 결과를 파일로 저장하는 명령어 10. alias - 자주 수행하는 명령어들을 쉽게 사용할 ..
[Window] Dos 명령어 정리
2020. 4. 7. DOS 명령어 1. 커맨드창 위치이동 CD [이동할 경로] 2. 현재 위치의 파일과 디렉토리(폴더) 목록 보기 dir 3. 명령어 도움말 보기 (명령 프롬프트 명령어를 모두 보여줍니다) help 4. 네트워크 설정상태 보기(/all 옵션을 붙여 상세한 설정 정보를 볼수 있습니다) ipconfig 5. 디렉토리(폴더) 생성 md [생성할 폴더 이름], mkdir [생성할 폴더 이름] 6. 디렉토리(폴더) 지우기 (/s 입력시 폴더안 파일이 있더라도 삭제가능, 휴지통으로 가지않고 완전삭제이므로 주의해야합니다) rd [삭제할 폴더 이름], rmdir [삭제할 폴더 이름] 7. 환경변수 보기 set 8. 환경변수 path 보기 path 9. 현재 명령 프롬프트 창 초기화 (이전 명령어 결과를 지웁니다) cls ..
[EDW] 데이터흐름 - 기간계, ODS, EDW, DM, OLAP
2020. 4. 7. 운영계 시스템 기업 운영에 필요한 업무용 시스템이며, 이 시스템의 사용자는 직원이 될 수도 있고, 외부 고객이 될 수도 있습니다. 예를 들어 전자상거래 사이트에서 물건을 주문했을 경우, 인터넷뱅킹 사이트에서 이체를 진행했을 경우, 내부 인사시스템의 사원 정보를 갱신하는 경우와 같이 프로세스가 모두 운영계 시스템에서 처리됩니다. 이 시스템에 발생하는 데이터는 대부분 데이터베이스 트랜잭션 단위로 데이터를 처리하고, 저장하며 흔히 OLTP(Online Transaction Processing) 데이터라고 표현합니다. 금융권에서 운영계시스템을 분류하여 기간계, 계정계, 정보계, 대외계와 같은 용어를 사용합니다. 1. 기간계(Legacy, Existing) 1) 정의 : 고객이 사용하던 기존 시스템(새로운 시스템..

티스토리툴바