Jerry's a development book

리눅스에서 폴더를 압축하는 방법 중 Gz 방식을 이용하는 방법.  리눅스에서 압축하는 방법은 여러가지가 있는데 window 처럼 zip을 이용할려고 하다가. 그럴려면 라이브러리를 새로 설치해야되서, tar 에 gz 압축방식이 있어서 사용해보았다. tar 에서도 gz , bzip2 가 있는데 압축률은 bzip2 가 더 좋지만, 시간이 더 오래걸린다고 하여 gz으로 골랐다. 15G (약 17000여개 파일들) 이 gz 후 254M 으로 줄어듬 (60%압축률) [ 형식 ]   폴더를 gz으로 압축하는 코멘트(tar 만들던 옵션에서 z만 추가하면 됨) tar [option] [file_name.gz] [forder] [ Option ] - 주로 사용하는 것만  1. -f, --file=ARCHIVE       ..

리눅스에서 파일 압축하는 방법 중 tar 를 이용하여 압축하는 방법 [ 형식 ] tar [option] [file] [ Option ] - 주로 사용하는 것만 1. -f, --file=ARCHIVE use archive file or device ARCHIVE 2. -c, --create create a new archive 3. -x, --extract, --get extract files from an archive 4. -v, --verbose verbosely list files processed 5. -z, --gzip, --gunzip, --ungzip filter the archive through gzip 6. -w, --interactive, --confirmation ask for co..

scp [옵션] [파일명] [원격지_id]@[원격지_ip]:[받는 위치] [ 파일 보낼 때 ] $ scp test1.txt user1@111.111.111.111:/home/user/temp [ 폴더 보낼 때 ] $ scp -r ./directory user1@111.11.11.11:/home/user/temp * 두 장비의 통신이 처음 붙으면 SCP 명령어 당시 추가질문이 붙을 수 있음.

Impala 에서 쿼리를 돌리다가 중복 데이터가 나와서 중복데이터를 제거하기 위해 DISTINCT 를 사용했다. 쿼리를 다시 돌렸을 때, 해당 에러가 발생했다. illegalstateexception Grouping expr NULL return type BOOLEAN but its output tuple slot has type NULL_TYPE 구글링을 했었을 때, 다행히도 해당 에러에 대해 아파치 이슈로 올라와 있었다. https://issues.apache.org/jira/browse/IMPALA-4042 [IMPALA-4042] count(distinct NULL) fails on a view - ASF JIRA Affects Version/s: Impala 2.7.0 issues.apache...

SCP는 Secure copy의 줄임말로 호스트간에 파일을 안전하게 옮기는 수단 중 하나이다. SCP 를 이용하여 다른 장비로 파일을 보낼려고 명령어를 사용하다가 특정 장비는 해당 에러가 발생했다. Host key verification failed. root 로 해도 안되고, 네트워크도 다 문제 없었는데 이유를 몰라서 열심히 삽질을 헀다. SCP는 SSH 프로토콜을 기반으로 되어있다. 해당 에러는 ~/.ssh/known_hosts 파일에 가고싶은 곳에 host 네임이 등록이 안되어있어서 발생한거 였다. 그래서 보내고 싶은 장비로 ssh로 한번 연결해주면 known_hosts 파일에 자동으로 등록되고, 그 후에 SCP 명령어를 사용하면 된다. 보안때문에 발생하는 문제였다.

DNS의 풀네임은 Domain Name System으로 인터넷 프로토콜이다. 일상생활 속에서 많이 사용하고 있는 유용한 프로토콜이다. IP 주소를 사람들이 쉽게 사용할 수 있도록 문자로 사용할 수 있게 도와주는 역할을 한다. 대다수의 사람들이 네이버의 주소가 무엇이냐고 물어보았을 때. www.naver.com을 알고 있어도 223.130.200.104라고 대답하는 사람은 거의 없을 것이다. 번외로 ip 주소를 확인하는 방법은 cmd에 nslookup 명령어를 사용하면 알 수 있다. 그러면 4개의 IP주소가 나오는데. 이게 4개가 네이버주소이다. 4개 중 아무거나 쳐도 네이버가 나온다. 본론으로 DNS를 설정하는 방법에 대해 알아보자. [Window] File Path : C:\Windows\System3..

일반 설정으로는 Hive에서 update 쿼리를 처리할 수 없다. 왜냐하면 Hive는 애초에 update & delete 등 데이터의 변화를 고려하지 않고 설계되었기 때문이다. 이것에 대한 설명은 나중에 따로 포스팅을 작성할 예정이다. 아무튼 ACID를 적용하면 UPDATE & DELETE 쿼리를 할 수 있다. 최근에 쿼리를 작성하다가. 해당 에러 때문에 구글링하는데 시간소비를 굉장히 오래했다. [에러내용] SQL Error [500051] [HY000]: [Cloudera][HiveJDBCDriver](500051) ERROR processing query/statement. Error Code: 2, SQL state: Error while processing statement: FAILED: Exe..

해외에서는 축구를 못 볼 것이라는 생각을 전혀 안해봤다. 막상 해외오고 좋아하는 팀의 축구경기가 전날에 있어서 하이라이트를 보려고 평소처럼 SPOTV에 들어갔는데, 하이라이트가 안나왔다. 쿠팡플레이도 들어가보았는데 동일했다. SPOTV와 쿠팡플레이 (PC,모바일)에 접속이 불가능했다. 유튜브랑 넷플릭스는 가능한데, 혹시나 한국 어플만 안되는건지는 모르겠다.(왓챠, 티빙 등) 아무튼 구글링 결과 VPN 우회하는 방법이 제일 많이 나왔는데, 그 방법은 안전한 방법은 아닌것 같아서 다른 방법을 찾아봐서 해결하였다. * 참고로 무료로 보는법 그런거 아닙니다. 국내든 해외든 정당한 대가는 지불하고 봅시다. 1. EPL 공식 사이트에 들어간다. https://www.premierleague.com/home Prem..

컴퓨터 한 개의 두 개 이상 os를 동시에 실행시킬 수는 없다. 그래서 두 개 이상의 os를 둘 다 실행시켜야 된다면, 가상머신환경을 구축하고 가상 환경에 os를 설치해주어야 된다. 저는 window 환경에서 vmware로 Ubuntu를 설치했다. vmware를 설치하는 포스팅은 아니기 때문에 vmware를 설치되어있다고 가정한다. 1. Ubuntu 사이트에 들어가서 os를 Download 받는다. Ubuntu 사이트 : https://ubuntu.com/download Get Ubuntu | Download | Ubuntu Download Ubuntu desktop, Ubuntu Server, Ubuntu for Raspberry Pi and IoT devices, Ubuntu Core and all ..

VM환경에 Hadoop을 설치하고, 간단한 테스트를 하기 위해서 데이터를 25만건 정도 테이블에 넣다가, 이러한 에러가 발생했다. ExecQueryFlnstances rpc query_id failed. Memory limit exceeded Query could not start because the backend Impala daemon is over its memory limit Error occurred on backend quickstart cloudera:22000 Memory left in process limit: -171.87 MB.. 메모리 관련해서 에러가 발생하였는데, 어떠한 쿼리를 써도 저러한 에러가 동일하게 발생했다. 해결하는 방법은 cloudera MANAGER에 들어가서 해당 ..