CodeMonkey

[JavaScript]배열 메소드 forEach(), map(),filter(),find(),reduce()

Ahki — Tue, 18 Aug 2020 18:08:41 +0900

처음 자바스크립트를 입문하는 사용자에게는 익숙한 for()은 지금 소개할 배열 메소드 보다는 덜 직관적이며, 코드의 가독성이 떨어진다. 이러한 배열 메소드들이 어떤식으로 구현되며, 왜 for()을 대체할 수 있는지 하나씩 살펴 보자

for vs forEach

배열.forEach( (처리할 현재 요소, 처리할 현재 요소의 인덱스, forEach()를 호출한 배열) => { return 요소 });

- 배열의 인자수 만큼 반복되는 For문으로 이해하면 편하다.

var arr = [3, 9, 4, 2, 7, 6];

/*arrow function*/
arr.forEach( (currentValue,index,array) => {
    if (currentValue % 2 == 0) {
        console.log("currentValue:"+currentValue);
        console.log("index:"+index);
        console.log("array:"+array);
        /*console.log
         "currentValue:4"
         "index:2"
         "array:3,9,4,2,7,6"
         "currentValue:2"
         "index:3"
         "array:3,9,4,2,7,6"
         "currentValue:6"
         "index:5"
         "array:3,9,4,2,7,6"
        */
    }
});

/*normal*/
arr.forEach( function(currentValue,index,array){
    if (currentValue % 2 == 0) {
        console.log("currentValue:"+currentValue);
        console.log("index:"+index);
        console.log("array:"+array);
    }
});

/*for*/
for (var i = 0; i < arr.length; i++) {
    if (arr[i] % 2 == 0) {
        console.log(arr[i]);
    }
}

코드라인의 수나 구문을 읽을때 가독성은 for문이나, foreach나 큰 차이는 없어보인다.

하지만 2가지의 다른 부분이 존재한다.

1. 스코프가 간섭받지 않는다.

for 예제에서 임시 변수 i 에 대해서 사용을 하였다, 이는 메모리나 성능에는 아주 미미한 간섭정도이나 추후 언제

사용할지 모르게 되는 i 로 인해 가독성의 문제가 생길 여지는 존재

2. 값에 대한 접근 방법의 차이

foreach의 경우 currentValue로 첫 번째 인자 값이 들어오므로 좀더 손쉽게 요소의 값을 얻을 수 있으나,

for문의 경우 arr[i]로 값을 얻어야 하므로 조금 더 불편한 점이 분명 존재

map

배열.map((요소, 인덱스, 배열) => { return 요소 });

let arrValue = [1,2,3,4];

let result = arrValue.map((returnVal) => { 
        return returnVal+1;
    });

console.log(arrValue);	//[1, 2, 3, 4]
console.log(result);	//[2, 3, 4, 5]

map은 해당 배열의 요소만큼 반복문을 돌며 해당 요소를 순서대로 불러와 매핑을 시켜줍니다. 이때 요소로 사용된 배열은 영향을 받지 않는것이 map의 특징이며 이 특징으로 인해 콜백의 값을 모아 새로운 배열을 만들때 사용됨

filter

배열.filter((요소, 인덱스, 배열) => { return 조건 });

const words = ['computer', 'ace', 'coffe', 'axe', 'kinfe', 'present'];

const result = words.filter(word => word.length > 6);
console.log(result); //["computer", "present"]

filter는 요소만큼 반복문을 돌며 해당 조건 true/false에 해당하는 것만 배열로 반환해 준다.

find

배열.find((요소, 인덱스, 배열) => { return 조건 });

let arr = [4, 15, 377, 395, 400, 1024, 3000];

let arr2 = arr.find((n) => (n % 5 === 0));
/* 
let arr2 = arr.find(function( n ){
  //if(n%5===0);
  //console.log(n%5);
  console.log("n:"+n);
  return n%5===0;
});
*/
console.log(arr2);	// 15

find는 조건에 해당하는 요소 하나만 반환한다.

(배열의 인덱스를 반환하고 싶다면 findIndex(), 배열 요소의 위치를 찾고싶다면 indexOf() )

reduce

reduce는 map, find, filter의 대체로 사용이 가능하다.

배열.reduce(( 이전값, 현재값, 현재인덱스, 배열) => { return 조건 });

let arr = [9, 2, 8, 5, 7]
let sum = arr.reduce((pre, val) => pre + val)
console.log(sum)	// 31

// map
var arr = ['foo', 'hello', 'diamond', 'A']
var arr2 = arr.reduce((pre, value) => {
    pre.push(value.length)
    return pre
}, [])
console.log(arr2)   // [3, 5, 7, 1]

// filter
var arr = [4, 15, 377, 395, 400, 1024, 3000]
var arr2 = arr.reduce((pre, value) => {
    if (value % 5 == 0) {
        pre.push(value);
    }
    return pre;
}, []);
console.log(arr2)    // [15, 395, 400, 3000]

// find
var arr = [4, 15, 377, 395, 400, 1024, 3000]
var arr2 = arr.reduce((pre, value) => {
    if (typeof pre == 'undefined' && value % 5 == 0) {
        pre = value;
    }
    return pre;
}, undefined);
console.log(arr2)  // 15

[오라클 성능 고도화] 오라클 아키텍처 - 02. DB 버퍼 캐시

Ahki — Wed, 12 Aug 2020 00:30:34 +0900

SGA(System Global Area)는 빠른 입출력을 위해 사용된다. 그 구성요소중 하나가 바로 DB버퍼 캐시

1) 블록 단위 I/O
하나의 레코드에서 하나의 컬럼만 읽게 되더라도 레코드 전체가 속한 블록 전체를 읽게 된다.

2) 버퍼 캐시의 구조

버퍼 캐시는 데이터 블록을 내포하고 있으며, 해시 테이블 구조로 관리된다.

* 데이터 블록을 해싱 하기위해서 사용되는 것이 데이터 블록 주소(DBA, Data Block Address)

* 각각의 버퍼 헤더를 연결 하는것이 해시 체인(hash chain)

* 해시 체인은 래치(Latch)에 의해 보호된다.(같은 리소스에 대한 액세스를 직렬화하는 일종의 Lock)

* cache buffers chains래치

- 해시체인에 동시에 접속되는것을 방지하며, 여러 해시 체인을 동시에 관리

- 버퍼 캐시에 연결된 체인구조를 보호한다.

- 버퍼 헤더에 Pin을 설정할때도 사용된다.

* LRU(least recently used)

- 사용빈도가 높은 데이터 블록이 위주로 사용되도록 하는 알고리즘(빈도가 낮은 데이터 블록 부터 밀어냄)

- MRU(Most Recently Used) end ----> LRU(least recently used) end

1) Dirty 리스트(=LRUW(LRU Write)) : 캐시 내에서 변경 됐지만, 아직 디스크에 기록되지 않은 Dirty 버퍼 블록을 관리.

2) LRU 리스트 : 아직 Dirty 리스트로 옮겨지지 않은 나머지 버퍼 블록을 관리

(해당 리스트를 보호하기 위한 래치 : cache buffers lru chain래치)

* 버퍼 상태

1) Free 버퍼 : 비어있는 상태이거나, 언제든 사용되어도 무방한 상태(사용될 시 Dirty 버퍼로 변경)

2) Dirty 버퍼 : 버퍼 캐시되어으나 아직 디스크에 기록되지 않은 버퍼 블록(디스크에 기록될시 Free버퍼로 변경)

3) Pinned 버퍼 : 읽기,쓰기 작업을 위해 액세스 되고 있는 버퍼 블록

출처

조시형,『오라클 성능 고도화 원리와 해법Ⅰ』

[오라클 성능 고도화] 오라클 아키텍처 - 01. 기본 아키텍처

Ahki — Mon, 27 Jul 2020 09:01:50 +0900

오라클은 데이터베이스와 이를 액세스하는 프로세스 사이에 SGA(System Global Area)라고 하는 메모리 캐시 영역을 두고 있다.

데이터베이스 : Datafile, Redo Log File, Control File 등의 집합

인스턴스 : SGA 공유 메모리 영역과 이를 액세스 하는 프로세스의 집합

프로세스 : 서버 프로세스와 백그라운드 프로세스의 집합

- 서버 프로세스

1) 최적화 수행 및 SQL을 실행하면서 결과 집합을 만듬

2) 네트워크를 통해 전송하는 일련의 작업들을 모두 서버 프로세스 가 처리

3) 서버프로세스만을 위한 독립적인 공간을 PGA(Program Global Area)

- 백그라운드 프로세스

1) 데이터 파일로부터 DB버퍼 캐시로 블록을 적재

2) Dirty 블록을 캐시에서 밀어냄으로써 Free 블록을 확보

3) Redo 로그 버퍼를 비움

오라클 인스턴스

◎ 오라클 접속 과정

1. LISTENER로 연결 요청

2. LISTENER에서 프로세스 생성 연결요청 상속

3. PGA(Program Global Area *서버 프로세스만을 위한 독립적인 공간) 에 메모리 생성

4. SERVER에서 사용자에게 RESEND 패킷 전송

5. 연결

오라클 접속 시

- 리스너에 연결요청을 하는 순간 하나의 프로세스를 띄우고 PGA 메모리를 할당한다.

- 오라클에 접속하는 어플리케이션을 구축할 때 반드시 커넥션 풀(Connection Pool) 기능이 필요하다

(래치획득 과정을 줄임으로써 성능개선)

- 한번 커녁션을 맺으면 작업을 완료하더라도 이를 해제하지 않고 어플리케이션 서버에 Pooling하고 있다가

반복 재사용

RAC(Real Application Cluster) 환경

- 기본적인 구성으로 오라클을 설치 시 하나의 데이터베이스에 접근하는 하나의 인스턴스가 생성되나 RAC환경에서는

하나의 데이터베이스를 액세스하는 다중 인스턴스로 구성된다.

- RAC는 공유 캐시 방식(Shared Cache)

*과거에는 공유 디스크 방식(디스크 방식을 사용함으로써 생기는 동기화 과정을 핑(Ping)이라 불렀다.)

- 글로벌 캐시 개념을 사용하므로 로컬 캐시에 없는 데이터블록을 이웃 노드에 전송받아 서비스 할 수 있다.

- 다른 인스턴스에서 갱신하고 아직 커밋하지 않은 Active상태의 블록까지도 디스크를 경유하지 않고 Dirty버퍼 상태에

서 네트워크를 통해 서로 주고받으며 수행한다.

- 여러개의 인스턴스가 하나의 데이터베이스를 액세스하는 것은 가능하지만, 하나의 인스턴스가 여러개의 데이터베이스

를 액세스 하는것은 불가능하다.

* DB Link는 일반 클라이언트 세션과 동일하게 Oracle Net을 이용해 SQL 기반으로 데이터를 읽고 쓰는 구조이므로

아키텍처와는 별개로 이해가 필요하다.

출처

조시형,『오라클 성능 고도화 원리와 해법Ⅰ』

[JavaScript]값 - 1.2 문자열

Ahki — Fri, 24 Jul 2020 12:49:35 +0900

문자열

자바스크립트 문자열은 실제로 생김새만 비슷하지, 문자 배열과 같지 않다.

var a = "abc";
var b = ["a","b","c"];

//배열과 마찬가지로 문자열도 length, indexOf(),concat() 메서드를 사용할 수 있다.
console.log(a.length);	//3
console.log(b.length);	//3

console.log(a.indexOf("b")); //1
console.log(b.indexOf("b")); //1

var c = a.concat("eng"); // "abceng"
var d = b.concat("eng"); // ["a","b","c","e","n","g"]

위의 예시만 봤을때는 문자의 배열이라고 이해할수 있으나, 문자열은 불변 값, 배열은 가변 값 이다.

문자열 메서드는 새로운 문자열을 생성한 후 반환한다. 반면 배열 메서드는 그 자리에서 원소를 변경한다.

그러므로 문자열에 대부분의 배열 메서드는 사용할 수 없으나, 문자열에 대한 불변 배열 메서드를 빌려쓰기는 가능하다.

var a = "test";

console.log(a.join);  //undefined
console.log(a.map);   //undefined

//불변 배열 메서드
var c = Array.prototype.join.call( a, "_");
var d = Array.prototype.map.call(a, function(v){
    return v.toUpperCase()+".";
}).join( "" );

console.log(c);//"t_e_s_t"
console.log(d);//"T.E.S.T."

//문자열 거꾸로 뒤집기, 가변 배열 메서드라 사용 불가
console.log(Array.prototype.reverse.call(a)); //TypeError

reverse같은 경우에는 call을 통해서도 사용이 불가능 한데, 아래와 같은 꼼수로는 해결이 가능하다.

단, 복잡한 문자(유니코드,특수문자 등등) 이 섞여있다면 라이브러리 유틸이 필요하다. ex:에스레베르)

//1) 'a'를 문자의 배열로 분할
//2) 문자 배열의 순서를 reverse처리
//3) 문자배열을 합쳐 다시 문자열로 돌린다.
var e = a.split("").reverse().join("");
console.log(e); // "tset"

정리

문자열에서는 왠만한 함수는 Array.prototype.call()을 통해 배열 메서드가 사용 가능하다.

다만 가변 배열 메서드인 reverse()의 경우에는 사용 불가하다.

배열을 문자열로 표현할때는 join("") 메서드를 활용하자.

[JavaScript]값 - 1.1 배열

Ahki — Wed, 22 Jul 2020 15:47:50 +0900

자바스크립트 배열은 다른언어와는 다르게 어떤 타입의 값이던, 객체던 상관없이 모두 담을 수 있다.

var a = [1, "2", [3] ];

a.length; //3
a[0] === 1; //true
a[2][0] === 3; //true

배열의 크기를 미리 정하지 않고도 선언할 수 있으나, 빠진 슬롯이 있는 배열을 사용한다면 주의가 필요하다.

var a = [];

a[0] = 1;
a[2] = [5];

a[1]; //undefined
a.length; // 3
a[2]; // [5]

배열 인덱스는 숫자인데, 배열 자체도 하나의 객체이므로 키/프로퍼티 문자열을 추가할 수 있다.

하지만 배열자체의 length가 증가하지 않으므로 사용이 까다로울 수 있다. 또한, 키로 넣은 문자열 값이 표준 10진수 숫자로 타입이 바뀌면, 문자열 키가 아닌 숫자 키를 사용한것과 같은 결과가 초래되니 주의가 필요하다.

var a = [];

a["testjs"] = 2;

a["testjs"];  //2
a.testjs;  //2

/*배열 length는 증가되지 않는다.*/
a.length;  //0

var b = [];
b["9"] = 21; 
 
b["9"];   //21
//length 호출 시 "9"가 형변환을 통해 숫자로 인식하게됨
b.length; //10

유사배열

배열이 아닌데 배열과 같은 형태를 취하고 있는 것

특정 돔을 찾아서 그 아래의 자식을 리턴하는 예제이다.

<!DOCTYPE html>
<html lang="kr">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<div id="init">
    <div></div>
    <div></div>
    <div></div>
</div>
<script>
    let outer = document.querySelector('#init').children;
    console.log(init);	//해당하는 돔 아래의 객체 조회
    console.log(typeof init);	//돔의 타입
    console.log(Array.isArray(init));	//돔은 배열인가?
    console.log(init instanceof Array);		//배열과 같은가?
</script>
</body>
</html

실행결과

이와같이 유사배열은 배열은 아니지만 배열과 같은 형태를 취하고있다.

유사배열을 직접 만들수도 있다.

let arr = { 
    0 : 't',
    1 : 'e',
    2 : 's',
    3 : 't',
    length : 4 //유사배열은 반드시 length 가 선언되어있어야 한다.
}

console.log(typeof arr); //"object"
console.log(Array.isArray(arr)); //"false"

유사배열은 앞서 말했듯이, 배열의 형태를 띄고있는것이지 배열자체는 아니다.

그러므로 배열과 관련된 함수(array method)를 사용할 수 없다.

유사배열을 배열과같이 사용하려면 아래와 같이 Array.from()을 활용하자.(es6이상)

function fn_getArr(){
    let arr = Array.from(arguments);

    arr.forEach((value, key) => {
        console.log(`${value} : ${key}`);
        /*
          "t : 0"
          "e : 1"
          "s : 2"
          "t : 3"
        */
    });
    console.log(typeof(arr));	//"object"
    console.log(Array.isArray(arr));//"true"
}

fn_getArr('t','e','s','t');

[JavaScript] type,typeof

Ahki — Mon, 13 Jul 2020 10:39:44 +0900

type *어떤 값을 다른 값과 분별할 수 있는, 고유한 내부 특성의 집합

우리가 보기에는 "1"과 1은 동일한 값으로 볼 수 있지만, ECMAScript에서의 해당 값들은 서로 타입이 다르다.(문자,숫자열)

해당 내용은 자바스크립트뿐 아닌 프로그래밍 언어를 접한 누구나 다 다르다고 알고 있지만, 오늘은 기본적인 타입에 대한 내용이 아닌 흔히 잘 사용하지 않는 부분에 대해 서술하고자 한다.

[내장 타입]

자바스크립트에는 아래와 같은 7가지의 내장 타입이 존재한다.

null
undefined
boolean
number
string
object
symbol (ES6부터 추가)

이러한 내장 타입은 typeof 연산자를 통해 결과를 확인 할 수 있다.

typeof undefined === "undefined"; //true
typeof true === "boolean"; //true
typeof 11 === "number"; //true
typeof "11" === "string"; // true
typeof { sample : 11 } === "object"; //true
typeof null === "object"; //true

//ES6 이후
typeof Symbol() === "symbol"; //true

분명 자바스크립트 타입에는 null이 존재하지만 실제로 null을 typeof 연산자를 통하여 반환하면 null이 아닌 object가 반환된다.

typeof연산자를 통해 null값을 체크하려면 강제 형변환을 이용하여 아래와 같이 선언되어야 한다.

typeof null //"object"
typeof !null //"boolean"

(!null && typeof null === "object"); //true

null의 타입은 object이지만, false의 성격을 띠고 있는 null을 !연산자를 통한 강제 형변환 시 boolean타입으로 변환된다.

function(함수)의 경우에는 typeof 호출 시 어떻게 나올까?

typeof function a(){} // "function"

앞서 얘기한 7가지의 타입이 아닌 function이라는 문자열이 나왔다. 완전 새로운 타입의 타입으로 이해할 수도 있겠으나, 사실 function은 object(객체)의 하위 타입이다. 즉 객체이다.

function은 객체이므로 아래와 같은 프로퍼티를 이용한 함수의 인자 개수도 구할 수 있다.

function a(b,c){
	/*...*/
}

a.length; //2 해당 function에서의 인자 개수

[undefined, undeclared]

undefined(값이 없는), undeclared(선언되지 않은)의 의미를 숙지 후 아래의 실행 결과를 보자.

var x;

typeof x; //"undefined"
//존재하지 않는 변수
typeof y; //"undefined"
y;        //"ReferenceError: y is not defined

변수는 선언되었으나 값이 존재하지 않는 x의 typeof 결과는 우리가 예상 하듯이 "undefined"이다.
하지만 선언되지 않은 변수y의 typeof 결과 또한 "undefined"로 나온다.

typeof는 선언되지 않은 변수인지, 변수에 값이 할당되지 않았는지 구분없이 결과는 모두 "undefined"이다.

선언되지 않은 변수의 결과를 "undeclared"라고 명명 했으면 헷갈릴 일도 없었겠지만, 아쉬운 부분이다.

typeof가 갖는 특이한 점은 또 있다. 변수y를 typeof 쓰지않고 호출 시 브라우저는 오류로 인식하지만,

typeof를 이용한 결과는 safety guard(안전가드)로 인해 오류로 처리되지 않고 "undefined"라는 결과를 호출하며,
오류없이 예외사항을 체크 할 수 있게 도와준다.

function setData(){
	var convertDt = (typeof castDate !== "undefined") ? 
    	castDate : 
        /*해당함수가 없으면 생성*/
        function(){
        	
        }
	var val = convertDt();
}

setData 함수는 castDate라는 함수가 존재하면 해당 함수를 사용, 없으면 해당 함수를 정의하는 예시 코드이다.

위와같이 typeof연산자를 이용하여 선언되지 않은 함수의 존재여부를 체크할 수 있다.

[MSSQL] OPENROWSET ,OPENDATASOURCE,OPENQUERY / Linked Server(연결된서버) 개념 및 장단점, 사용방법

Ahki — Mon, 6 Jul 2020 10:55:06 +0900

같은 네트워크(물리적인 서버)가 동일하다면 걱정할 필요없이 단순히 [서버].[dbo].[테이블명]을 통해 조회가 가능하지만,

다른 DB정보를 가져올때는 다른 여러 방법을 통하여 정보를 가져올 수 있다.

[연결된 서버(LINKED SERVER)]

* 다른 외부 서버와의 연결

자주 사용되는 경우 성능적인 측면이 요구되므로 해당 방법이 최우선 고려 대상

   /* MSSQL 연결된 서버 생성 */
   EXEC sp_addlinkedserver
      @server = '[연결된 서버별칭]',
      @srvproduct = '',
      @provider = 'SQLOLEDB',
      @datasrc = '[서버 아이피]',
      @catalog = '[데이터 베이스명]'
      
   /* MSSQL 연결계정 생성 */
   EXEC sp_addlinkedsrvlogin
      @rmtsrvname= '[연결된 서버별칭]',
      @useself= 'false',
      @rmtuser = '[사용자 이름]',
      @rmtpassword = '[사용자 암호]'
   
   /* MSSQL 연결된 서버 확인*/
   SELECT * FROM master.dbo.sysservers WHERE srvname = '[연결된 서버별칭]'
   
   /* MSSQL 연결계정 확인 */
   SELECT * FROM master.sys.linked_logins WHERE remote_name = '[사용자 이름]'   
   
   /*연결된 서버 사용*/
   SELECT [컬럼명] FROM [연결된 서버별칭].[데이터 베이스명].[데이터베이스 소유자명].[테이블명] WHERE [조건절]   
   
   /*연결된 서버 삭제[연결된 계정이 있을경우 계정먼저 삭제]*/
   EXEC sp_dropserver
      @server = '[연결된 서버별칭]'   
      
   /*연결된 계정 삭제*/
   EXEC sp_droplinkedsrvlogin
      @rmtsrvname= '[연결된 서버별칭]',
      @locallogin = NULL

[OPENROWSET & OPENDATASOURCE ]

* LINKED SERVER를 이용하지 않고, 커넥션스트링을 이용하여 바로 연결한다.

자주 사용되지 않는 연결시에는 OPENROWSET을 활용하게되며, LINKED SERVER에 비해 성능은 부족하다.

* txt,json 등 물리파일을 읽어서 대용량(BULK) INSERT 가능

* OPENDATASOURCE는 변수를 인수로 받아들이지 않음

/*OPENROWSET 활성화를 위한 아래 구문 실행
EXEC SP_CONFIGURE'show advanced options', 1
EXEC SP_CONFIGURE'Ad Hoc Distributed Queries', 1
*/

--파일 전체 내용 읽기(BULK)
INSERT INTO myTable(content)   
   SELECT BulkColumn
          FROM OPENROWSET(BULK N'C:\Text1.txt', SINGLE_BLOB) AS Document;
          
 --json 파일 읽기 
 --openrowset(bulk)를 이용하여 json파일 전체 내용을 읽기 쉽도록 표시, 
 --json구문을 분석하고 열을 반환하는 oepnjson 함수에 BulkColumn을 제공 
   SELECT book.*
     FROM OPENROWSET (BULK 'C:\JSON\Books\books.json', SINGLE_CLOB) as j
          CROSS APPLY OPENJSON(BulkColumn)
          WITH( id nvarchar(100), name nvarchar(100), price float,
                pages int, author nvarchar(100)) AS book
                
--원격 연결 정보 가져오기
SELECT * FROM 
OPENROWSET('SQLOLEDB','IP정보';'유저ID';'PWD', 'SELECT * FROM 원격테이블')

[OPENQUERY]

MSSQL간의 연결이 아닌 다른기종의 데이터베이스와 데이터 정보 조회 시 이용한다.

(선행조건: 연결된서버(LINKED SERVER))

/* 타기종 DB와의 정보조회 */
SELECT [컬럼명] FROM OPENQUERY ([연결된 서버별칭], 'SELECT [컬럼명] FROM [테이블명]')

* 참조

https://docs.microsoft.com/ko-kr/sql/t-sql/functions/openrowset-transact-sql?redirectedfrom=MSDN&view=sql-server-ver15

OPENROWSET(Transact-SQL) - SQL Server

OPENROWSET(Transact-SQL)OPENROWSET (Transact-SQL) 이 문서의 내용 --> 적용 대상: SQL Server Azure SQL Database Azure Synapse Analytics(SQL DW) 병렬 데이터 웨어하우스 APPLIES TO: SQL Server Azure SQL Database Azure Synapse Analytics (SQL

docs.microsoft.com

https://sodocumentation.net/ko/sql-server/topic/7330/%EB%8C%80%EB%9F%89-%EA%B0%80%EC%A0%B8-%EC%98%A4%EA%B8%B0

Microsoft SQL Server - 대량 가져 오기 | sql-server Tutorial

sql-server documentation: 대량 가져 오기

sodocumentation.net

https://docs.microsoft.com/ko-kr/sql/t-sql/functions/opendatasource-transact-sql?view=sql-server-ver15

OPENDATASOURCE(Transact-SQL) - SQL Server

OPENDATASOURCE(Transact-SQL)OPENDATASOURCE (Transact-SQL) 이 문서의 내용 --> 적용 대상: SQL Server azure sql Managed Instance AZURE Synapse Analytics (SQL DW) 아니요 병렬 데이터 웨어하우스APPLIES TO: SQL Server Azure SQL Managed Inst

docs.microsoft.com

[Window] 명령어를 통한 압축구현

Ahki — Sat, 20 Jun 2020 00:32:49 +0900

cmd 명령어 중 forfiles와 zip.exe를 통해 다양한 형태로 파일을 압축할 수있다.

[FORFILES] * cmd에서 forfiles /? 입력시 아래와 같은 도움말 정보를 확인 할 수 있다.

FORFILES [/P pathname] [/M searchmask] [/S]
         [/C command] [/D [+ | -] {yyyy-MM-dd | dd}]

설명:
    파일(또는 파일 집합)을 선택하고 파일에 명령을
    실행합니다. 일괄 작업에 유용합니다.

매개 변수 목록:
    /P    pathname      검색을 시작할 경로를 지정합니다.
                        현재 작업 디렉터리(.)가 기본
                        폴더입니다.

    /M    searchmask    검색 마스크에 따라 파일을 검색합니다.
                        '*'이 기본 검색 마스크입니다.

    /S                  하위 폴더를 포함하도록
                        지정합니다. 예, "DIR /S"

    /C    command       각 파일에 실행할 명령을 지정합니다.
                        명령 문자열을 큰따옴표로 묶어야
                        합니다.

                        "cmd /c echo @file"이 기본 명령입니다.

                        명령 문자열에 다음 변수를 사용할 수
                        있습니다.
                        @file    - 파일 이름을 반환합니다.
                        @fname   - 확장명 없이 파일 이름을
                                   반환합니다.
                        @ext     - 파일의 확장명만
                                   반환합니다.
                        @path    - 파일의 전체 경로를 반환합니다.
                        @relpath - 파일의 상대 경로를
                                   반환합니다.
                        @isdir   - 파일 형식이 디렉터리인 경우 "TRUE"를
                                   반환하고 파일인 경우 "FALSE"를 반환합니다.
                        @fsize   - 파일의 크기(바이트)를
                                   반환합니다.
                        @fdate   - 파일을 마지막으로 수정한 날짜를
                                   반환합니다.
                        @ftime   - 파일을 마지막으로 수정한 시간을
                                   반환합니다.

                        명령줄에 특수 문자를 포함하려면
                         0xHH 형식의 16진수 코드(예, 탭은 0x09)를
                        사용하십시오. 내부 CMD.exe 명령
                        앞에는 "cmd /c"를 사용해야
                        합니다.

    /D    date          지정한 날짜와 마지막 수정한 날짜가 늦거나
                        같은(+) 또는 빠르거나 같은(-) 파일을
                        찾습니다.
                        날짜 포맷은 "yyyy-MM-dd"입니다.
                        또한 마지막 수정한 날짜가 현재 날짜에
                        "dd"일을 더한 날짜보다 늦거나 같은(+)
                         또는 현재 날짜에서 "dd"일을 뺀 날짜보다
                        작거나 같은(-) 파일을 찾습니다.
                        유효한 "dd" 범위는 0에서 32768까지입니다.
                        부호를 지정하지 않으면 "+"가 기본값입니다.

    /?                  이 도움말 메시지를 표시합니다.

예:
    FORFILES /?
    FORFILES
    FORFILES /P C:\WINDOWS /S /M DNS*.*
    FORFILES /S /M *.txt /C "cmd /c type @file | more"
    FORFILES /P C:\ /S /M *.bat
    FORFILES /D -30 /M *.exe
             /C "cmd /c echo @path 0x09 was changed 30 days ago"
    FORFILES /D 2001-01-01
             /C "cmd /c echo @fname is new since Jan 1st 2001"
    FORFILES /D +2020-6-20 /C "cmd /c echo @fname is new today"
    FORFILES /M *.exe /D +1
    FORFILES /S /M *.doc /C "cmd /c echo @fsize"
    FORFILES /M *.txt /C "cmd /c if @isdir==FALSE notepad.exe @file"

FORFILES 명령어는 다양한 정보의 파일들을 검색하는데 있어서 도움을 주는데, 특히 LOG파일과 같이 많은 text파일이 생성되어 삭제가 필요할 경우에도 해당 명령어를 활용하여 검색, 제거가 가능하다.

이번에는 특정 파일명이 포함된 파일을 원하는 경로로 압축 후 압축된 파일은 제거하는 cmd 명령어를 찾아보았다.

* zip.exe가 내장되어있지 않은 경우 구글에서 검색 후 다운로드 해야하며,

c:\window\system32에 넣어두는게 추후 명령어 사용에도 편리하다.

아래의 예시문은 upload폴더안에 있는 파일중, 202001이 포함된 파일을 압축 후 ddddd폴더로 이동하는 예시문이다.

*-rm명령어를 사용하면 압축대상 파일은 압축된 후 삭제된다.

forfiles /p c:\backupTest\tomcat_source\ROOT\upload /M 202001* 
/c "cmd /c C:\zip.exe -rm c:\ddddd/@file.zip @file"

이와같이 comman line 명령어를 활용 하여 bat프로그램을 만든다면 파일을 정리할때 용이하게 사용할 수 있다.

예시와 같은 파일명 검색이 아닌 파일이 수정된 날짜를 기준으로도 처리가 가능한데,

해당부분은 구글 검색 시 많은 정보를 얻을 수 있으니 참조하셔서 작업해보시길..

[MSSQL] 구성 요소 'Ad Hoc Distributed Queries'이(가) SQL Server 보안 구성의 일부로 해제 오류

Ahki — Tue, 9 Jun 2020 10:40:04 +0900

[문제점]

SQL Server에서 임시 분산 쿼리를 허용하는 옵션을 사용하였으나, 해당 옵션이 활성화 되지 않아서 생기는 문제

[해결방안]

SQL Server에서 아래와 같은 구문을 실행하여 옵션을 설정한다.

sp_configure 'show advanced options', 1;

RECONFIGURE;

go

sp_configure 'Ad Hoc Distributed Queries', 1;

RECONFIGURE;

GO


sp_configure

GO

테이블 컬럼 코멘트 및 정보 확인 SQL

Ahki — Fri, 29 May 2020 11:22:43 +0900

MS-SQL에서 제공하는 SSMS는 UI기반의 편한 툴이지만 테이블 정보 등 코멘트를 봐야할때는 불편한 경우가 많아

아래와같은 쿼리를 작성하여 사용중이다.

SELECT A.TABLE_NAME, 
		C.VALUE AS TABLE_COMMENT,
		A.COLUMN_NAME, A.DATA_TYPE, 
		ISNULL(CAST(A.CHARACTER_MAXIMUM_LENGTH AS VARCHAR),  
				CAST(A.NUMERIC_PRECISION AS VARCHAR) + ',' +	
				CAST(A.NUMERIC_SCALE AS VARCHAR)) AS COLUMN_LENGTH,
					A.COLUMN_DEFAULT, A.IS_NULLABLE,
					B.VALUE AS COLUM_COMMENT
	FROM INFORMATION_SCHEMA.COLUMNS A 
	LEFT OUTER JOIN SYS.EXTENDED_PROPERTIES B
	ON B.MAJOR_ID = OBJECT_ID(A.TABLE_NAME) 
	AND A.ORDINAL_POSITION = B.MINOR_ID
	LEFT OUTER JOIN
(SELECT OBJECT_ID(OBJNAME) AS TABLE_ID, VALUE
	FROM ::FN_LISTEXTENDEDPROPERTY(NULL, 'USER','DBO','TABLE',NULL, NULL, NULL)) C
		ON OBJECT_ID(A.TABLE_NAME) = C.TABLE_ID
	WHERE A.TABLE_NAME = '테이블명'
	ORDER BY A.TABLE_NAME, A.ORDINAL_POSITION