고래연구소丨샤딩기술분석

BTC0.0₂₀

ETH0.0₂₀

HTX0.0₂₀

SOL0.0₂₀

BNB0.0₂₀

BTC0.0₂₀

ETH0.0₂₀

HTX0.0₂₀

SOL0.0₂₀

BNB0.0₂₀

고래연구소丨샤딩기술분석

鲸准研究院

2018-07-19 05:41

本文约3353字，阅读全文需要约13分钟

이 글은 주로 샤딩 기술의 분류 및 구현 방법에 대해 논의합니다.

작가

고래 연구소: Chen Hongyi 및 Wang Fan

노드 연구 센터: Ma Xuying, Cai Chenxi, Lang Hanwei

해시 아카데미: Alfred LJ

지원 미디어(순서 없음)

첫 번째 레벨 제목

01. 샤딩이란?

1.1 조각화는 블록체인의 확장 문제를 해결합니다.

현재 블록체인 확장 체계는 크게 세 가지 계층으로 나뉩니다. 샤딩과 DAG(Directed Acyclic Graph)는 블록체인 자체의 아키텍처를 변경하는 레이어 1에 속합니다. 샤딩은 현재 많은 관심을 받고 있으며 샤딩 기술에 중점을 둔 퍼블릭 체인은 투자 기관에서 선호하고 있으며 레이어 2의 사이드 체인, 서브 체인 및 스테이트 채널과 함께 이더리움의 공식 확장 계획에도 샤딩이 포함되어 있습니다.

1.2 샤딩의 원리

샤딩은 실제로 대규모 데이터베이스를 데이터 샤드라고 하는 더 작고 빠르고 관리하기 쉬운 부분으로 나누는 전통적인 데이터베이스 기술입니다. 퍼블릭 체인에서는 여러 네트워크 장치를 사용하여 전송의 병렬 처리 기능을 얻음으로써 이러한 전송 검증의 작업 부하를 분산시킵니다. 이것은 자동으로 네트워크를 많은 더 작은 부분 또는 "샤드" 처리로 분할하여 각 소규모 네트워크는 더 작은 규모의 합의 프로토콜만 실행하면 됩니다. 네트워크의 트랜잭션은 네트워크의 서로 다른 노드로 구성된 서로 다른 샤드로 나뉩니다. 따라서 각 노드는 들어오는 트랜잭션의 작은 부분만 처리하면 되며 네트워크의 다른 노드와 병렬 처리하여 많은 양의 검증 작업을 수행할 수 있습니다. 네트워크를 샤드로 분할하면 더 많은 트랜잭션을 동시에 처리하고 확인할 수 있습니다. 따라서 샤딩 기술은 병렬 처리 방식을 사용하며 더 많은 노드가 참여할수록 네트워크의 승인 속도가 빨라집니다. 간단히 말해서 샤딩은 성능을 향상시키기 위해 대규모 작업을 병렬로 처리할 수 있는 여러 개의 작은 작업으로 분할하는 것입니다.

그림에서 이더리움 네트워크를 두 부분으로 나누어 좌측 L1은 기존 이더리움 메인체인, 우측 L2는 각각 독립된 계정 공간인 각 샤드이다. 각 샤드는 독립적인 블록체인에 해당하는 전용 노드에 의해 유지되며, 각 샤드는 자신의 기록을 요약하여 메인 체인으로 보냅니다. 메인 체인은 각 샤드의 요약을 수집한 다음 메인 체인 블록(N+1)을 생성합니다. 그러나 메인 체인은 특정 트랜잭션 세부 정보가 아닌 요약 정보를 수집합니다.

첫 번째 레벨 제목

02. 블록체인 및 샤딩 기술

2.1 샤딩 기술 계층

현재 주류 샤딩 기술은 네트워크 샤딩, 트랜잭션 샤딩 및 상태 샤딩의 세 가지 수준으로 나뉘며 기술적 난이도도 차례로 증가합니다. 주요 핵심은 샤드의 노드가 일관성을 유지하고 악의적인 공격자에 의해 제어되는 것을 방지해야 하며 트랜잭션 및 스마트 계약의 상태가 서로 다른 샤드 간에 일관성이 있도록 샤드 간에 정보 전송 메커니즘이 필요하다는 것입니다.

1. 네트워크 조각화

임의성을 사용하여 네트워크는 VRF 방법을 사용하여 악의적인 노드가 특정 샤드를 점유하지 못하도록 노드를 무작위로 선택하여 샤드를 형성할 수 있습니다. 샤드 내 노드 간의 합의는 pBFT와 같은 합의 메커니즘을 통해 달성할 수 있습니다.

2. 트랜잭션 샤딩

1) 원장 샤딩: UTXO 기반 시스템에서 시스템은 보낸 사람의 주소에 따라 샤드를 할당할 수 있습니다. 이렇게 하면 동일한 샤드에서 두 개의 이중 지출 트랜잭션이 확인되므로 시스템은 샤드 간 통신 없이 이중 지출 트랜잭션을 쉽게 감지할 수 있습니다.

2) Cross-ledger sharding: non-UTXO 시스템에서 이중 지출을 방지하기 위해 shard는 검증 과정에서 서로 통신해야 합니다. 실제로 이중지불 트랜잭션은 모든 샤드에서 발생할 수 있으므로 특정 샤드에서 받은 트랜잭션은 다른 모든 샤드와 통신해야 합니다. 서로 간의 이러한 높은 통신 비용은 트랜잭션 샤딩의 원래 목적을 무산시킬 수 있습니다.

삼. 상태 샤딩

이 기술의 핵심은 전체 저장 영역을 분리하여 서로 다른 샤드가 서로 다른 부분을 저장하도록 하는 것입니다. 상태 샤딩이 제안되면 문제가 발생합니다.

상태 샤드 블록체인에서는 상태의 일부만 특정 샤드에 보관됩니다. 계정 중 하나가 다른 계정에 금액을 지불하는 트랜잭션을 생성한다고 가정합니다. 트랜잭션은 첫 번째 샤드에서 처리되며 트랜잭션이 확인되면 첫 번째 계정의 새 잔액에 대한 정보를 상주하는 샤드와 공유해야 합니다. 두 계정이 다른 샤드에서 처리되는 경우 빈번한 샤드 간 통신 및 상태 교환이 필요할 수 있습니다. 교차 샤드 통신이 상태 샤딩의 성능 이점을 능가하지 않도록 보장하는 것은 공개 연구 질문으로 남아 있습니다.

상태 샤딩의 두 번째 과제는 데이터 가용성입니다. 예를 들어 어떤 이유로 특정 샤드가 공격을 받아 오프라인 상태가 되었습니다. 샤드는 시스템의 전체 상태를 복제하지 않기 때문에 네트워크는 더 이상 오프라인 샤드에 의존하는 트랜잭션을 검증할 수 없습니다. 따라서 이러한 상황에서는 기본적으로 블록체인을 사용할 수 없습니다. 이 문제에 대한 해결책은 아카이브를 유지하거나 노드 백업을 만드는 것입니다. 이렇게 하면 시스템이 장애로부터 복구하고 사용할 수 없는 데이터를 복원하는 데 도움이 될 수 있습니다. 그러나 이렇게 하면 노드가 시스템의 전체 상태를 저장해야 하므로 일부 중앙 집중화 위험이 발생할 수도 있습니다.

모든 샤딩 메커니즘은 샤드가 공격과 장애에 대해 복원력이 있는지 확인해야 하며, 네트워크는 새 노드를 수락하고 이를 무작위 방식으로 다른 샤드에 할당해야 합니다. 그러나 상태 샤딩의 경우 노드 재할당이 어렵습니다. 네트워크를 다시 조정하는 동안 동기화가 완료되기 전에 전체 시스템을 비활성화하는 문제가 발생할 수 있습니다. 시스템 중단을 방지하려면 모든 노드가 삭제되기 전에 각 샤드에 여전히 충분한 이전 노드가 있도록 네트워크를 점진적으로 조정해야 합니다. 마찬가지로 새 노드가 샤드에 합류하면 시스템은 노드가 샤드 상태와 동기화할 충분한 시간이 있는지 확인해야 합니다.

첫 번째 레벨 제목

03. Fragmentation 프로젝트 분석

3.1 샤딩 프로젝트 목록

첫 번째 레벨 제목

04. 샤딩 프로젝트의 투자 논리

4.1 기술적 실현 가능성

샤딩의 기술적 난이도는 매우 높으며, 특히 상태 샤딩은 컴퓨터 과학 이론에서 잘 해결되지 않았기 때문에 세계 최고의 기술 팀만이 돌파구를 찾을 수 있습니다.

4.2 다른 확장 기술과의 결합

조각화는 DAG, 상태 채널 등을 보완할 수 있으며 각각 고유한 장점을 발휘하여 전체 시스템 확장을 달성합니다.

4.3 서비스 품질이 상업적 수준에 도달할 수 있는지 여부

확장성이 개선되는지 여부는 궁극적으로 시장에서 테스트해야 합니다. 현재 대부분의 샤딩 프로젝트와 응용 프로그램은 아직 상용화되지 않았으며, 샤딩 프로젝트 간의 서로 다른 블록 간의 상호 연결을 해결하고 합리적인 스마트 계약을 구성하는 방법을 설명합니다. 이러한 측면에서 더 나은 솔루션을 설계할 수 있다면 이 산업에서 매우 경쟁력 있는 프로젝트가 될 수 있습니다.

4.4 프로젝트의 혁신과 엄격함

첫 번째 레벨 제목

05. 샤딩 기술의 미래 전망

5.1 기술적 이점

조각화는 비트코인과 이더리움으로 대표되는 전통적인 합의 메커니즘과 근본적으로 다릅니다. 샤딩 기술의 경우 다자간 합의를 이루면서 노드 증가로 인한 네트워크 정체 문제를 해결한다. 예를 들어 최근 zillqa의 테스트 실험에서는 3600개의 노드와 6개의 샤드만으로 초당 2,000건의 트랜잭션 성능을 달성할 수 있음을 보여주고 있습니다. 이더리움의 1000배. 직렬에서 병렬로의 단순한 점프처럼 보이지만 블록체인 기술 개발을 위한 최적화의 여지를 더 많이 제공합니다.

5.2 개발 장애

샤딩 기술의 장점으로 인해 점점 더 많은 실무자들이 샤딩 기술에 관심을 갖고 지원하기 시작했습니다. 이 측면은 샤딩 기술의 최적화를 촉진하고 특정 문제를 야기합니다.

한편으로 샤딩 기술은 성능 문제를 해결하는 데 중점을 두는 반면 일부 참가자는 TPS 경쟁에 너무 집착하면서 보안 보장을 무시합니다.

한편, 샤딩 기술의 대중화로 많은 사람들이 맹목적으로 샤딩 기술의 창업에 참여하고 있지만 많은 사람들이 샤딩의 거버넌스와 분할 사이의 균형을 파악하지 못하고 단순히 샤딩의 논리가 포인트, 이러한 엄격함의 부족은 기술 발전을 방해할 뿐만 아니라 기술에 대한 시장의 신뢰를 손상시키고 더 심각한 결과를 초래할 수 있습니다.

첫 번째 레벨 제목