本文中，將和大家介紹如何從以太坊中提取鏈上數(shù)據(jù)并將其數(shù)據(jù)流傳輸?shù)絈uestDB以便于進行進一步的分析和可視化。
先決條件
- Python 3.6+
- 碼頭工人
- Infura帳戶
訪問以太坊鏈上數(shù)據(jù)
Infura是由Consensys提供支持的開發(fā)平臺，具有免費層(每天10萬個請求)，我們可以從以太坊主網(wǎng)和Testnets提取數(shù)據(jù)。
注冊一個免費帳戶并在以太坊下創(chuàng)建一個新項目：
記下Mainnet的HTTPS端點(格式為https://mainnet.infura.io/v3/
使用架構(gòu)設(shè)置QuestDB
我們將用于流以太坊數(shù)據(jù)的ETL腳本提供以下鏈上信息：
- 積木
- 合約書
- 日志
- 代幣轉(zhuǎn)移
- 代幣
- 痕跡
- 交易次數(shù)
簡單起見，在此示例中，我們僅流式傳輸塊和令牌傳輸，但是所有可用鏈上數(shù)據(jù)的模式都位于ethereum-etl-postgres / schema下(需要將Postgres數(shù)據(jù)類型轉(zhuǎn)換為Java數(shù)據(jù)類型)。該數(shù)據(jù)將在QuestDB中建立索引，以利用其高性能的時間序列數(shù)據(jù)。
使用Web控制臺和Postgres端點啟動QuestDB：
- $ docker run -p 9000:9000 -p 8812:8812 questdb/questdb
導(dǎo)航至Web控制臺，localhost:9000然后為塊創(chuàng)建表：
- create table blocks
- (
- timestamp string,
- number bigint,
- hash string,
- parent_hash string,
- nonce string,
- sha3_uncles string,
- logs_bloom string,
- transactions_root string,
- state_root string,
- receipts_root string,
- miner symbol,
- difficulty long,
- total_difficulty long,
- size long,
- extra_data string,
- gas_limit long,
- gas_used long,
- transaction_count long
- );
以及用于token_transfers;
- create table token_transfers
- (
- token_address symbol,
- from_address symbol,
- to_address symbol,
- value float,
- transaction_hash string,
- log_index long,
- block_timestamp string,
- block_number long,
- block_hash string
- );
刷新表格列表后，您應(yīng)該看到兩個都已填充：
現(xiàn)在我們準(zhǔn)備將以太坊數(shù)據(jù)流式傳輸?shù)轿覀兊臄?shù)據(jù)庫。
流以太坊鏈上數(shù)據(jù)
區(qū)塊鏈ETL提供了一個Python腳本，可從Infura中提取數(shù)據(jù)并將其流式傳輸?shù)紾oogle Pub / Sub或Postgres。現(xiàn)在，我們需要先安裝ethereumetl[streaming]：
- $ pip3 install "ethereum-etl[streaming]"
現(xiàn)在，我們需要指定我們的QuestDB憑據(jù)以及Infura API詳細(xì)信息。
Postgres輸出采用以下形式，postgresql+pg8000://
- $ ethereumetl stream --start-block 600000 -e block,token_transfer --output postgresql+pg8000://admin:quest@localhost:8812/qdb --provider-uri https://mainnet.infura.io/v3/<my-project-id>
當(dāng)數(shù)據(jù)開始傳輸時，您可以在QuestDB中看到它的索引：
該腳本會自動將最后處理的塊存儲在中l(wèi)ast_synced_block.txt。如果要稍后運行腳本，則可以刪除--start-block腳本中的標(biāo)志。
探索數(shù)據(jù)和改進
QuestDB提供了一些內(nèi)置的可視化功能。例如，如果您想gas_used由礦工看，則可以進入下面Chart并將其設(shè)置為以下內(nèi)容：
以太坊ETL腳本當(dāng)前以RFC3339格式存儲時間戳數(shù)據(jù)，而QuestDB期望從Unix Epoch開始有符號偏移。這就是為什么我們的表架構(gòu)為時間序列字段使用字符串而不是日期或時間戳的原因。
為了獲得更高的性能，我們可以先修改ETL腳本，或者先將其流式傳輸?shù)紺loud Pub / Sub，然后轉(zhuǎn)換數(shù)據(jù)，然后再流式傳輸?shù)絈uestDB。
另外，我們可以to_timestamp()在提取數(shù)據(jù)后使用QuestDB上的功能來修改表。例如，要轉(zhuǎn)換blocks表以使用QuestDB理解的正確時間戳，我們可以執(zhí)行以下操作：
- SELECT to_timestamp(timestamp, 'yyyy-MM-dd HH:mm:ss')
- AS time, number, miner, difficulty, size, gas_limit, gas_used
- FROM (blocks
- ORDER BY timestamp);
最后，如果您要流式傳輸合同或令牌數(shù)據(jù)，則需要先將function_sighashes字段展平，因為QuestDB本身還不支持Array類型。
有了這些數(shù)據(jù)，現(xiàn)在您就可以計算出流行的信號，例如“網(wǎng)絡(luò)價值與交易比率”，或者在Coin Metrics或Glassnode上提供的重復(fù)分析。
原文地址：https://mp.weixin.qq.com/s/MKNEmyt3_OmCA2EWnCnrGg
