前期准备工作

2、标准数据集划分方式

https://github.com/kimiyoung/planetoid (Zhilin Yang, William W. Cohen, Ruslan Salakhutdinov, Revisiting Semi-Supervised Learning with Graph Embeddings, ICML 2016)

gat也是遵循的这个标准划分方式 

【GAT论文数据集情况】

尽管引文网络是有向图，但在评估模型在节点分类、链接预测和节点聚类任务方面的性能时，通常将其视为无向图。区别于多关系图（知识图谱），引文网络是只包含单一引用关系的简单图，一般来说没有边特征（edge feature）

• Cora数据集包含2708种机器学习出版物，分为7类。
• Citeseer数据集包含3327篇科学论文，分为6类。
• Cora和Citeseer中的每一篇论文都用一个one-hot向量来表示字典中是否有某一个单词。
• Pubmed数据集包含19717份糖尿病相关出版物。Pubmed中的每篇论文都由一个术语频率逆文档频率（TF-IDF）向量表示。

Cora、Citeseer和Pubmed数据集中都给出了以下内容（经过预处理的第二版数据集，所有的节点都有标签）：

• x：训练节点的特征向量（子图）
• tx：测试节点的特征向量（子图）
• allx：训练+验证节点的特征向量（子图）
  • allx + tx = 全图的节点特征矩阵
• y：训练节点的one-hot标签（子图）
• ty：测试节点的one-hot标签（子图）
• ally：训练+验证（allx中）节点的one-hot标签（子图）
  • ally + ty = 全图的节点one-hot标签
• graph：字典{ 节点索引id：[邻居节点的索引id] }（全图）
  • graph和allx、ally的节点顺序一致
• test_index：测试节点在graph中的索引/指示

当然，PyG中已经把细节都屏蔽掉了，我们可以直接调用封装好的函数载入数据集。
详细可参考这篇博客：PyG下载、处理、探索Cora、Citeseer、Pubmed数据集【PyTorch geometric】。
这样，我们需要关注的东西就是这几个了：边表edge_index、节点特征矩阵x、节点的标签y、训练/验证/测试集的划分。

• 下面是cora数据信息，关于边表中为什么边数E是10556是因为将图处理成了无向图

Data(edge_index=[2, 10556], test_mask=[2708], train_mask=[2708], val_mask=[2708], x=[2708, 1433], y=[2708])

cora(python从头处理原生数据）

• Cora数据集包含2708个科学出版物，分为七个类别之一。引文网络由5429个链接组成。数据集中的每个出版物都用0/1值的词向量描述，该词向量指示字典中是否存在相应的词。该词典包含1433个独特的单词。邻接矩阵元素和为10556。数据集中的README文件提供了更多详细信息。

  • 论文的选择方式是，在最终语料库中，每篇论文引用或被至少一篇其他论文引用。整个语料库中有2708篇论文。在词干堵塞和去除词尾后，只剩下1433个独特的单词。文档频率小于10的所有单词都被删除。

• Download Link:
  • https://linqs-data.soe.ucsc.edu/public/lbc/cora.tgz
• Cora数据集由机器学习论文组成。这些论文分为以下七个类别之一：
  • Case_Based基于案例
  • Genetic_Algorithms遗传算法
  • Neural_Networks神经网络
  • Probabilistic_Methods概率方法
  • Reinforcement_Learning强化学习
  • Rule_Learning规则学习
  • Theory理论
• 文件结构
  • cora.content节点信息
    • <paper_id> +<word_attributes>+ <class_label>
    • 每行的第一个条目是论文唯一字符串标识
    • 中间是one-hot表示指示词汇中的每个单词在文章中是存在(由1表示)还是不存在(由0表示)
    • 最后，该行的最后一个条目包含纸张的类别标签
    • 因此数据集的feature应该为2708 × 1433维度。第一列为idx，最后一列为label。
      • cora.content共有2708行，每一行代表一个样本点，即一篇论文。如下所示，每一行由三部分组成，分别是论文的编号，如31336；论文的词向量，一个有1433位的二进制；论文的类别，如Neural_Networks。
  • cora.cites论文之间的引用记录，即包含语料库的引用’图’
    • <被引论文编号> <引论文编号>
    • 每行包含两个论文idx，第一个条目是被引用论文的标识，第二个标识代表包含引用的论文。链接的方向是从右向左。
    • 如果一行由“论文1 论文2”表示，则链接是“论文2 - >论文1”。可以通过论文之间的索引关系建立邻接矩阵adj
      • cora.cites共5429行， 每一行有两个论文编号，表示第一个编号的论文先写，第二个编号的论文引用第一个编号的论文
  • README对数据集的介绍
• 代码示例（函数调用），参考

def load_data(path="./data/cora/", dataset="cora"):"""Load citation network dataset (cora only for now)"""print('Loading {} dataset...'.format(dataset))idx_features_labels = np.genfromtxt("{}{}.content".format(path, dataset), dtype=np.dtype(str))features = sp.csr_matrix(idx_features_labels[:, 1:-1], dtype=np.float32)labels = encode_onehot(idx_features_labels[:, -1])# build graphidx = np.array(idx_features_labels[:, 0], dtype=np.int32)idx_map = {j: i for i, j in enumerate(idx)}edges_unordered = np.genfromtxt("{}{}.cites".format(path, dataset), dtype=np.int32)edges = np.array(list(map(idx_map.get, edges_unordered.flatten())), dtype=np.int32).reshape(edges_unordered.shape)adj = sp.coo_matrix((np.ones(edges.shape[0]), (edges[:, 0], edges[:, 1])), shape=(labels.shape[0], labels.shape[0]), dtype=np.float32)# build symmetric adjacency matrixadj = adj + adj.T.multiply(adj.T > adj) - adj.multiply(adj.T > adj)features = normalize_features(features)adj = normalize_adj(adj + sp.eye(adj.shape[0]))idx_train = range(140)idx_val = range(200, 500)idx_test = range(500, 1500)adj = torch.FloatTensor(np.array(adj.todense()))features = torch.FloatTensor(np.array(features.todense()))labels = torch.LongTensor(np.where(labels)[1])idx_train = torch.LongTensor(idx_train)idx_val = torch.LongTensor(idx_val)idx_test = torch.LongTensor(idx_test)return adj, features, labels, idx_train, idx_val, idx_test

• 代码举例（测试学习理解）,参考
  • 用python导入数据，并分离样本特征，标签，创建邻接矩阵

• 代码测试

#------------------------------1、导包并读入cora
import numpy as np
import pandas as pd#读入.content文件，其实就是节点one-hot向量表示（内含类别标签）【节点数，节点特征维度+2】，第一列有值（paper-ID），还多增最后一列为类别标签，中间某一列值为1，其余为0
cora_content = pd.read_csv('./cora/cora.content',sep='\t',header=None)  # 导入数据：分隔符为空格
#查看数据集初始格式
print(cora_content.shape)  # 【节点数，节点特征维度+2】，所以获取第1维【0】就可以获取到节点数
'''
(2708, 1435)
'''
print(cora_content.head(3))  # 【3，节点特征维度+2】，内容是节点所属类别的one-hot向量（在第0列论文ID值,第1434列是节点类别标签值，中间某列为1）.另外head属性还会输出维度信息
'''0     1     2     3     ...  1431  1432  1433                    1434
0    31336     0     0     0  ...     0     0     0         Neural_Networks
1  1061127     0     0     0  ...     0     0     0           Rule_Learning
2  1106406     0     0     0  ...     0     0     0  Reinforcement_Learning
[3 rows x 1435 columns]
'''#读取.cites文件，其实就是边特征【边数，2】，2就是两个端点id
cora_cites = pd.read_csv('./cora/cora.cites',sep='\t',header=None)
#查看数据集初始格式
print(cora_cites.shape)  # 【边数，2】
'''
(5429, 2)
'''
print(cora_cites.head(3))
'''0       1
0  35    1033
1  35  103482
2  35  103515
'''#------------------------------ 2、建立从paper_id到[0,2707]数字间的映射函数zipcontent_idx = list(cora_content.index) #将索引制作成列表，也就是2708节点数的0-2707
paper_id = list(cora_content.iloc[:,0]) #将content第一列取出，因为第一列存的就是节点paper-ID
mp = dict(zip(paper_id,content_idx)) #映射成{论文id:索引编号}的字典形式
print(mp)  # 有2708个字典
'''
{31336: 0, 1061127: 1, 1106406: 2, 13195: 3, 37879: 4, 1126012: 5, 1107140: 6, 1102850: 7, 31349: 8, 1106418: 9, 1123188: 10, 1128990: 11, 109323: 12, 217139: 13, 31353: 14, 32083: 15, 1126029: 16, 1118017: 17, 49482: 18, 753265: 19, 249858: 20, 1113739: 21, 48766: 22, 646195: 23, 1126050: 24, 59626: 25, 340299: 26, 354004: 27, 242637: 28, 1106492: 29, 74975: 30, 1152272: 31, 100701: 32, 66982: 33, 13960: 34, 13966: 35, 66990: 36, 182093: 37, 182094: 38, 13972: 39, 13982: 40, 16819: 41, 273152: 42, 237521: 43, 1153703: 44, 32872: 45, 284025: 46, 218666: 47, 16843: 48, 1153724: 49, 1153728: 50, 158098: 51, 8699: 52, 1134865: 53, 28456: 54, 248425: 55, 1112319: 56, 28471: 57, 175548: 58, 696345: 59, 28485: 60, 1139195: 61, 35778: 62, 28491: 63, 310530: 64, 1153784: 65, 1481: 66, 1153786: 67, 13212: 68, 1111614: 69, 5055: 70, 4329: 71, 330148: 72, 1105062: 73, 4330: 74, 5062: 75, 4335: 76, 158812: 77, 40124: 78, 1103610: 79, 688361: 80, 302545: 81, 20534: 82, 1031453: 83, 5086: 84, 193742: 85, 58268: 86, 424: 87, 40151: 88, 636098: 89, 260121: 90, 950052: 91, 434: 92, 1131270: 93, 1131274: 94, 1131277: 95, 1110947: 96, 662279: 97, 1139928: 98, 153063: 99, 134199: 100, 641956: 101, 20584: 102, 1130567: 103, 171225: 104, 714879: 105, 37998: 106, 50336: 107, 50337: 108, 15429: 109, 23448: 110, 1122574: 111, 1110998: 112, 853150: 113, 15431: 114, 646286: 115, 1152307: 116, 1115291: 117, 1106547: 118, 68463: 119, 59715: 120, 69198: 121, 7272: 122, 163235: 123, 7276: 124, 34315: 125, 644843: 126, 7297: 127, 628815: 128, 35061: 129, 68495: 130, 1136310: 131, 18313: 132, 34355: 133, 45212: 134, 1153091: 135, 8703: 136, 126920: 137, 126927: 138, 595157: 139, 140005: 140, 1117476: 141, 59798: 142, 219446: 143, 44514: 144, 287787: 145, 157401: 146, 1154500: 147, 682666: 148, 399173: 149, 198866: 150, 51834: 151, 200630: 152, 782486: 153, 1136393: 154, 137849: 155, 1153811: 156, 24966: 157, 11148: 158, 51866: 159, 24974: 160, 137868: 161, 28542: 162, 35: 163, 116021: 164, 348305: 165, 10430: 166, 39403: 167, 40: 168, 282700: 169, 1105116: 170, 35854: 171, 63477: 172, 124064: 173, 1120431: 174, 949318: 175, 649944: 176, 63486: 177, 1153866: 178, 1140040: 179, 1112426: 180, 239800: 181, 1131314: 182, 1153891: 183, 1129835: 184, 310653: 185, 1130600: 186, 1111733: 187, 210871: 188, 210872: 189, 1132083: 190, 132806: 191, 12631: 192, 12638: 193, 38771: 194, 232605: 195, 232606: 196, 1107312: 197, 1114605: 198, 68505: 199, 133553: 200, 144408: 201, 23502: 202, 1108050: 203, 23507: 204, 83826: 205, 133563: 206, 85299: 207, 49660: 208, 593060: 209, 341188: 210, 714975: 211, 1115375: 212, 95435: 213, 145176: 214, 1113934: 215, 1132809: 216, 22835: 217, 1153148: 218, 41714: 219, 1118245: 220, 1152436: 221, 1153166: 222, 1153169: 223, 38000: 224, 1152448: 225, 1137140: 226, 30895: 227, 5966: 228, 1136422: 229, 27174: 230, 1128407: 231, 1124844: 232, 1153195: 233, 1113995: 234, 1136442: 235, 8821: 236, 46079: 237, 119761: 238, 1111052: 239, 315789: 240, 1108841: 241, 1135746: 242, 100935: 243, 353541: 244, 60682: 245, 253762: 246, 8872: 247, 714260: 248, 137956: 249, 35922: 250, 2354: 251, 168410: 252, 346292: 253, 1153933: 254, 1119751: 255, 17798: 256, 400356: 257, 10531: 258, 1110390: 259, 714289: 260, 733167: 261, 81714: 262, 428610: 263, 552469: 264, 164885: 265, 81722: 266, 111866: 267, 194617: 268, 93318: 269, 134307: 270, 203646: 271, 367312: 272, 650814: 273, 93320: 274, 134315: 275, 134316: 276, 976334: 277, 1095507: 278, 134320: 279, 662416: 280, 194645: 281, 1131421: 282, 161221: 283, 38839: 284, 38846: 285, 133615: 286, 1112574: 287, 521207: 288, 3828: 289, 593105: 290, 390693: 291, 642847: 292, 1122704: 293, 4584: 294, 7419: 295, 30901: 296, 1115456: 297, 7432: 298, 573553: 299, 1022969: 300, 143801: 301, 612306: 302, 417017: 303, 396412: 304, 1107455: 305, 91975: 306, 180187: 307, 27203: 308, 1152508: 309, 69392: 310, 1118332: 311, 189577: 312, 1114777: 313, 75969: 314, 1132922: 315, 1153254: 316, 1117618: 317, 6767: 318, 27241: 319, 27246: 320, 95589: 321, 6771: 322, 86840: 323, 108962: 324, 6786: 325, 108963: 326, 108974: 327, 1117653: 328, 1152569: 329, 1132968: 330, 370366: 331, 108983: 332, 399339: 333, 64319: 334, 1110426: 335, 1102407: 336, 1127812: 337, 1128542: 338, 65057: 339, 159084: 340, 159085: 341, 65074: 342, 33895: 343, 2440: 344, 1717: 345, 249421: 346, 3187: 347, 591016: 348, 1110494: 349, 29492: 350, 400473: 351, 644334: 352, 949511: 353, 205192: 354, 763009: 355, 169280: 356, 1120643: 357, 645088: 358, 5348: 359, 124296: 360, 1121398: 361, 950305: 362, 567018: 363, 52000: 364, 52003: 365, 52007: 366, 58540: 367, 436796: 368, 948846: 369, 8213: 370, 671293: 371, 1131550: 372, 899119: 373, 1105394: 374, 85452: 375, 1112686: 376, 69418: 377, 8224: 378, 145315: 379, 575077: 380, 20850: 381, 44017: 382, 1135125: 383, 286562: 384, 1123553: 385, 1135137: 386, 325314: 387, 662572: 388, 159897: 389, 1130856: 390, 96335: 391, 755082: 392, 1123576: 393, 1103979: 394, 593260: 395, 601567: 396, 1119140: 397, 189655: 398, 31769: 399, 1107567: 400, 88356: 401, 1033: 402, 1034: 403, 1106849: 404, 16470: 405, 35343: 406, 16471: 407, 1154074: 408, 16476: 409, 23774: 410, 16485: 411, 136665: 412, 94953: 413, 9708: 414, 38205: 415, 645897: 416, 216877: 417, 18619: 418, 559804: 419, 6898: 420, 166420: 421, 787016: 422, 73146: 423, 1136634: 424, 1111230: 425, 3218: 426, 3229: 427, 193347: 428, 84020: 429, 3231: 430, 52847: 431, 193352: 432, 193354: 433, 1110531: 434, 686532: 435, 711598: 436, 1063773: 437, 3243: 438, 78994: 439, 181782: 440, 284414: 441, 114189: 442, 686559: 443, 253971: 444, 1106103: 445, 1114125: 446, 75318: 447, 45599: 448, 97892: 449, 446271: 450, 1106112: 451, 280876: 452, 12182: 453, 175909: 454, 64484: 455, 6125: 456, 1120713: 457, 1114153: 458, 12197: 459, 248823: 460, 919885: 461, 94229: 462, 1120731: 463, 23069: 464, 6151: 465, 6155: 466, 23070: 467, 644448: 468, 1112723: 469, 31097: 470, 6169: 471, 1106172: 472, 6170: 473, 211875: 474, 1109017: 475, 5454: 476, 6184: 477, 10796: 478, 10798: 479, 1120777: 480, 86258: 481, 154134: 482, 6196: 483, 20920: 484, 20923: 485, 22386: 486, 1131639: 487, 77515: 488, 93555: 489, 17201: 490, 644494: 491, 17208: 492, 1125082: 493, 1131647: 494, 74698: 495, 13652: 496, 20942: 497, 390894: 498, 390896: 499, 1125092: 500, 13656: 501, 1116347: 502, 13658: 503, 114966: 504, 120013: 505, 1117089: 506, 57948: 507, 334153: 508, 160732: 509, 1154103: 510, 12946: 511, 1104787: 512, 17242: 513, 321861: 514, 189721: 515, 1119211: 516, 12960: 517, 95718: 518, 6910: 519, 180373: 520, 6917: 521, 358884: 522, 887: 523, 180399: 524, 358894: 525, 1154169: 526, 120084: 527, 1120019: 528, 1152711: 529, 1154176: 530, 424540: 531, 1118546: 532, 643003: 533, 112099: 534, 1104007: 535, 1120049: 536, 175256: 537, 45605: 538, 15889: 539, 35490: 540, 221302: 541, 562123: 542, 1104031: 543, 1129442: 544, 1129443: 545, 1137466: 546, 328370: 547, 1103315: 548, 12210: 549, 1104055: 550, 64519: 551, 114: 552, 1109873: 553, 128: 554, 12238: 555, 1112099: 556, 18774: 557, 18777: 558, 130: 559, 23116: 560, 948299: 561, 6209: 562, 197054: 563, 6210: 564, 6213: 565, 6214: 566, 6216: 567, 6217: 568, 2653: 569, 2658: 570, 753047: 571, 188318: 572, 74700: 573, 67415: 574, 6220: 575, 2665: 576, 28957: 577, 143323: 578, 340075: 579, 1949: 580, 1953: 581, 1955: 582, 1959: 583, 390922: 584, 22431: 585, 1113541: 586, 1132418: 587, 628500: 588, 648106: 589, 1104809: 590, 4804: 591, 648112: 592, 33301: 593, 33303: 594, 267824: 595, 1138970: 596, 13717: 597, 1131719: 598, 1120866: 599, 1106287: 600, 755217: 601, 647408: 602, 1116410: 603, 1132459: 604, 1105574: 605, 1133196: 606, 307336: 607, 906: 608, 1131745: 609, 1131748: 610, 910: 611, 943: 612, 31927: 613, 101261: 614, 101263: 615, 31932: 616, 779960: 617, 1135358: 618, 1154230: 619, 1135368: 620, 28227: 621, 32688: 622, 189856: 623, 27510: 624, 27514: 625, 1154276: 626, 27530: 627, 1152821: 628, 28265: 629, 103430: 630, 27543: 631, 39126: 632, 28278: 633, 39131: 634, 10169: 635, 28287: 636, 1129518: 637, 1272: 638, 194223: 639, 10177: 640, 18811: 641, 18812: 642, 73327: 643, 1117942: 644, 15984: 645, 202522: 646, 1152858: 647, 1152859: 648, 10183: 649, 81350: 650, 259126: 651, 13024: 652, 1120170: 653, 46452: 654, 26850: 655, 18832: 656, 18833: 657, 82098: 658, 103482: 659, 158614: 660, 46468: 661, 71904: 662, 80656: 663, 29708: 664, 1128839: 665, 1128846: 666, 12330: 667, 240321: 668, 1128853: 669, 219976: 670, 38480: 671, 12350: 672, 1104191: 673, 7022: 674, 63931: 675, 68224: 676, 1110768: 677, 384428: 678, 1107041: 679, 1114352: 680, 1107062: 681, 288: 682, 1107067: 683, 91581: 684, 39904: 685, 6334: 686, 123825: 687, 23258: 688, 66805: 689, 6346: 690, 55968: 691, 368431: 692, 179702: 693, 1140547: 694, 1114388: 695, 90888: 696, 510715: 697, 33412: 698, 188471: 699, 1152143: 700, 1120962: 701, 1125258: 702, 648232: 703, 143476: 704, 1152150: 705, 1117249: 706, 25413: 707, 1152162: 708, 241821: 709, 350362: 710, 1116530: 711, 61069: 712, 1110000: 713, 646809: 714, 1105698: 715, 1152194: 716, 198653: 717, 1116569: 718, 77758: 719, 854434: 720, 1128151: 721, 1123867: 722, 191404: 723, 1116594: 724, 126793: 725, 43639: 726, 44368: 727, 97390: 728, 87915: 729, 131117: 730, 8581: 731, 27606: 732, 1115886: 733, 184157: 734, 8594: 735, 1152904: 736, 1120211: 737, 28350: 738, 1152910: 739, 27627: 740, 649731: 741, 308920: 742, 289780: 743, 289781: 744, 19621: 745, 1129608: 746, 1365: 747, 103543: 748, 28387: 749, 28389: 750, 43698: 751, 54550: 752, 1129621: 753, 46536: 754, 1129629: 755, 294126: 756, 568857: 757, 447224: 758, 38537: 759, 1152975: 760, 34979: 761, 1104261: 762, 139865: 763, 56709: 764, 1128945: 765, 19697: 766, 107177: 767, 1131165: 768, 1128959: 769, 152219: 770, 184918: 771, 16008: 772, 1122425: 773, 928873: 774, 206259: 775, 714748: 776, 1131189: 777, 217115: 778, 560936: 779, 1131198: 780, 1128985: 781, 466170: 782, 429805: 783, 561674: 784, 654177: 785, 95225: 786, 37884: 787, 37888: 788, 1128997: 789, 545647: 790, 42207: 791, 42209: 792, 82920: 793, 128202: 794, 128203: 795, 1134056: 796, 1102873: 797, 42221: 798, 1107171: 799, 1133338: 800, 67633: 801, 375825: 802, 48781: 803, 75674: 804, 289088: 805, 1152244: 806, 13917: 807, 75695: 808, 34257: 809, 1117348: 810, 574710: 811, 34263: 812, 1128204: 813, 34266: 814, 1128208: 815, 1116629: 816, 110162: 817, 110163: 818, 110164: 819, 628751: 820, 708945: 821, 1123926: 822, 1152277: 823, 77826: 824, 77829: 825, 8617: 826, 242663: 827, 8619: 828, 628764: 829, 628766: 830, 1125393: 831, 66986: 832, 646913: 833, 578309: 834, 18251: 835, 1152290: 836, 954315: 837, 212107: 838, 578337: 839, 907845: 840, 1127530: 841, 1128267: 842, 28412: 843, 594387: 844, 1127541: 845, 44455: 846, 45188: 847, 45189: 848, 62607: 849, 1127551: 850, 1123991: 851, 1127558: 852, 105057: 853, 1128291: 854, 1127566: 855, 1154459: 856, 218682: 857, 28447: 858, 1153736: 859, 62634: 860, 211432: 861, 112378: 862, 1113035: 863, 1118848: 864, 137790: 865, 217984: 866, 949217: 867, 28473: 868, 1104300: 869, 1105033: 870, 11093: 871, 696342: 872, 696343: 873, 696346: 874, 28487: 875, 5038: 876, 195150: 877, 62676: 878, 13213: 879, 576973: 880, 35797: 881, 134128: 882, 166825: 883, 175576: 884, 509379: 885, 1113084: 886, 53942: 887, 642621: 888, 1131236: 889, 1112369: 890, 446610: 891, 644093: 892, 411092: 893, 642641: 894, 408885: 895, 1131258: 896, 1131267: 897, 13269: 898, 1104379: 899, 1114502: 900, 1107215: 901, 83725: 902, 84459: 903, 642681: 904, 445938: 905, 1103676: 906, 1130568: 907, 1153003: 908, 51045: 909, 12576: 910, 144330: 911, 105865: 912, 51052: 913, 746058: 914, 1153014: 915, 641976: 916, 561789: 917, 1130586: 918, 368605: 919, 1133428: 920, 1113828: 921, 129042: 922, 129045: 923, 6539: 924, 1153031: 925, 1122580: 926, 1132706: 927, 1152308: 928, 105899: 929, 50354: 930, 1121867: 931, 1113852: 932, 1153056: 933, 94641: 934, 1153065: 935, 1133469: 936, 35070: 937, 576257: 938, 368657: 939, 1129018: 940, 263069: 941, 1129027: 942, 1152358: 943, 1125467: 944, 1125469: 945, 72101: 946, 40922: 947, 1153097: 948, 1109439: 949, 423463: 950, 128383: 951, 683360: 952, 1129040: 953, 52515: 954, 41666: 955, 1128319: 956, 1152379: 957, 1136342: 958, 1125492: 959, 1108728: 960, 265203: 961, 628888: 962, 1127619: 963, 56112: 964, 56115: 965, 56119: 966, 89547: 967, 51831: 968, 91038: 969, 96847: 970, 521855: 971, 594483: 972, 1119623: 973, 96851: 974, 1136397: 975, 158172: 976, 1127657: 977, 131315: 978, 131318: 979, 289945: 980, 62718: 981, 229635: 982, 56167: 983, 1119654: 984, 51879: 985, 10435: 986, 137873: 987, 168332: 988, 330208: 989, 689152: 990, 1120444: 991, 1153877: 992, 111770: 993, 1153879: 994, 108047: 995, 1131300: 996, 362926: 997, 129896: 998, 129897: 999, 59045: 1000, 1153889: 1001, 239810: 1002, 20601: 1003, 20602: 1004, 416964: 1005, 38722: 1006, 72908: 1007, 116081: 1008, 1153897: 1009, 116084: 1010, 116087: 1011, 1113182: 1012, 1131330: 1013, 582139: 1014, 561809: 1015, 14062: 1016, 1104449: 1017, 39474: 1018, 27895: 1019, 167670: 1020, 1131345: 1021, 1131348: 1022, 14083: 1023, 1103737: 1024, 65650: 1025, 93273: 1026, 65653: 1027, 5194: 1028, 14090: 1029, 1131360: 1030, 1130634: 1031, 976284: 1032, 1130637: 1033, 593022: 1034, 1131374: 1035, 975567: 1036, 133550: 1037, 145134: 1038, 1130653: 1039, 1130657: 1040, 1104495: 1041, 133566: 1042, 133567: 1043, 1122642: 1044, 1114629: 1045, 91852: 1046, 91853: 1047, 376704: 1048, 1153101: 1049, 32276: 1050, 1130678: 1051, 83847: 1052, 8079: 1053, 593068: 1054, 285675: 1055, 1130680: 1056, 1106630: 1057, 278394: 1058, 285687: 1059, 69284: 1060, 6639: 1061, 14807: 1062, 152483: 1063, 683404: 1064, 593091: 1065, 1117501: 1066, 99023: 1067, 99025: 1068, 513189: 1069, 1152421: 1070, 1153150: 1071, 99030: 1072, 1105932: 1073, 1153160: 1074, 1106671: 1075, 531348: 1076, 577086: 1077, 531351: 1078, 25702: 1079, 87482: 1080, 135765: 1081, 135766: 1082, 1132864: 1083, 22886: 1084, 1118286: 1085, 162664: 1086, 1109542: 1087, 1116835: 1088, 1116839: 1089, 1103016: 1090, 1128425: 1091, 1116842: 1092, 1136446: 1093, 1136447: 1094, 27199: 1095, 1125597: 1096, 1132887: 1097, 593813: 1098, 594543: 1099, 917493: 1100, 1128430: 1101, 51909: 1102, 1108834: 1103, 1128437: 1104, 989397: 1105, 97645: 1106, 8832: 1107, 1103031: 1108, 346243: 1109, 1119708: 1110, 36620: 1111, 25772: 1112, 640617: 1113, 8865: 1114, 950986: 1115, 35905: 1116, 8875: 1117, 25791: 1118, 100961: 1119, 738941: 1120, 64271: 1121, 3084: 1122, 3085: 1123, 28649: 1124, 3095: 1125, 3097: 1126, 1153943: 1127, 1121254: 1128, 74427: 1129, 231249: 1130, 1105221: 1131, 28674: 1132, 1129907: 1133, 650807: 1134, 348437: 1135, 1688: 1136, 33013: 1137, 38829: 1138, 307015: 1139, 127033: 1140, 310742: 1141, 1694: 1142, 650834: 1143, 1131420: 1144, 193918: 1145, 85324: 1146, 642827: 1147, 38845: 1148, 193931: 1149, 193932: 1150, 4553: 1151, 1116146: 1152, 85352: 1153, 261040: 1154, 145215: 1155, 646412: 1156, 1131464: 1157, 1131466: 1158, 574264: 1159, 458439: 1160, 57764: 1161, 646440: 1162, 1111899: 1163, 521252: 1164, 1115471: 1165, 1123493: 1166, 601462: 1167, 421481: 1168, 385572: 1169, 30934: 1170, 84695: 1171, 189566: 1172, 69397: 1173, 6741: 1174, 177998: 1175, 395725: 1176, 61417: 1177, 54129: 1178, 1118347: 1179, 1106764: 1180, 102406: 1181, 75972: 1182, 95579: 1183, 54132: 1184, 27243: 1185, 1153262: 1186, 1153264: 1187, 30973: 1188, 1129208: 1189, 1106771: 1190, 27249: 1191, 95586: 1192, 95588: 1193, 255233: 1194, 6775: 1195, 129287: 1196, 27250: 1197, 19231: 1198, 1153275: 1199, 1132948: 1200, 1106789: 1201, 95597: 1202, 6784: 1203, 682815: 1204, 1153280: 1205, 148170: 1206, 263279: 1207, 1116922: 1208, 1152564: 1209, 1118388: 1210, 851968: 1211, 3101: 1212, 1129243: 1213, 170798: 1214, 3112: 1215, 503877: 1216, 17821: 1217, 503883: 1218, 561238: 1219, 1110438: 1220, 575795: 1221, 1116974: 1222, 272720: 1223, 415693: 1224, 18582: 1225, 11325: 1226, 11326: 1227, 1103162: 1228, 1111186: 1229, 578645: 1230, 578646: 1231, 578649: 1232, 1121313: 1233, 11335: 1234, 1102442: 1235, 11339: 1236, 52784: 1237, 11342: 1238, 1130080: 1239, 3191: 1240, 3192: 1241, 400455: 1242, 1135899: 1243, 591017: 1244, 751408: 1245, 1140230: 1246, 1140231: 1247, 1106052: 1248, 70970: 1249, 67245: 1250, 67246: 1251, 205196: 1252, 135130: 1253, 123556: 1254, 645084: 1255, 1786: 1256, 66556: 1257, 1130808: 1258, 4649: 1259, 582343: 1260, 395075: 1261, 582349: 1262, 20833: 1263, 1131549: 1264, 58552: 1265, 85449: 1266, 49811: 1267, 77438: 1268, 4660: 1269, 66594: 1270, 66596: 1271, 314459: 1272, 1116268: 1273, 1103960: 1274, 49843: 1275, 1103969: 1276, 593240: 1277, 207395: 1278, 593248: 1279, 943087: 1280, 7532: 1281, 7537: 1282, 25181: 1283, 25184: 1284, 16437: 1285, 1103985: 1286, 6814: 1287, 6818: 1288, 1154042: 1289, 23738: 1290, 1107558: 1291, 137359: 1292, 16451: 1293, 318071: 1294, 232860: 1295, 1107572: 1296, 49895: 1297, 16474: 1298, 1154076: 1299, 626999: 1300, 137380: 1301, 1119178: 1302, 33904: 1303, 1119180: 1304, 33907: 1305, 174418: 1306, 70281: 1307, 73119: 1308, 9716: 1309, 174425: 1310, 416455: 1311, 18615: 1312, 127940: 1313, 1152663: 1314, 675649: 1315, 1117760: 1316, 1138091: 1317, 1152673: 1318, 321004: 1319, 139547: 1320, 45533: 1321, 3217: 1322, 1111240: 1323, 523574: 1324, 1110515: 1325, 73162: 1326, 52835: 1327, 3220: 1328, 3223: 1329, 1129367: 1330, 1129368: 1331, 1129369: 1332, 84021: 1333, 1127913: 1334, 3233: 1335, 3235: 1336, 3236: 1337, 562067: 1338, 3240: 1339, 92065: 1340, 213246: 1341, 911198: 1342, 12158: 1343, 20178: 1344, 20179: 1345, 80491: 1346, 561364: 1347, 20180: 1348, 245955: 1349, 1102548: 1350, 1817: 1351, 31043: 1352, 1102550: 1353, 20193: 1354, 1110579: 1355, 213279: 1356, 1133010: 1357, 157761: 1358, 31055: 1359, 12194: 1360, 1133028: 1361, 578780: 1362, 12198: 1363, 12199: 1364, 90655: 1365, 6130: 1366, 337766: 1367, 112787: 1368, 1133047: 1369, 1105428: 1370, 785678: 1371, 644441: 1372, 672064: 1373, 41216: 1374, 1105433: 1375, 1113459: 1376, 55770: 1377, 6163: 1378, 259701: 1379, 259702: 1380, 1131607: 1381, 430329: 1382, 643734: 1383, 643735: 1384, 656048: 1385, 1131611: 1386, 617575: 1387, 1105450: 1388, 15076: 1389, 10793: 1390, 1117049: 1391, 647315: 1392, 33231: 1393, 1116328: 1394, 1104749: 1395, 594025: 1396, 315266: 1397, 643777: 1398, 1130927: 1399, 1132385: 1400, 1108329: 1401, 1130929: 1402, 1104769: 1403, 594047: 1404, 1130931: 1405, 1130934: 1406, 141868: 1407, 593329: 1408, 144701: 1409, 574462: 1410, 60170: 1411, 120039: 1412, 502574: 1413, 293974: 1414, 1119216: 1415, 1108363: 1416, 191216: 1417, 469504: 1418, 358866: 1419, 1116397: 1420, 191222: 1421, 36145: 1422, 1115677: 1423, 577331: 1424, 31863: 1425, 566488: 1426, 358887: 1427, 6935: 1428, 6939: 1429, 197783: 1430, 34708: 1431, 1107674: 1432, 248119: 1433, 318187: 1434, 1152714: 1435, 1154173: 1436, 300071: 1437, 1120020: 1438, 423816: 1439, 1106966: 1440, 148341: 1441, 136766: 1442, 325497: 1443, 136767: 1444, 136768: 1445, 409255: 1446, 1152740: 1447, 1117833: 1448, 309476: 1449, 1120059: 1450, 80515: 1451, 65212: 1452, 15892: 1453, 1120084: 1454, 576691: 1455, 148399: 1456, 175291: 1457, 1112071: 1458, 117: 1459, 157805: 1460, 300806: 1461, 31105: 1462, 154982: 1463, 141160: 1464, 112813: 1465, 98693: 1466, 98698: 1467, 192734: 1468, 12247: 1469, 1109891: 1470, 141171: 1471, 312409: 1472, 608190: 1473, 608191: 1474, 55801: 1475, 1136791: 1476, 815073: 1477, 1114222: 1478, 173884: 1479, 1102646: 1480, 63832: 1481, 211906: 1482, 83449: 1483, 2654: 1484, 815096: 1485, 277263: 1486, 1105505: 1487, 48550: 1488, 83461: 1489, 48555: 1490, 6238: 1491, 636500: 1492, 340078: 1493, 1113534: 1494, 578898: 1495, 1951: 1496, 1952: 1497, 1956: 1498, 636511: 1499, 463825: 1500, 1121569: 1501, 1105531: 1502, 14428: 1503, 14429: 1504, 74749: 1505, 14430: 1506, 14431: 1507, 1132434: 1508, 648121: 1509, 582511: 1510, 688849: 1511, 1997: 1512, 1131728: 1513, 1106298: 1514, 86359: 1515, 647413: 1516, 1120880: 1517, 1131734: 1518, 562940: 1519, 230879: 1520, 1104851: 1521, 1152075: 1522, 58758: 1523, 230884: 1524, 34082: 1525, 1132486: 1526, 39890: 1527, 66782: 1528, 218410: 1529, 647447: 1530, 1117184: 1531, 66794: 1532, 227178: 1533, 936: 1534, 940: 1535, 575292: 1536, 941: 1537, 1109185: 1538, 85688: 1539, 28202: 1540, 50807: 1541, 379288: 1542, 1154229: 1543, 1109199: 1544, 118682: 1545, 153598: 1546, 1154251: 1547, 62417: 1548, 1125909: 1549, 79809: 1550, 739280: 1551, 70441: 1552, 70442: 1553, 70444: 1554, 79817: 1555, 129558: 1556, 892139: 1557, 576725: 1558, 28254: 1559, 1246: 1560, 237376: 1561, 27531: 1562, 397488: 1563, 42847: 1564, 42848: 1565, 155736: 1566, 155738: 1567, 39124: 1568, 39127: 1569, 39130: 1570, 1153577: 1571, 335733: 1572, 28290: 1573, 18815: 1574, 1136814: 1575, 1120169: 1576, 82087: 1577, 178209: 1578, 139738: 1579, 82090: 1580, 18834: 1581, 39165: 1582, 190698: 1583, 1125992: 1584, 1109957: 1585, 46470: 1586, 46476: 1587, 1129570: 1588, 1071981: 1589, 1129573: 1590, 39199: 1591, 12337: 1592, 29723: 1593, 694759: 1594, 46491: 1595, 1128856: 1596, 1107010: 1597, 643199: 1598, 1104182: 1599, 12347: 1600, 63915: 1601, 519353: 1602, 608292: 1603, 1121603: 1604, 1130356: 1605, 12359: 1606, 192850: 1607, 7032: 1608, 1128881: 1609, 140569: 1610, 1114331: 1611, 7041: 1612, 561581: 1613, 561582: 1614, 192870: 1615, 1113614: 1616, 1102761: 1617, 116528: 1618, 561595: 1619, 94416: 1620, 5600: 1621, 1000012: 1622, 1114364: 1623, 1121659: 1624, 66809: 1625, 6343: 1626, 212777: 1627, 583318: 1628, 709518: 1629, 350319: 1630, 116553: 1631, 170338: 1632, 179706: 1633, 1112929: 1634, 656231: 1635, 14531: 1636, 1106370: 1637, 1109208: 1638, 1114398: 1639, 95188: 1640, 510718: 1641, 208345: 1642, 6378: 1643, 22563: 1644, 10981: 1645, 110041: 1646, 14549: 1647, 95198: 1648, 6385: 1649, 575331: 1650, 568045: 1651, 1136110: 1652, 1131828: 1653, 67584: 1654, 243274: 1655, 135464: 1656, 1105672: 1657, 93755: 1658, 756061: 1659, 522338: 1660, 219239: 1661, 61073: 1662, 262178: 1663, 686015: 1664, 1110024: 1665, 613409: 1666, 686030: 1667, 227286: 1668, 45061: 1669, 646836: 1670, 1108551: 1671, 13885: 1672, 1104999: 1673, 566653: 1674, 1127430: 1675, 299197: 1676, 1135455: 1677, 97377: 1678, 592826: 1679, 566664: 1680, 633030: 1681, 633031: 1682, 686061: 1683, 592830: 1684, 573964: 1685, 1155073: 1686, 17476: 1687, 17477: 1688, 190706: 1689, 28336: 1690, 573978: 1691, 1107861: 1692, 17488: 1693, 1128198: 1694, 1108597: 1695, 103515: 1696, 27623: 1697, 200480: 1698, 103529: 1699, 649730: 1700, 39210: 1701, 46501: 1702, 27632: 1703, 649739: 1704, 1119471: 1705, 103531: 1706, 470511: 1707, 509233: 1708, 236759: 1709, 237489: 1710, 1152944: 1711, 1118764: 1712, 643221: 1713, 212097: 1714, 608326: 1715, 643239: 1716, 1131116: 1717, 202639: 1718, 141324: 1719, 294145: 1720, 1128927: 1721, 561610: 1722, 561611: 1723, 147870: 1724, 248395: 1725, 1128935: 1726, 241133: 1727, 141342: 1728, 141347: 1729, 1128946: 1730, 1131164: 1731, 12439: 1732, 1131167: 1733, 1129683: 1734, 359067: 1735, 117315: 1736, 117316: 1737, 144212: 1738, 1106401: 1739, 1134022: 1740, 13193: 1741, 1131192: 1742, 1107136: 1743, 1131195: 1744, 1128982: 1745, 121792: 1746, 653441: 1747, 385251: 1748, 1126011: 1749, 1134031: 1750, 642593: 1751, 1115166: 1752, 737204: 1753, 118079: 1754, 1122460: 1755, 1114442: 1756, 589923: 1757, 1121739: 1758, 626574: 1759, 1126037: 1760, 645452: 1761, 753264: 1762, 1126044: 1763, 74920: 1764, 74921: 1765, 1105718: 1766, 48764: 1767, 48768: 1768, 1113742: 1769, 74937: 1770, 575402: 1771, 168958: 1772, 78508: 1773, 289085: 1774, 78511: 1775, 308232: 1776, 682508: 1777, 75691: 1778, 75693: 1779, 75694: 1780, 155158: 1781, 1105764: 1782, 1152259: 1783, 579008: 1784, 1128201: 1785, 1133390: 1786, 1118083: 1787, 78549: 1788, 604073: 1789, 595056: 1790, 1118092: 1791, 1125386: 1792, 78552: 1793, 78555: 1794, 78557: 1795, 646900: 1796, 595063: 1797, 648369: 1798, 1128227: 1799, 89416: 1800, 578306: 1801, 683294: 1802, 440815: 1803, 126867: 1804, 126868: 1805, 72056: 1806, 1119505: 1807, 1128256: 1808, 1108656: 1809, 71336: 1810, 1109392: 1811, 40886: 1812, 1115959: 1813, 578347: 1814, 284023: 1815, 345340: 1816, 621555: 1817, 118873: 1818, 8687: 1819, 226698: 1820, 578365: 1821, 1135589: 1822, 8696: 1823, 1118823: 1824, 411005: 1825, 509315: 1826, 171954: 1827, 230300: 1828, 1105011: 1829, 1121057: 1830, 592973: 1831, 592975: 1832, 48066: 1833, 2