{ "cells": [ { "cell_type": "code", "execution_count": 1, "id": "fcdce269", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "2025-04-29 19:42:49.399316: I tensorflow/core/util/port.cc:153] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`.\n", "2025-04-29 19:42:49.399795: I external/local_xla/xla/tsl/cuda/cudart_stub.cc:32] Could not find cuda drivers on your machine, GPU will not be used.\n", "2025-04-29 19:42:49.402037: I external/local_xla/xla/tsl/cuda/cudart_stub.cc:32] Could not find cuda drivers on your machine, GPU will not be used.\n", "2025-04-29 19:42:49.408084: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:467] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered\n", "WARNING: All log messages before absl::InitializeLog() is called are written to STDERR\n", "E0000 00:00:1745930569.418345 277850 cuda_dnn.cc:8579] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered\n", "E0000 00:00:1745930569.421510 277850 cuda_blas.cc:1407] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered\n", "W0000 00:00:1745930569.429407 277850 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.\n", "W0000 00:00:1745930569.429422 277850 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.\n", "W0000 00:00:1745930569.429424 277850 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.\n", "W0000 00:00:1745930569.429425 277850 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once.\n", "2025-04-29 19:42:49.432428: I tensorflow/core/platform/cpu_feature_guard.cc:210] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations.\n", "To enable the following instructions: AVX2 AVX_VNNI FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags.\n" ] } ], "source": [ "from keras.models import Model\n", "from keras.layers import Input, Embedding, Bidirectional, LSTM, TimeDistributed, Dense\n", "from keras.utils import to_categorical\n", "from keras.preprocessing.sequence import pad_sequences\n", "from sklearn.model_selection import train_test_split\n", "from seqeval.metrics import classification_report\n", "from sklearn.metrics import confusion_matrix\n", "\n", "import matplotlib.pyplot as plt\n", "import seaborn as sns\n", "import numpy as np\n", "import matplotlib.pyplot as plt\n", "\n", "import nltk\n", "from nltk.corpus import stopwords\n", "from nltk.tokenize import word_tokenize\n", "\n", "from Sastrawi.Stemmer.StemmerFactory import StemmerFactory\n", "\n", "from collections import Counter\n", "import re\n", "import string\n", "import pickle\n", "import json\n", "import numpy as np\n" ] }, { "cell_type": "code", "execution_count": 2, "id": "92b6b57f", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "[nltk_data] Downloading package stopwords to /home/akeon/nltk_data...\n", "[nltk_data] Package stopwords is already up-to-date!\n", "[nltk_data] Downloading package punkt to /home/akeon/nltk_data...\n", "[nltk_data] Package punkt is already up-to-date!\n", "[nltk_data] Downloading package punkt_tab to /home/akeon/nltk_data...\n", "[nltk_data] Package punkt_tab is already up-to-date!\n", "[nltk_data] Downloading package wordnet to /home/akeon/nltk_data...\n", "[nltk_data] Package wordnet is already up-to-date!\n" ] }, { "data": { "text/plain": [ "True" ] }, "execution_count": 2, "metadata": {}, "output_type": "execute_result" } ], "source": [ "nltk.download(\"stopwords\")\n", "nltk.download(\"punkt\")\n", "nltk.download(\"punkt_tab\")\n", "nltk.download(\"wordnet\")" ] }, { "cell_type": "code", "execution_count": 3, "id": "d568e8f2", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "158 sentences\n", "=== NER LABEL COUNTS ===\n", "O -> 1495 labels\n", "B-LOC -> 100 labels\n", "B-MISC -> 6 labels\n", "B-TIME -> 46 labels\n", "I-TIME -> 37 labels\n", "I-LOC -> 19 labels\n", "B-QUANT -> 4 labels\n", "I-QUANT -> 5 labels\n", "B-DATE -> 42 labels\n", "B-REL -> 2 labels\n", "B-ETH -> 2 labels\n", "I-ETH -> 2 labels\n", "B-ORG -> 9 labels\n", "I-ORG -> 5 labels\n", "B-MIN -> 6 labels\n", "B-TERM -> 2 labels\n", "I-TERM -> 3 labels\n", "B-RES -> 8 labels\n", "I-RES -> 2 labels\n", "B-PER -> 13 labels\n", "I-PER -> 16 labels\n", "I-DATE -> 34 labels\n", "I-MISC -> 4 labels\n", "B-EVENT -> 4 labels\n", "I-EVENT -> 4 labels\n", "\n", "=== SRL LABEL COUNTS ===\n", "ARG1 -> 421 labels\n", "ARGM-LOC -> 65 labels\n", "AM-NEG -> 2 labels\n", "V -> 196 labels\n", "ARGM-SRC -> 13 labels\n", "O -> 320 labels\n", "AM-QUE -> 5 labels\n", "ARGM-BNF -> 6 labels\n", "ARG2 -> 184 labels\n", "ARGM-MNR -> 9 labels\n", "ARG0 -> 129 labels\n", "AM-TMP -> 279 labels\n", "AM-PRP -> 1 labels\n", "AM-MOD -> 5 labels\n", "AM-ADV -> 1 labels\n", "AM-CAU -> 14 labels\n", "AM-EXT -> 6 labels\n", "AM-MNR -> 22 labels\n", "AM-DIS -> 2 labels\n", "AM-FRQ -> 2 labels\n", "ARGM-PNC -> 4 labels\n", "R-ARG1 -> 3 labels\n", "AM-LOC -> 78 labels\n", "AM-DIR -> 4 labels\n", "ARGM-CAU -> 17 labels\n", "ARGM-MOD -> 11 labels\n", "ARGM-EXT -> 2 labels\n", "ARGM-TMP -> 12 labels\n", "ARGM-DIS -> 9 labels\n", "ARG3 -> 12 labels\n", "ARGM-NEG -> 2 labels\n", "ARGM-COM -> 3 labels\n", "ARGM-PRP -> 10 labels\n", "ARGM-EX -> 4 labels\n", "ARGM-PRD -> 4 labels\n", "AM-COM -> 9 labels\n", "I-AM-LOC -> 1 labels\n", "AM-PNC -> 5 labels\n" ] } ], "source": [ "# === LOAD DATA ===\n", "with open(\"../dataset/dataset_ner_srl.json\", \"r\", encoding=\"utf-8\") as f:\n", " data = json.load(f)\n", "\n", "sentences = [[token.lower() for token in item[\"tokens\"]] for item in data]\n", "ner_labels = [item[\"labels_ner\"] for item in data]\n", "srl_labels = [item[\"labels_srl\"] for item in data]\n", "\n", "print(len(sentences), \"sentences\")\n", "\n", "# === COUNTERS ===\n", "ner_counter = Counter()\n", "srl_counter = Counter()\n", "\n", "for ner_seq in ner_labels:\n", " ner_counter.update(ner_seq)\n", "\n", "for srl_seq in srl_labels:\n", " srl_counter.update(srl_seq)\n", "\n", "# === PRINT RESULT ===\n", "print(\"=== NER LABEL COUNTS ===\")\n", "for label, count in ner_counter.items():\n", " print(f\"{label} -> {count} labels\")\n", "\n", "print(\"\\n=== SRL LABEL COUNTS ===\")\n", "for label, count in srl_counter.items():\n", " print(f\"{label} -> {count} labels\")" ] }, { "cell_type": "code", "execution_count": 4, "id": "95f16969", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "old [['keberagaman', 'potensi', 'sumber', 'daya', 'alam', 'indonesia', 'tidak', 'lepas', 'dari', 'proses', 'geografis', 'yang', 'terjadi', '.'], ['bagaimana', 'proses', 'geografis', 'di', 'indonesia', '?'], ['bagaimana', 'pengaruh', 'proses', 'geografis', 'bagi', 'keragaman', 'alam', 'dan', 'keragaman', 'sosial', 'masyarakat', 'indonesia', '?'], ['bagaimana', 'mengoptimalkan', 'peranan', 'sumber', 'daya', 'manusia', 'dalam', 'mengelola', 'sumber', 'daya', 'alam', 'indonesia', '?'], ['apakah', 'sumber', 'daya', 'manusia', 'di', 'indonesia', 'sudah', 'memenuhi', 'syarat', 'untuk', 'mengolah', 'pariwisata', 'yang', 'dimilikinya', '?'], ['bagaimana', 'lembaga', 'sosial', 'yang', 'akan', 'mewadahi', 'untuk', 'mengolah', 'sumber', 'daya', 'alam', 'dan', 'sumber', 'daya', 'manusianya', '?'], ['kalian', 'juga', 'perlu', 'memahami', ',', 'bahwa', 'keragaman', 'sosial', 'dan', 'budaya', 'telah', 'menarik', 'kedatangan', 'bangsa-bangsa', 'asing', 'sejak', 'ribuan', 'tahun', 'yang', 'lalu', '.'], ['perkembangan', 'hindu-buddha', 'di', 'indonesia', 'tidak', 'lepas', 'dari', 'perkembangan', 'perdagangan', 'dan', 'pelayaran', 'pada', 'awal', 'abad', 'masehi', '.'], ['bangsa', 'indonesia', 'patut', 'bersyukur', 'karena', 'proses', 'geografis', 'dan', 'keragaman', 'alam', 'yang', 'dimiliki', '.'], ['indonesia', 'merupakan', 'negara', 'terluas', 'di', 'asia', 'tenggara', '.'], ['luas', 'daratan', 'indonesia', 'sebesar', '1.910.932,37', 'km2', '.'], ['dan', 'lautan', 'indonesia', 'mencapai', '5,8', 'juta', 'km2', '.'], ['letak', 'indonesia', 'sangat', 'menguntungkan', 'bagi', 'kehidupan', 'masyarakat', '.'], ['selain', 'memiliki', 'letak', 'geografis', 'yang', 'sangat', 'menguntungkan', ',', 'indonesia', 'juga', 'memiliki', 'letak', 'geologis', ',', 'iklim', ',', 'dan', 'cuaca', 'yang', 'sangat', 'menguntungkan', '.'], ['kalian', 'tentu', 'sering', 'membincangkan', 'tentang', 'musim', 'dan', 'hubungannya', 'dengan', 'aktivitas', 'sehari-hari', '.'], ['masyarakat', 'memiliki', 'kebiasaan', 'di', 'musim', 'hujan', 'dan', 'musim', 'kemarau', 'baik', 'berhubungan', 'dengan', 'mata', 'pencaharian', 'dan', 'kesenangan', '(', 'hobi', ')', '.'], ['kalian', 'juga', 'sering', 'memperhatikan', 'prakiraan', 'cuaca', 'untuk', 'merancang', 'kegiatan', 'harian', '.'], ['cuaca', 'dan', 'iklim', 'inilah', 'bagian', 'penting', 'yang', 'memengaruhi', 'aktivitas', 'masyarakat', 'indonesia', '.'], ['cuaca', 'adalah', 'kondisi', 'rata-rata', 'udara', 'pada', 'saat', 'tertentu', 'di', 'suatu', 'wilayah', 'yang', 'relatif', 'sempit', 'dan', 'dalam', 'waktu', 'yang', 'singkat', '.'], ['iklim', 'merupakan', 'kondisi', 'cuaca', 'rata-rata', 'tahunan', 'pada', 'suatu', 'wilayah', 'yang', 'luas', '.'], ['indonesia', 'memiliki', 'iklim', 'tropis', 'yang', 'memiliki', 'dua', 'musim', 'yaitu', 'musim', 'hujan', 'dan', 'musim', 'kemarau', '.'], ['musim', 'hujan', 'terjadi', 'pada', 'bulan', 'oktober', '-', 'maret', ',', 'sedangkan', 'musim', 'kemarau', 'terjadi', 'pada', 'bulan', 'april', '-', 'september', '.'], ['semakin', 'ke', 'timur', 'curah', 'hujan', 'semakin', 'sedikit', '.'], ['hal', 'ini', 'karena', 'hujan', 'telah', 'banyak', 'jatuh', 'dan', 'menguap', 'di', 'bagian', 'barat', '.'], ['keadaan', 'iklim', 'dapat', 'diamati', 'dengan', 'memperhatikan', 'unsur-unsur', 'cuaca', 'dan', 'iklim', '.'], ['unsur-unsur', 'tersebut', 'antara', 'lain', ',', 'penyinaran', 'matahari', ',', 'suhu', 'udara', ',', 'kelembaban', 'udara', ',', 'angin', ',', 'dan', 'hujan', '.'], ['tanaman', 'tropis', 'memiliki', 'banyak', 'varietas', 'yang', 'kaya', 'akan', 'hidrat', 'arang', 'terutama', 'tanaman', 'bahan', 'makanan', 'pokok', '.'], ['berikut', 'pengaruh', 'unsur-unsur', 'iklim', 'terhadap', 'tanaman'], ['penyinaran', 'matahari', 'memengaruhi', 'fotosintesis', 'tanaman', ',', 'dapat', 'meningkatkan', 'suhu', 'udara', '.'], ['suhu', 'mengurangi', 'kadar', 'air', 'sehingga', 'cenderung', 'menjadi', 'kering', '.'], ['kelembaban', 'membatasi', 'hilangnya', 'air', '.'], ['angin', 'membantu', 'proses', 'penyerbukan', 'secara', 'alami', ',', 'mengurangi', 'kadar', 'air', '.'], ['hujan', 'meningkatkan', 'kadar', 'air', ',', 'mengikis', 'tanah', '.'], ['kalian', 'menemukan', 'berbagai', 'perbedaan', 'sosial', 'budaya', 'masyarakat', 'di', 'sekitar', 'tempat', 'tinggalmu', '.'], ['apabila', 'kalian', 'tinggal', 'di', 'perkotaan', ',', 'perbedaan', 'sosial', 'budaya', 'akan', 'semakin', 'banyak', '.'], ['perbedaan', 'sosial', 'budaya', 'meliputi', 'perbedaan', 'nilai-nilai', ',', 'norma', ',', 'dan', 'karakteristik', 'dari', 'suatu', 'kelompok', '.'], ['keragaman', 'sosial', 'budaya', 'di', 'masyarakat', 'dapat', 'terjadi', 'saat', 'berbagai', 'jenis', 'suku', 'dan', 'agama', 'yang', 'ada', 'di', 'suatu', 'ruang', 'bertemu', 'dan', 'berinteraksi', 'setiap', 'harinya', '.'], ['ruang', 'tersebut', 'adalah', 'ruang', 'yang', 'ada', 'pada', 'masyarakat', '.'], ['budaya', 'dapat', 'berupa', 'cara', 'hidup', 'masyarakat', ',', 'cara', 'berpakaian', ',', 'adat', 'istiadat', ',', 'jenis', 'mata', 'pecaharian', ',', 'dan', 'tata', 'upacara', 'keagamaan', '.'], ['keragaman', 'budaya', 'juga', 'mencakup', 'barang-barang', 'yang', 'dihasilkan', 'oleh', 'masyarakat', ',', 'seperti', 'senjata', ',', 'alat', 'bajak', 'sawah', ',', 'kitab', 'hukum', 'adat', ',', 'dan', 'tempat', 'tinggal', '.'], ['budaya', 'dapat', 'dianggap', 'sebagai', 'serangkaian', 'rancangan', 'untuk', 'bertahan', 'hidup', 'atau', 'alat', 'dari', 'praktik', ',', 'pengetahuan', ',', 'dan', 'simbol', 'yang', 'diperoleh', 'melalui', 'pembelajaran', ',', 'bukan', 'oleh', 'naluri', ',', 'yang', 'memungkinkan', 'orang', 'untuk', 'hidup', 'dalam', 'masyarakat', '.'], ['masyarakat', 'terdiri', 'dari', 'orang-orang', 'yang', 'berinteraksi', 'dan', 'berbagi', 'budaya', 'yang', 'sama', '.'], ['perbedaan', 'budaya', 'dapat', 'disebabkan', 'oleh', 'berbagai', 'hal', 'seperti', 'sejarah', ',', 'keturunan', ',', 'keyakinan', ',', 'dan', 'faktor', 'geografis', '.'], ['salah', 'satu', 'penyebab', 'perbedaan', 'budaya', 'adalah', 'faktor', 'geografis', '.'], ['faktor', 'geografis', 'yang', 'memengaruhi', 'keragaman', 'budaya', 'yang', 'akan', 'dibahas', 'berikut', 'ini'], ['dari', 'teks', 'tersebut', 'dapat', 'kita', 'pelajari', 'bahwa', 'budaya', 'yang', 'ada', 'di', 'masyarakat', 'dapat', 'dipengaruhi', 'oleh', 'lingkungan', 'yang', 'ada', 'di', 'sekitarnya', ','], ['misalnya', 'suku', 'lawu', 'dan', 'suku', 'bugis', 'yang', 'bermata', 'pencaharian', 'sebagai', 'nelayan', 'dengan', 'kapal', 'pinisinya', ','], ['sehingga', 'menjadi', 'sebuah', 'simbol', 'bahwa', 'indonesia', 'merupakan', 'negara', 'maritim', 'yang', 'kuat', 'dan', 'disegani', 'di', 'lautan', '.'], ['keragaman', 'budaya', 'dipengaruhi', 'oleh', 'lingkungan', 'fisik', '.'], ['manusia', 'sebagai', 'individu', 'adalah', 'kesatuan', 'jiwa', ',', 'raga', 'dan', 'kegiatan', 'atau', 'perilaku', 'pribadi', 'itu', 'sendiri', '.'], ['sebagai', 'individu', ',', 'dalam', 'pribadi', 'manusia', 'terdapat', 'tiga', 'unsur', ',', 'yaitu', 'nafsu', ',', 'semangat', ',', 'dan', 'intelegensi', '.'], ['kombinasi', 'dari', 'unsur', 'tersebut', 'menghasilkan', 'tingkah', 'laku', 'seseorang', 'yang', 'mencerminkan', 'karakter', 'atau', 'budayaanya', '.'], ['kesatuan', 'dari', 'kepribadian-kepribadian', 'seseorang', 'pada', 'suatu', 'daerah', 'yang', 'mempunyai', 'pola', 'yang', 'sama', 'dapat', 'membentuk', 'budaya', 'daerah', 'tersebut', 'yang', 'membedakan', 'dengan', 'tempat', 'lain', '.'], ['indonesia', 'memiliki', 'kebudayaan', 'yang', 'beragam', '.'], ['indonesia', 'memiliki', 'kekayaan', 'yang', 'begitu', 'besar', '.'], ['bukan', 'hanya', 'pemandangan', 'alam', 'budaya', ',', 'jauh', 'di', 'kedalaman', 'tanahnya', 'begitu', 'banyak', 'kandungan', 'mineral', 'berharga', '.'], ['selama', 'puluhan', 'tahun', ',', 'freeport', 'mengelola', 'tambang', 'mineral', 'di', 'tanah', 'papua', ',', 'indonesia', '.'], ['berdasarkan', 'laporan', 'keuangan', 'freeport', 'mcmorran', 'inc', 'periode', '2017', ',', 'freeport', 'indonesia', 'di', 'papua', 'tercatat', 'memiliki', '6', 'tambang', ',', 'yakni', 'grasberg', 'block', 'cave', ',', 'dmlz', ',', 'tambang', 'kucing', 'liar', ',', 'doz', ',', 'big', 'gossan', ',', 'dan', 'grasberg', 'open', 'pit', '.'], ['tambang', 'freeport', 'memiliki', 'beberapa', 'kandungan', 'cadangan', 'mineral', ',', 'yaitu', 'tembaga', ',', 'emas', ',', 'dan', 'perak', '.'], ['sumber', 'daya', 'alam', 'yang', 'terdapat', 'pada', 'pertambangan', 'freeport', 'di', 'atas', 'merupakan', 'salah', 'satu', 'contoh', 'dari', 'berbagai', 'sumber', 'daya', 'yang', 'ada', 'di', 'indonesia', 'yang', 'memiliki', 'beberapa', 'kandungan', 'cadangan', 'mineral', ',', 'seperti', 'tembaga', ',', 'emas', ',', 'dan', 'perak', '.'], ['kemudian', 'apa', 'sih', 'sumber', 'daya', 'alam', 'itu', '?'], ['apakah', 'ada', 'manfaatnya', 'untuk', 'kita', '?'], ['yuk', 'silahkan', 'simak', 'penjelasan', 'di', 'bawah', 'ini', '.'], ['sumber', 'daya', 'alam', 'merupakan', 'segala', 'sesuatu', 'yang', 'ada', 'di', 'permukaan', 'bumi', 'dan', 'dapat', 'dimanfaatkan', 'untuk', 'memenuhi', 'kebutuhan', 'manusia', '.'], ['potensi', 'sumber', 'daya', 'ini', 'mencakup', 'hal', 'yang', 'ada', 'di', 'udara', ',', 'daratan', ',', 'dan', 'perairan', '.'], ['berdasarkan', 'kelestariannya', ',', 'sumber', 'daya', 'alam', 'dapat', 'dibedakan', 'menjadi', 'dua', 'yaitu', 'sumber', 'daya', 'alam', 'yang', 'dapat', 'diperbarui', '(', 'renewable', 'resources', ')', 'dan', 'tidak', 'dapat', 'diperbarui', '(', 'non', 'renewable', 'resource', ')', '.'], ['contoh', 'sumber', 'daya', 'alam', 'yang', 'dapat', 'diperbarui', 'yaitu', 'seperti', 'air', ',', 'tanah', ',', 'dan', 'hutan', '.'], ['sedangkan', 'sumber', 'daya', 'alam', 'yang', 'tidak', 'dapat', 'diperbarui', 'seperti', 'minyak', 'bumi', 'dan', 'batu', 'bara', '.'], ['berikut', 'ini', 'merupakan', 'potensi', 'sumber', 'daya', 'alam', 'di', 'indonesia', 'yang', 'dirinci', 'menjadi', 'tiga', 'yaitu', 'sumber', 'daya', 'alam', 'hutan', ',', 'sumber', 'daya', 'alam', 'tambang', ',', 'dan', 'sumber', 'daya', 'alam', 'kemaritiman', '.'], ['indonesia', 'termasuk', 'negara', 'yang', 'memiliki', 'kekayaan', 'alam', 'yang', 'berlimpah', 'dibandingkan', 'negara-negara', 'yang', 'lain', '.'], ['potensi', 'sumber', 'daya', 'alam', 'indonesia', 'sangat', 'beraneka', 'ragam', '.'], ['bangsa', 'indonesia', 'memiliki', 'modal', 'penting', 'dalam', 'pembangunan', '.'], ['jumlah', 'penduduk', 'indonesia', 'yang', 'lebih', 'dari', '270', 'juta', 'merupakan', 'potensi', 'penting', 'dalam', 'pembangunan', '.'], ['pada', 'tahun', '2016', 'badan', 'pusat', 'statistik', 'mencatat', 'bahwa', 'di', 'indonesia', 'terdapat', 'angkatan', 'kerja', '127,67', 'juta', 'jiwa', '.'], ['di', 'antara', 'negara', 'asean', ',', 'kualitas', 'sdm', 'dan', 'ketenagakerjaan', 'indonesia', 'masih', 'berada', 'di', 'peringkat', 'bawah', '.'], ['kualitas', 'sdm', 'dan', 'ketenagakerjaan', 'indonesia', 'menempati', 'urutan', 'kelima', '.'], ['peringkat', 'ini', 'masih', 'kalah', 'jika', 'dibandingkan', 'singapura', ',', 'brunei', 'darussalam', ',', 'malaysia', ',', 'dan', 'thailand', '.'], ['kualitas', 'sumber', 'daya', 'manusia', 'di', 'indonesia', 'memengaruhi', 'terhadap', 'kemajuan', 'sebuah', 'bangsa', '.'], ['peristiwa', 'itu', 'dilatarbelakangi', 'oleh', 'peristiwa', 'yang', 'jauh', 'dari', 'indonesia', ',', 'misalnya', 'peristiwa', 'jatuhnya', 'konstantinopel', 'di', 'kawasan', 'laut', 'tengah', 'pada', 'tahun', '1453', '.'], ['kehidupan', 'global', 'semakin', 'berkembang', 'dengan', 'maraknya', 'penjelajahan', 'samudera', 'orang-orang', 'eropa', 'ke', 'dunia', 'timur', '.'], ['begitu', 'juga', 'peristiwa', 'kedatangan', 'bangsa', 'eropa', 'ke', 'indonesia', ',', 'telah', 'ikut', 'meningkatkan', 'kehidupan', 'global', '.'], ['pada', 'tahun', '1488', 'karena', 'serangan', 'ombak', 'besar', 'terpaksa', 'bartholomeus', 'diaz', 'mendarat', 'di', 'suatu', 'ujung', 'selatan', 'benua', 'afrika', '.'], ['pada', 'juli', '1497', 'vasco', 'da', 'gama', 'berangkat', 'dari', 'pelabuhan', 'lisabon', 'untuk', 'memulai', 'penjelajahan', 'samudra', '.'], ['berdasarkan', 'pengalaman', 'bartholomeus', 'diaz', 'tersebut', ',', 'vasco', 'da', 'gama', 'juga', 'berlayar', 'mengambil', 'rute', 'yang', 'pernah', 'dilayari', 'bartholomeus', 'diaz', '.'], ['rombongan', 'vasco', 'da', 'gama', 'juga', 'singgah', 'di', 'tanjung', 'harapan', '.'], ['atas', 'petunjuk', 'dari', 'pelaut', 'bangsa', 'moor', 'yang', 'telah', 'disewanya', ',', 'rombongan', 'vasco', 'da', 'gama', 'melanjutkan', 'penjelajahan', ',', 'berlayar', 'menelusuri', 'pantai', 'timur', 'afrika', 'kemudian', 'berbelok', 'ke', 'kanan', 'untuk', 'mengarungi', 'lautan', 'hindia', '(', 'samudra', 'indonesia', ')', '.'], ['pada', 'tahun', '1498', 'rombongan', 'vasco', 'da', 'gama', 'mendarat', 'sampai', 'di', 'kalikut', 'dan', 'juga', 'goa', 'di', 'pantai', 'barat', 'india', '.'], ['pada', 'tahun', '1511', 'armada', 'portugis', 'berhasil', 'menguasai', 'malaka', '.'], ['proklamasi', 'kemerdekaan', 'indonesia', 'terjadi', 'pada', '17', 'agustus', '1945', '.'], ['barack', 'obama', 'lahir', 'pada', '4', 'agustus', '1961', 'di', 'hawaii', '.'], ['reformasi', 'indonesia', 'dimulai', 'tahun', '1998', 'setelah', 'soeharto', 'mundur', '.'], ['perang', 'dunia', 'ii', 'berakhir', 'pada', '2', 'september', '1945', '.'], ['indonesia', 'menjadi', 'anggota', 'pbb', 'sejak', '28', 'september', '1950', '.'], ['banjir', 'bandang', 'terjadi', 'pada', '5', 'januari', '2021', 'di', 'bandung', '.'], ['hari', 'pahlawan', 'diperingati', 'setiap', '10', 'november', '.'], ['pada', 'tahun', '1511', 'portugis', 'menguasai', 'malaka', '.'], ['konferensi', 'asia-afrika', 'diselenggarakan', 'tahun', '1955', 'di', 'bandung', '.'], ['musim', 'kemarau', 'diperkirakan', 'mulai', 'april', '2025', '.'], ['rapat', 'dimulai', 'pukul', '09.00', 'pagi', '.'], ['kereta', 'akan', 'tiba', 'sekitar', 'jam', '3', 'sore', '.'], ['pertandingan', 'akan', 'dimulai', 'pada', 'pukul', '19.30', '.'], ['matahari', 'terbit', 'sekitar', '05.45', 'pagi', 'di', 'jakarta', '.'], ['makan', 'siang', 'biasanya', 'dilakukan', 'sekitar', 'jam', '12', 'siang', '.'], ['penerbangan', 'dijadwalkan', 'lepas', 'landas', 'pukul', '23.15', '.'], ['film', 'tayang', 'mulai', 'jam', '8', 'malam', 'nanti', '.'], ['pesawat', 'mendarat', 'tepat', 'pada', '00.30', 'dinihari', '.'], ['siaran', 'langsung', 'dimulai', 'pukul', '18.00', '.'], ['jam', 'kerja', 'dimulai', 'pukul', '08.00', 'dan', 'berakhir', 'pukul', '17.00', '.'], ['alarm', 'berbunyi', 'pada', 'pukul', '06.00', 'pagi', '.'], ['saya', 'bangun', 'sekitar', 'jam', '5', 'pagi', 'setiap', 'hari', '.'], ['konser', 'dimulai', 'sekitar', '20.00', 'malam', 'di', 'stadion', '.'], ['wawancara', 'dijadwalkan', 'pada', 'jam', '11', 'pagi', '.'], ['kami', 'tiba', 'di', 'bandara', 'sekitar', 'jam', '2', 'dinihari', '.'], ['dia', 'mengajar', 'kelas', 'pada', 'pukul', '13.00', '.'], ['peserta', 'diminta', 'hadir', 'sebelum', 'jam', '7', 'pagi', '.'], ['televisi', 'menayangkan', 'berita', 'malam', 'pada', '22.00', '.'], ['kami', 'akan', 'bertemu', 'jam', '10', 'malam', 'di', 'kafe', '.'], ['toko', 'buka', 'hingga', 'pukul', '21.00', '.'], ['dia', 'biasanya', 'berolahraga', 'pada', 'pagi', 'hari', '.'], ['kami', 'bertemu', 'lagi', 'pada', 'malam', 'hari', 'itu', '.'], ['upacara', 'dilaksanakan', 'pada', 'sore', 'hari', 'di', 'lapangan', '.'], ['ia', 'pulang', 'setiap', 'malam', 'sekitar', 'jam', '9', '.'], ['kami', 'berangkat', 'di', 'pagi', 'hari', 'menggunakan', 'mobil', '.'], ['acara', 'berlangsung', 'hingga', 'malam', 'hari', '.'], ['kami', 'tiba', 'di', 'bandara', 'pada', 'dinihari', '.'], ['pintu', 'gerbang', 'dibuka', 'setiap', 'pagi', '.'], ['ia', 'selalu', 'belajar', 'di', 'malam', '.'], ['waktu', 'bermain', 'dimulai', 'sore', 'hari', '.'], ['pelajaran', 'kedua', 'dimulai', 'sekitar', 'jam', 'tujuh', 'lebih', 'sepuluh', 'menit', '.'], ['bus', 'berangkat', 'kurang', 'lebih', 'jam', 'delapan', 'malam', '.'], ['pertemuan', 'terakhir', 'dilaksanakan', 'sebelum', 'matahari', 'terbenam', '.'], ['kereta', 'berangkat', 'sekitar', 'tengah', 'malam', 'dari', 'stasiun', 'gambir', '.'], ['jadwal', 'sholat', 'dimulai', 'pukul', 'empat', 'lebih', 'lima', 'menit', '.'], ['pemadaman', 'listrik', 'akan', 'dimulai', 'menjelang', 'malam', '.'], ['layanan', 'pelanggan', 'dibuka', 'setiap', 'hari', 'kerja', 'jam', 'sembilan', '.'], ['ia', 'terjaga', 'di', 'tengah', 'malam', 'karena', 'petir', '.'], ['kelas', 'selesai', 'sekitar', 'jam', 'dua', 'kurang', 'seperempat', '.'], ['waktu', 'sarapan', 'dimulai', 'pukul', '6.30', 'hingga', '7.30', '.'], ['proklamasi', 'kemerdekaan', 'terjadi', 'pada', '17', 'agustus', '1945', '.'], ['indonesia', 'merdeka', 'pada', 'tahun', '1945', '.'], ['pemilu', 'diadakan', 'pada', '14', 'februari', '2024', '.'], ['tanggal', '1', 'januari', '2023', 'merupakan', 'hari', 'libur', '.'], ['barack', 'obama', 'lahir', 'pada', '4', 'agustus', '1961', '.'], ['hari', 'bumi', 'diperingati', 'setiap', '22', 'april', '.'], ['musim', 'kemarau', 'terjadi', 'antara', 'bulan', 'april', 'hingga', 'oktober', '.'], ['reformasi', '1998', 'mengubah', 'sistem', 'politik', 'indonesia', '.'], ['konferensi', 'asia-afrika', 'digelar', 'pada', 'tahun', '1955', 'di', 'bandung', '.'], ['perang', 'dunia', 'kedua', 'berakhir', 'tahun', '1945', '.'], ['sumpah', 'pemuda', 'diperingati', 'setiap', '28', 'oktober', '.'], ['habibie', 'dilantik', 'menjadi', 'presiden', 'pada', '21', 'mei', '1998', '.'], ['hari', 'kemerdekaan', 'indonesia', 'dirayakan', 'setiap', '17', 'agustus', '.'], ['pada', 'tahun', '1949', ',', 'belanda', 'mengakui', 'kemerdekaan', 'indonesia', '.'], ['tsunami', 'aceh', 'terjadi', 'pada', '26', 'desember', '2004', '.'], ['bung', 'karno', 'meninggal', 'pada', '21', 'juni', '1970', '.'], ['jakarta', 'ditetapkan', 'sebagai', 'ibu', 'kota', 'negara', 'pada', 'tahun', '1961', '.'], ['pada', '1955', ',', 'indonesia', 'menjadi', 'tuan', 'rumah', 'konferensi', 'asia-afrika', '.'], ['pemerintah', 'mengumumkan', 'kebijakan', 'psbb', 'pada', 'april', '2020', 'di', 'jakarta', '.'], ['undang-undang', 'dasar', '1945', 'disahkan', 'pada', 'tanggal', '18', 'agustus', '1945', '.']]\n", "new [['keberagaman', 'potensi', 'sumber', 'daya', 'alam', 'indonesia', 'tidak', 'lepas', 'dari', 'proses', 'geografis', 'yang', 'terjadi', '.'], ['bagaimana', 'proses', 'geografis', 'di', 'indonesia', '?'], ['bagaimana', 'pengaruh', 'proses', 'geografis', 'bagi', 'keragaman', 'alam', 'dan', 'keragaman', 'sosial', 'masyarakat', 'indonesia', '?'], ['bagaimana', 'mengoptimalkan', 'peranan', 'sumber', 'daya', 'manusia', 'dalam', 'mengelola', 'sumber', 'daya', 'alam', 'indonesia', '?'], ['apakah', 'sumber', 'daya', 'manusia', 'di', 'indonesia', 'sudah', 'memenuhi', 'syarat', 'untuk', 'mengolah', 'pariwisata', 'yang', 'dimilikinya', '?'], ['bagaimana', 'lembaga', 'sosial', 'yang', 'akan', 'mewadahi', 'untuk', 'mengolah', 'sumber', 'daya', 'alam', 'dan', 'sumber', 'daya', 'manusianya', '?'], ['kalian', 'juga', 'perlu', 'memahami', ',', 'bahwa', 'keragaman', 'sosial', 'dan', 'budaya', 'telah', 'menarik', 'kedatangan', 'bangsa-bangsa', 'asing', 'sejak', 'ribuan', 'tahun', 'yang', 'lalu', '.'], ['perkembangan', 'hindu-buddha', 'di', 'indonesia', 'tidak', 'lepas', 'dari', 'perkembangan', 'perdagangan', 'dan', 'pelayaran', 'pada', 'awal', 'abad', 'masehi', '.'], ['bangsa', 'indonesia', 'patut', 'bersyukur', 'karena', 'proses', 'geografis', 'dan', 'keragaman', 'alam', 'yang', 'dimiliki', '.'], ['indonesia', 'merupakan', 'negara', 'terluas', 'di', 'asia', 'tenggara', '.'], ['luas', 'daratan', 'indonesia', 'sebesar', '1.910.932,37', 'km2', '.'], ['dan', 'lautan', 'indonesia', 'mencapai', '5,8', 'juta', 'km2', '.'], ['letak', 'indonesia', 'sangat', 'menguntungkan', 'bagi', 'kehidupan', 'masyarakat', '.'], ['selain', 'memiliki', 'letak', 'geografis', 'yang', 'sangat', 'menguntungkan', ',', 'indonesia', 'juga', 'memiliki', 'letak', 'geologis', ',', 'iklim', ',', 'dan', 'cuaca', 'yang', 'sangat', 'menguntungkan', '.'], ['kalian', 'tentu', 'sering', 'membincangkan', 'tentang', 'musim', 'dan', 'hubungannya', 'dengan', 'aktivitas', 'sehari-hari', '.'], ['masyarakat', 'memiliki', 'kebiasaan', 'di', 'musim', 'hujan', 'dan', 'musim', 'kemarau', 'baik', 'berhubungan', 'dengan', 'mata', 'pencaharian', 'dan', 'kesenangan', '(', 'hobi', ')', '.'], ['kalian', 'juga', 'sering', 'memperhatikan', 'prakiraan', 'cuaca', 'untuk', 'merancang', 'kegiatan', 'harian', '.'], ['cuaca', 'dan', 'iklim', 'inilah', 'bagian', 'penting', 'yang', 'memengaruhi', 'aktivitas', 'masyarakat', 'indonesia', '.'], ['cuaca', 'adalah', 'kondisi', 'rata-rata', 'udara', 'pada', 'saat', 'tertentu', 'di', 'suatu', 'wilayah', 'yang', 'relatif', 'sempit', 'dan', 'dalam', 'waktu', 'yang', 'singkat', '.'], ['iklim', 'merupakan', 'kondisi', 'cuaca', 'rata-rata', 'tahunan', 'pada', 'suatu', 'wilayah', 'yang', 'luas', '.'], ['indonesia', 'memiliki', 'iklim', 'tropis', 'yang', 'memiliki', 'dua', 'musim', 'yaitu', 'musim', 'hujan', 'dan', 'musim', 'kemarau', '.'], ['musim', 'hujan', 'terjadi', 'pada', 'bulan', 'oktober', '-', 'maret', ',', 'sedangkan', 'musim', 'kemarau', 'terjadi', 'pada', 'bulan', 'april', '-', 'september', '.'], ['semakin', 'ke', 'timur', 'curah', 'hujan', 'semakin', 'sedikit', '.'], ['hal', 'ini', 'karena', 'hujan', 'telah', 'banyak', 'jatuh', 'dan', 'menguap', 'di', 'bagian', 'barat', '.'], ['keadaan', 'iklim', 'dapat', 'diamati', 'dengan', 'memperhatikan', 'unsur-unsur', 'cuaca', 'dan', 'iklim', '.'], ['unsur-unsur', 'tersebut', 'antara', 'lain', ',', 'penyinaran', 'matahari', ',', 'suhu', 'udara', ',', 'kelembaban', 'udara', ',', 'angin', ',', 'dan', 'hujan', '.'], ['tanaman', 'tropis', 'memiliki', 'banyak', 'varietas', 'yang', 'kaya', 'akan', 'hidrat', 'arang', 'terutama', 'tanaman', 'bahan', 'makanan', 'pokok', '.'], ['berikut', 'pengaruh', 'unsur-unsur', 'iklim', 'terhadap', 'tanaman'], ['penyinaran', 'matahari', 'memengaruhi', 'fotosintesis', 'tanaman', ',', 'dapat', 'meningkatkan', 'suhu', 'udara', '.'], ['suhu', 'mengurangi', 'kadar', 'air', 'sehingga', 'cenderung', 'menjadi', 'kering', '.'], ['kelembaban', 'membatasi', 'hilangnya', 'air', '.'], ['angin', 'membantu', 'proses', 'penyerbukan', 'secara', 'alami', ',', 'mengurangi', 'kadar', 'air', '.'], ['hujan', 'meningkatkan', 'kadar', 'air', ',', 'mengikis', 'tanah', '.'], ['kalian', 'menemukan', 'berbagai', 'perbedaan', 'sosial', 'budaya', 'masyarakat', 'di', 'sekitar', 'tempat', 'tinggalmu', '.'], ['apabila', 'kalian', 'tinggal', 'di', 'perkotaan', ',', 'perbedaan', 'sosial', 'budaya', 'akan', 'semakin', 'banyak', '.'], ['perbedaan', 'sosial', 'budaya', 'meliputi', 'perbedaan', 'nilai-nilai', ',', 'norma', ',', 'dan', 'karakteristik', 'dari', 'suatu', 'kelompok', '.'], ['keragaman', 'sosial', 'budaya', 'di', 'masyarakat', 'dapat', 'terjadi', 'saat', 'berbagai', 'jenis', 'suku', 'dan', 'agama', 'yang', 'ada', 'di', 'suatu', 'ruang', 'bertemu', 'dan', 'berinteraksi', 'setiap', 'harinya', '.'], ['ruang', 'tersebut', 'adalah', 'ruang', 'yang', 'ada', 'pada', 'masyarakat', '.'], ['budaya', 'dapat', 'berupa', 'cara', 'hidup', 'masyarakat', ',', 'cara', 'berpakaian', ',', 'adat', 'istiadat', ',', 'jenis', 'mata', 'pecaharian', ',', 'dan', 'tata', 'upacara', 'keagamaan', '.'], ['keragaman', 'budaya', 'juga', 'mencakup', 'barang-barang', 'yang', 'dihasilkan', 'oleh', 'masyarakat', ',', 'seperti', 'senjata', ',', 'alat', 'bajak', 'sawah', ',', 'kitab', 'hukum', 'adat', ',', 'dan', 'tempat', 'tinggal', '.'], ['budaya', 'dapat', 'dianggap', 'sebagai', 'serangkaian', 'rancangan', 'untuk', 'bertahan', 'hidup', 'atau', 'alat', 'dari', 'praktik', ',', 'pengetahuan', ',', 'dan', 'simbol', 'yang', 'diperoleh', 'melalui', 'pembelajaran', ',', 'bukan', 'oleh', 'naluri', ',', 'yang', 'memungkinkan', 'orang', 'untuk', 'hidup', 'dalam', 'masyarakat', '.'], ['masyarakat', 'terdiri', 'dari', 'orang-orang', 'yang', 'berinteraksi', 'dan', 'berbagi', 'budaya', 'yang', 'sama', '.'], ['perbedaan', 'budaya', 'dapat', 'disebabkan', 'oleh', 'berbagai', 'hal', 'seperti', 'sejarah', ',', 'keturunan', ',', 'keyakinan', ',', 'dan', 'faktor', 'geografis', '.'], ['salah', 'satu', 'penyebab', 'perbedaan', 'budaya', 'adalah', 'faktor', 'geografis', '.'], ['faktor', 'geografis', 'yang', 'memengaruhi', 'keragaman', 'budaya', 'yang', 'akan', 'dibahas', 'berikut', 'ini'], ['dari', 'teks', 'tersebut', 'dapat', 'kita', 'pelajari', 'bahwa', 'budaya', 'yang', 'ada', 'di', 'masyarakat', 'dapat', 'dipengaruhi', 'oleh', 'lingkungan', 'yang', 'ada', 'di', 'sekitarnya', ','], ['misalnya', 'suku', 'lawu', 'dan', 'suku', 'bugis', 'yang', 'bermata', 'pencaharian', 'sebagai', 'nelayan', 'dengan', 'kapal', 'pinisinya', ','], ['sehingga', 'menjadi', 'sebuah', 'simbol', 'bahwa', 'indonesia', 'merupakan', 'negara', 'maritim', 'yang', 'kuat', 'dan', 'disegani', 'di', 'lautan', '.'], ['keragaman', 'budaya', 'dipengaruhi', 'oleh', 'lingkungan', 'fisik', '.'], ['manusia', 'sebagai', 'individu', 'adalah', 'kesatuan', 'jiwa', ',', 'raga', 'dan', 'kegiatan', 'atau', 'perilaku', 'pribadi', 'itu', 'sendiri', '.'], ['sebagai', 'individu', ',', 'dalam', 'pribadi', 'manusia', 'terdapat', 'tiga', 'unsur', ',', 'yaitu', 'nafsu', ',', 'semangat', ',', 'dan', 'intelegensi', '.'], ['kombinasi', 'dari', 'unsur', 'tersebut', 'menghasilkan', 'tingkah', 'laku', 'seseorang', 'yang', 'mencerminkan', 'karakter', 'atau', 'budayaanya', '.'], ['kesatuan', 'dari', 'kepribadian-kepribadian', 'seseorang', 'pada', 'suatu', 'daerah', 'yang', 'mempunyai', 'pola', 'yang', 'sama', 'dapat', 'membentuk', 'budaya', 'daerah', 'tersebut', 'yang', 'membedakan', 'dengan', 'tempat', 'lain', '.'], ['indonesia', 'memiliki', 'kebudayaan', 'yang', 'beragam', '.'], ['indonesia', 'memiliki', 'kekayaan', 'yang', 'begitu', 'besar', '.'], ['bukan', 'hanya', 'pemandangan', 'alam', 'budaya', ',', 'jauh', 'di', 'kedalaman', 'tanahnya', 'begitu', 'banyak', 'kandungan', 'mineral', 'berharga', '.'], ['selama', 'puluhan', 'tahun', ',', 'freeport', 'mengelola', 'tambang', 'mineral', 'di', 'tanah', 'papua', ',', 'indonesia', '.'], ['berdasarkan', 'laporan', 'keuangan', 'freeport', 'mcmorran', 'inc', 'periode', '2017', ',', 'freeport', 'indonesia', 'di', 'papua', 'tercatat', 'memiliki', '6', 'tambang', ',', 'yakni', 'grasberg', 'block', 'cave', ',', 'dmlz', ',', 'tambang', 'kucing', 'liar', ',', 'doz', ',', 'big', 'gossan', ',', 'dan', 'grasberg', 'open', 'pit', '.'], ['tambang', 'freeport', 'memiliki', 'beberapa', 'kandungan', 'cadangan', 'mineral', ',', 'yaitu', 'tembaga', ',', 'emas', ',', 'dan', 'perak', '.'], ['sumber', 'daya', 'alam', 'yang', 'terdapat', 'pada', 'pertambangan', 'freeport', 'di', 'atas', 'merupakan', 'salah', 'satu', 'contoh', 'dari', 'berbagai', 'sumber', 'daya', 'yang', 'ada', 'di', 'indonesia', 'yang', 'memiliki', 'beberapa', 'kandungan', 'cadangan', 'mineral', ',', 'seperti', 'tembaga', ',', 'emas', ',', 'dan', 'perak', '.'], ['kemudian', 'apa', 'sih', 'sumber', 'daya', 'alam', 'itu', '?'], ['apakah', 'ada', 'manfaatnya', 'untuk', 'kita', '?'], ['yuk', 'silahkan', 'simak', 'penjelasan', 'di', 'bawah', 'ini', '.'], ['sumber', 'daya', 'alam', 'merupakan', 'segala', 'sesuatu', 'yang', 'ada', 'di', 'permukaan', 'bumi', 'dan', 'dapat', 'dimanfaatkan', 'untuk', 'memenuhi', 'kebutuhan', 'manusia', '.'], ['potensi', 'sumber', 'daya', 'ini', 'mencakup', 'hal', 'yang', 'ada', 'di', 'udara', ',', 'daratan', ',', 'dan', 'perairan', '.'], ['berdasarkan', 'kelestariannya', ',', 'sumber', 'daya', 'alam', 'dapat', 'dibedakan', 'menjadi', 'dua', 'yaitu', 'sumber', 'daya', 'alam', 'yang', 'dapat', 'diperbarui', '(', 'renewable', 'resources', ')', 'dan', 'tidak', 'dapat', 'diperbarui', '(', 'non', 'renewable', 'resource', ')', '.'], ['contoh', 'sumber', 'daya', 'alam', 'yang', 'dapat', 'diperbarui', 'yaitu', 'seperti', 'air', ',', 'tanah', ',', 'dan', 'hutan', '.'], ['sedangkan', 'sumber', 'daya', 'alam', 'yang', 'tidak', 'dapat', 'diperbarui', 'seperti', 'minyak', 'bumi', 'dan', 'batu', 'bara', '.'], ['berikut', 'ini', 'merupakan', 'potensi', 'sumber', 'daya', 'alam', 'di', 'indonesia', 'yang', 'dirinci', 'menjadi', 'tiga', 'yaitu', 'sumber', 'daya', 'alam', 'hutan', ',', 'sumber', 'daya', 'alam', 'tambang', ',', 'dan', 'sumber', 'daya', 'alam', 'kemaritiman', '.'], ['indonesia', 'termasuk', 'negara', 'yang', 'memiliki', 'kekayaan', 'alam', 'yang', 'berlimpah', 'dibandingkan', 'negara-negara', 'yang', 'lain', '.'], ['potensi', 'sumber', 'daya', 'alam', 'indonesia', 'sangat', 'beraneka', 'ragam', '.'], ['bangsa', 'indonesia', 'memiliki', 'modal', 'penting', 'dalam', 'pembangunan', '.'], ['jumlah', 'penduduk', 'indonesia', 'yang', 'lebih', 'dari', '270', 'juta', 'merupakan', 'potensi', 'penting', 'dalam', 'pembangunan', '.'], ['pada', 'tahun', '2016', 'badan', 'pusat', 'statistik', 'mencatat', 'bahwa', 'di', 'indonesia', 'terdapat', 'angkatan', 'kerja', '127,67', 'juta', 'jiwa', '.'], ['di', 'antara', 'negara', 'asean', ',', 'kualitas', 'sdm', 'dan', 'ketenagakerjaan', 'indonesia', 'masih', 'berada', 'di', 'peringkat', 'bawah', '.'], ['kualitas', 'sdm', 'dan', 'ketenagakerjaan', 'indonesia', 'menempati', 'urutan', 'kelima', '.'], ['peringkat', 'ini', 'masih', 'kalah', 'jika', 'dibandingkan', 'singapura', ',', 'brunei', 'darussalam', ',', 'malaysia', ',', 'dan', 'thailand', '.'], ['kualitas', 'sumber', 'daya', 'manusia', 'di', 'indonesia', 'memengaruhi', 'terhadap', 'kemajuan', 'sebuah', 'bangsa', '.'], ['peristiwa', 'itu', 'dilatarbelakangi', 'oleh', 'peristiwa', 'yang', 'jauh', 'dari', 'indonesia', ',', 'misalnya', 'peristiwa', 'jatuhnya', 'konstantinopel', 'di', 'kawasan', 'laut', 'tengah', 'pada', 'tahun', '1453', '.'], ['kehidupan', 'global', 'semakin', 'berkembang', 'dengan', 'maraknya', 'penjelajahan', 'samudera', 'orang-orang', 'eropa', 'ke', 'dunia', 'timur', '.'], ['begitu', 'juga', 'peristiwa', 'kedatangan', 'bangsa', 'eropa', 'ke', 'indonesia', ',', 'telah', 'ikut', 'meningkatkan', 'kehidupan', 'global', '.'], ['pada', 'tahun', '1488', 'karena', 'serangan', 'ombak', 'besar', 'terpaksa', 'bartholomeus', 'diaz', 'mendarat', 'di', 'suatu', 'ujung', 'selatan', 'benua', 'afrika', '.'], ['pada', 'juli', '1497', 'vasco', 'da', 'gama', 'berangkat', 'dari', 'pelabuhan', 'lisabon', 'untuk', 'memulai', 'penjelajahan', 'samudra', '.'], ['berdasarkan', 'pengalaman', 'bartholomeus', 'diaz', 'tersebut', ',', 'vasco', 'da', 'gama', 'juga', 'berlayar', 'mengambil', 'rute', 'yang', 'pernah', 'dilayari', 'bartholomeus', 'diaz', '.'], ['rombongan', 'vasco', 'da', 'gama', 'juga', 'singgah', 'di', 'tanjung', 'harapan', '.'], ['atas', 'petunjuk', 'dari', 'pelaut', 'bangsa', 'moor', 'yang', 'telah', 'disewanya', ',', 'rombongan', 'vasco', 'da', 'gama', 'melanjutkan', 'penjelajahan', ',', 'berlayar', 'menelusuri', 'pantai', 'timur', 'afrika', 'kemudian', 'berbelok', 'ke', 'kanan', 'untuk', 'mengarungi', 'lautan', 'hindia', '(', 'samudra', 'indonesia', ')', '.'], ['pada', 'tahun', '1498', 'rombongan', 'vasco', 'da', 'gama', 'mendarat', 'sampai', 'di', 'kalikut', 'dan', 'juga', 'goa', 'di', 'pantai', 'barat', 'india', '.'], ['pada', 'tahun', '1511', 'armada', 'portugis', 'berhasil', 'menguasai', 'malaka', '.'], ['proklamasi', 'kemerdekaan', 'indonesia', 'terjadi', 'pada', '17', 'agustus', '1945', '.'], ['barack', 'obama', 'lahir', 'pada', '4', 'agustus', '1961', 'di', 'hawaii', '.'], ['reformasi', 'indonesia', 'dimulai', 'tahun', '1998', 'setelah', 'soeharto', 'mundur', '.'], ['perang', 'dunia', 'ii', 'berakhir', 'pada', '2', 'september', '1945', '.'], ['indonesia', 'menjadi', 'anggota', 'pbb', 'sejak', '28', 'september', '1950', '.'], ['banjir', 'bandang', 'terjadi', 'pada', '5', 'januari', '2021', 'di', 'bandung', '.'], ['hari', 'pahlawan', 'diperingati', 'setiap', '10', 'november', '.'], ['pada', 'tahun', '1511', 'portugis', 'menguasai', 'malaka', '.'], ['konferensi', 'asia-afrika', 'diselenggarakan', 'tahun', '1955', 'di', 'bandung', '.'], ['musim', 'kemarau', 'diperkirakan', 'mulai', 'april', '2025', '.'], ['rapat', 'dimulai', 'pukul', '09.00', 'pagi', '.'], ['kereta', 'akan', 'tiba', 'sekitar', 'jam', '3', 'sore', '.'], ['pertandingan', 'akan', 'dimulai', 'pada', 'pukul', '19.30', '.'], ['matahari', 'terbit', 'sekitar', '05.45', 'pagi', 'di', 'jakarta', '.'], ['makan', 'siang', 'biasanya', 'dilakukan', 'sekitar', 'jam', '12', 'siang', '.'], ['penerbangan', 'dijadwalkan', 'lepas', 'landas', 'pukul', '23.15', '.'], ['film', 'tayang', 'mulai', 'jam', '8', 'malam', 'nanti', '.'], ['pesawat', 'mendarat', 'tepat', 'pada', '00.30', 'dinihari', '.'], ['siaran', 'langsung', 'dimulai', 'pukul', '18.00', '.'], ['jam', 'kerja', 'dimulai', 'pukul', '08.00', 'dan', 'berakhir', 'pukul', '17.00', '.'], ['alarm', 'berbunyi', 'pada', 'pukul', '06.00', 'pagi', '.'], ['saya', 'bangun', 'sekitar', 'jam', '5', 'pagi', 'setiap', 'hari', '.'], ['konser', 'dimulai', 'sekitar', '20.00', 'malam', 'di', 'stadion', '.'], ['wawancara', 'dijadwalkan', 'pada', 'jam', '11', 'pagi', '.'], ['kami', 'tiba', 'di', 'bandara', 'sekitar', 'jam', '2', 'dinihari', '.'], ['dia', 'mengajar', 'kelas', 'pada', 'pukul', '13.00', '.'], ['peserta', 'diminta', 'hadir', 'sebelum', 'jam', '7', 'pagi', '.'], ['televisi', 'menayangkan', 'berita', 'malam', 'pada', '22.00', '.'], ['kami', 'akan', 'bertemu', 'jam', '10', 'malam', 'di', 'kafe', '.'], ['toko', 'buka', 'hingga', 'pukul', '21.00', '.'], ['dia', 'biasanya', 'berolahraga', 'pada', 'pagi', 'hari', '.'], ['kami', 'bertemu', 'lagi', 'pada', 'malam', 'hari', 'itu', '.'], ['upacara', 'dilaksanakan', 'pada', 'sore', 'hari', 'di', 'lapangan', '.'], ['ia', 'pulang', 'setiap', 'malam', 'sekitar', 'jam', '9', '.'], ['kami', 'berangkat', 'di', 'pagi', 'hari', 'menggunakan', 'mobil', '.'], ['acara', 'berlangsung', 'hingga', 'malam', 'hari', '.'], ['kami', 'tiba', 'di', 'bandara', 'pada', 'dinihari', '.'], ['pintu', 'gerbang', 'dibuka', 'setiap', 'pagi', '.'], ['ia', 'selalu', 'belajar', 'di', 'malam', '.'], ['waktu', 'bermain', 'dimulai', 'sore', 'hari', '.'], ['pelajaran', 'kedua', 'dimulai', 'sekitar', 'jam', 'tujuh', 'lebih', 'sepuluh', 'menit', '.'], ['bus', 'berangkat', 'kurang', 'lebih', 'jam', 'delapan', 'malam', '.'], ['pertemuan', 'terakhir', 'dilaksanakan', 'sebelum', 'matahari', 'terbenam', '.'], ['kereta', 'berangkat', 'sekitar', 'tengah', 'malam', 'dari', 'stasiun', 'gambir', '.'], ['jadwal', 'sholat', 'dimulai', 'pukul', 'empat', 'lebih', 'lima', 'menit', '.'], ['pemadaman', 'listrik', 'akan', 'dimulai', 'menjelang', 'malam', '.'], ['layanan', 'pelanggan', 'dibuka', 'setiap', 'hari', 'kerja', 'jam', 'sembilan', '.'], ['ia', 'terjaga', 'di', 'tengah', 'malam', 'karena', 'petir', '.'], ['kelas', 'selesai', 'sekitar', 'jam', 'dua', 'kurang', 'seperempat', '.'], ['waktu', 'sarapan', 'dimulai', 'pukul', '6.30', 'hingga', '7.30', '.'], ['proklamasi', 'kemerdekaan', 'terjadi', 'pada', '17', 'agustus', '1945', '.'], ['indonesia', 'merdeka', 'pada', 'tahun', '1945', '.'], ['pemilu', 'diadakan', 'pada', '14', 'februari', '2024', '.'], ['tanggal', '1', 'januari', '2023', 'merupakan', 'hari', 'libur', '.'], ['barack', 'obama', 'lahir', 'pada', '4', 'agustus', '1961', '.'], ['hari', 'bumi', 'diperingati', 'setiap', '22', 'april', '.'], ['musim', 'kemarau', 'terjadi', 'antara', 'bulan', 'april', 'hingga', 'oktober', '.'], ['reformasi', '1998', 'mengubah', 'sistem', 'politik', 'indonesia', '.'], ['konferensi', 'asia-afrika', 'digelar', 'pada', 'tahun', '1955', 'di', 'bandung', '.'], ['perang', 'dunia', 'kedua', 'berakhir', 'tahun', '1945', '.'], ['sumpah', 'pemuda', 'diperingati', 'setiap', '28', 'oktober', '.'], ['habibie', 'dilantik', 'menjadi', 'presiden', 'pada', '21', 'mei', '1998', '.'], ['hari', 'kemerdekaan', 'indonesia', 'dirayakan', 'setiap', '17', 'agustus', '.'], ['pada', 'tahun', '1949', ',', 'belanda', 'mengakui', 'kemerdekaan', 'indonesia', '.'], ['tsunami', 'aceh', 'terjadi', 'pada', '26', 'desember', '2004', '.'], ['bung', 'karno', 'meninggal', 'pada', '21', 'juni', '1970', '.'], ['jakarta', 'ditetapkan', 'sebagai', 'ibu', 'kota', 'negara', 'pada', 'tahun', '1961', '.'], ['pada', '1955', ',', 'indonesia', 'menjadi', 'tuan', 'rumah', 'konferensi', 'asia-afrika', '.'], ['pemerintah', 'mengumumkan', 'kebijakan', 'psbb', 'pada', 'april', '2020', 'di', 'jakarta', '.'], ['undang-undang', 'dasar', '1945', 'disahkan', 'pada', 'tanggal', '18', 'agustus', '1945', '.']] \n", " 158\n" ] } ], "source": [ "# text preprocessing\n", "stop_words = set(stopwords.words(\"indonesian\")) \n", "factory = StemmerFactory()\n", "stemmer = factory.create_stemmer()\n", "\n", "with open(\"../normalize_text/normalize.json\", \"r\", encoding=\"utf-8\") as file:\n", " normalization_dict = json.load(file)\n", " \n", "def text_preprocessing(text):\n", " \n", " # if(text == \"?\" or text == \".\" or text == \"!\"): return text\n", " # lowercase\n", " text = text.lower()\n", " \n", " # remove punctuation\n", " # text = text.translate(str.maketrans(\"\", \"\", string.punctuation))\n", " \n", " # remove extra spaces\n", " text = re.sub(r\"\\s+\", \" \", text).strip()\n", " \n", " # tokenize\n", " # tokens = word_tokenize(text)\n", " \n", " # normalization\n", " # tokens = normalization_dict.get(text, text) \n", " \n", " \n", " # stemming\n", " # tokens = stemmer.stem(tokens)\n", " \n", " \n", " # remove stopwords\n", " # tokens = [word for word in tokens if word not in stop_words]\n", " \n", " # print(f\"Original: {text}\")\n", " # print(f\"Normalized: {tokens}\")\n", " \n", " return text\n", "\n", "# sentences = [text_preprocessing(\" \".join(sentence)) for sentence in sentences]\n", "print(\"old\", sentences)\n", "preprocessing_sentences = []\n", "\n", "for text in sentences:\n", " result = []\n", " for i in range(len(text)):\n", " text[i] = text_preprocessing(text[i])\n", " result.append(text[i])\n", " preprocessing_sentences.append(result)\n", "\n", "print(\"new\", preprocessing_sentences, \"\\n\", len(preprocessing_sentences))\n", "\n", " " ] }, { "cell_type": "code", "execution_count": 5, "id": "e9653d99", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "['kebutuhan', 'kalian', 'lapangan', '2', 'upacara', 'membentuk', 'sangat', 'fotosintesis', 'tsunami', 'perdagangan', 'resources', 'adalah', 'tayang', 'gossan', 'sore', 'antara', 'selalu', 'mengubah', 'kepribadian-kepribadian', 'vasco', 'kesenangan', 'alat', 'global', 'bagi', 'jika', 'sebuah', 'toko', 'mata', 'berpakaian', 'berada', 'ini', 'pelanggan', 'tiga', 'berangkat', 'ruang', 'sesuatu', 'empat', 'kuat', 'juta', 'tropis', 'ragam', 'daerah', 'perilaku', 'unsur', 'di', 'reformasi', 'berhubungan', 'presiden', 'modal', 'pengetahuan', 'silahkan', 'kualitas', 'dilaksanakan', 'alarm', 'februari', 'sumpah', 'membincangkan', 'besar', '10', 'kafe', 'digelar', 'kehidupan', 'kelas', '06.00', 'thailand', 'delapan', 'tersebut', 'belajar', 'merdeka', 'hukum', 'proklamasi', 'hujan', 'harian', 'asia', '22.00', 'angkatan', 'disahkan', 'kalikut', 'berita', 'simak', 'yaitu', 'dua', 'banjir', 'suhu', 'lalu', 'satu', 'konstantinopel', 'lain', 'papua', 'pernah', 'belanda', 'dasar', 'tepat', 'hari', 'seperempat', 'menit', 'memperhatikan', 'maret', 'jenis', 'dibuka', 'penting', 'berbagai', 'stadion', 'asing', 'freeport', 'iklim', 'perbedaan', '1945', 'seseorang', 'bertemu', 'karakteristik', 'kebudayaan', 'juga', 'berlayar', 'selesai', '26', 'lautan', 'manusianya', 'kegiatan', 'memenuhi', 'laku', '7.30', 'kawasan', 'tengah', 'minyak', 'bermata', 'alam', 'bangsa', 'pertambangan', '00.30', 'pagi', 'merancang', 'menempati', 'rata-rata', 'karno', 'keyakinan', 'politik', 'kemaritiman', 'samudera', 'ujung', 'kucing', 'meningkatkan', 'tambang', '28', 'jatuhnya', 'sdm', 'india', '20.00', 'kedalaman', 'sempit', '05.45', 'ditetapkan', 'barat', 'beraneka', 'malam', 'laporan', 'cave', 'sebagai', '2024', 'peringkat', 'kebijakan', 'telah', 'bangun', '1453', 'kedua', 'terbenam', 'pemerintah', 'menjadi', 'penyinaran', 'pelabuhan', 'dibedakan', 'ke', 'potensi', 'perang', 'terjaga', 'benua', 'gambir', 'mengakui', 'menguntungkan', 'nilai-nilai', 'berkembang', 'tertentu', 'selama', '6', 'mengambil', 'serangan', 'kelestariannya', 'kemerdekaan', 'tenggara', 'sejarah', 'bangsa-bangsa', 'negara-negara', 'hilangnya', 'musim', 'bawah', 'tahunan', 'kelima', 'hindia', 'puluhan', 'diperingati', 'apabila', '1950', 'penerbangan', 'penyerbukan', 'perkembangan', 'beragam', 'ikut', 'keadaan', '17.00', 'dianggap', 'geologis', 'rapat', 'hanya', 'kandungan', 'tingkah', 'asean', 'sawah', 'seperti', 'sendiri', '7', 'akan', 'resource', 'kering', 'asia-afrika', 'pertandingan', 'buka', 'terbit', 'lingkungan', 'dirayakan', 'bus', 'cuaca', 'gerbang', 'lepas', 'ibu', 'moor', 'statistik', '1.910.932,37', 'hindu-buddha', 'istiadat', 'bumi', 'memungkinkan', '2016', 'ia', '19.30', '1497', 'sepuluh', 'pusat', 'hidup', 'tempat', 'permukaan', 'kami', 'pertemuan', 'dijadwalkan', 'teks', '9', 'patut', 'diperbarui', 'konser', 'peristiwa', 'dalam', '2020', 'sih', 'menggunakan', 'konferensi', 'aktivitas', 'penyebab', '127,67', 'da', 'apakah', 'memiliki', 'naluri', 'hutan', 'relatif', 'maritim', 'bandung', 'serangkaian', 'memulai', 'pelayaran', 'orang-orang', 'sekitarnya', 'saya', 'bandang', 'km2', 'terpaksa', 'jadwal', 'sebesar', 'karakter', 'singgah', 'intelegensi', 'contoh', 'simbol', 'kanan', 'ketenagakerjaan', '18.00', '1', 'pecaharian', 'dinihari', 'petir', 'televisi', 'mendarat', 'cadangan', 'keuangan', 'pencaharian', 'kitab', 'bersyukur', 'november', '6.30', 'bermain', '1970', ')', 'meliputi', 'semakin', 'darussalam', 'dan', 'bahwa', 'cara', 'budayaanya', 'tidak', 'oleh', 'tanaman', 'liar', 'landas', 'bugis', 'grasberg', '21', 'fisik', 'keberagaman', 'pengaruh', 'hingga', 'terdiri', 'misalnya', 'pemuda', 'sembilan', 'disewanya', 'pribadi', 'perlu', '2025', 'masehi', 'menayangkan', '21.00', 'arang', '2023', 'berbelok', '08.00', 'pahlawan', 'terdapat', 'tahun', 'adat', 'barang-barang', 'malaka', 'desember', 'mengajar', 'renewable', 'laut', 'segala', 'meninggal', 'eropa', 'gama', 'rancangan', 'perkotaan', 'kondisi', 'juni', 'pantai', 'biasanya', 'dirinci', 'jam', 'hal', 'membantu', 'melalui', 'masih', 'soeharto', 'portugis', 'agustus', 'berikut', '1511', 'peranan', 'singapura', 'rombongan', 'sumber', 'bukan', 'lima', 'bajak', 'atau', 'makan', 'peserta', 'setiap', 'indonesia', 'kedatangan', 'mencakup', 'emas', 'dimanfaatkan', 'penduduk', 'juli', 'mengarungi', 'bulan', 'jatuh', 'pukul', 'mobil', '1488', 'badan', '1955', 'kekayaan', 'mengoptimalkan', 'letak', 'block', 'terhadap', 'varietas', 'penjelajahan', 'secara', 'urutan', '23.15', 'sebelum', 'batu', 'membedakan', 'langsung', 'perairan', 'inc', 'bagian', 'kesatuan', 'lebih', 'pengalaman', 'setelah', 'suatu', 'lagi', 'libur', 'praktik', 'september', 'merupakan', 'kemudian', 'termasuk', 'memengaruhi', 'melanjutkan', 'dihasilkan', 'tinggal', 'sejak', 'membatasi', 'stasiun', 'alami', 'bung', 'pesawat', 'menelusuri', 'barack', 'makanan', '3', 'jauh', 'orang', 'diamati', 'kebiasaan', 'manusia', 'kapal', 'manfaatnya', 'diselenggarakan', 'semangat', '-', 'mcmorran', 'proses', 'faktor', 'udara', 'hawaii', 'ii', 'pembelajaran', 'acara', 'tanahnya', '12', 'tanjung', 'tujuh', 'untuk', 'dilatarbelakangi', 'tanggal', 'rumah', 'hobi', 'wilayah', 'berdasarkan', 'memahami', 'sedangkan', '5,8', '14', 'mei', 'dengan', 'itu', 'beberapa', 'pinisinya', 'menemukan', 'hidrat', 'april', 'tuan', 'daratan', '2017', '17', 'dia', 'armada', 'angin', 'kombinasi', 'diadakan', '13.00', 'budaya', 'prakiraan', 'kadar', 'siang', 'berbunyi', 'dilayari', 'sehingga', 'penjelasan', '?', 'harapan', 'suku', 'unsur-unsur', 'pbb', 'diperoleh', 'doz', 'pit', 'bagaimana', '.', 'nafsu', 'kelompok', '22', 'perak', 'berolahraga', 'pokok', 'aceh', '1498', 'mengolah', 'bandara', 'berlangsung', '5', 'nelayan', 'kerja', 'afrika', 'keturunan', '18', 'syarat', 'senjata', 'dimilikinya', 'mewadahi', 'mencatat', 'mengelola', 'listrik', 'agama', 'salah', 'jiwa', 'diminta', 'sekitar', 'selatan', 'raga', 'individu', '(', '09.00', 'kaya', 'dimulai', 'dimiliki', 'pelajaran', 'selain', 'kita', 'pemandangan', 'diaz', 'tentang', 'sama', 'sosial', 'lawu', 'mengumumkan', ',', 'bertahan', 'anggota', 'habibie', 'sehari-hari', 'sampai', 'berhasil', 'siaran', 'obama', 'mempunyai', 'dapat', 'berinteraksi', 'rute', 'non', 'dari', 'sering', 'hadir', 'pariwisata', 'bara', 'kemarau', 'brunei', 'film', '2021', 'samudra', 'terutama', 'big', '11', 'mineral', 'bahan', 'pelajari', 'goa', '8', '1998', 'tentu', 'berbagi', 'jakarta', 'dibandingkan', 'menarik', 'oktober', 'tanah', 'jumlah', 'sudah', 'berupa', 'menjelang', 'pintu', 'berharga', 'apa', 'lembaga', 'periode', 'sedikit', 'yang', 'maraknya', 'dilantik', 'negara', 'begitu', 'petunjuk', 'lisabon', 'mengikis', 'malaysia', 'terjadi', '1961', 'keragaman', 'berakhir', 'kota', 'kurang', 'sholat', 'lahir', 'undang-undang', 'ribuan', 'tinggalmu', 'pada', 'air', 'kemajuan', 'kalah', 'sarapan', 'dibahas', 'daya', 'pelaut', 'tiba', 'dilakukan', '2004', 'pulang', 'yuk', 'dipengaruhi', 'tercatat', 'banyak', 'dunia', 'atas', 'disebabkan', 'kelembaban', 'pembangunan', 'norma', 'inilah', 'baik', 'menguap', 'januari', 'singkat', 'luas', 'curah', 'ada', 'open', 'tembaga', 'mencapai', 'yakni', 'berlimpah', '270', 'masyarakat', 'hubungannya', 'waktu', 'menguasai', 'menghasilkan', 'disegani', 'kereta', 'abad', 'layanan', 'bartholomeus', 'pemilu', 'saat', 'karena', 'geografis', 'matahari', 'wawancara', 'sistem', 'pemadaman', 'harinya', 'psbb', 'awal', 'mundur', 'mengurangi', 'tata', 'diperkirakan', 'nanti', '1949', '4', 'dmlz', 'cenderung', 'mulai', 'mencerminkan', 'terakhir', 'pola', 'keagamaan', 'ombak', 'timur', 'terluas']\n", "{'kebutuhan': 2, 'kalian': 3, 'lapangan': 4, '2': 5, 'upacara': 6, 'membentuk': 7, 'sangat': 8, 'fotosintesis': 9, 'tsunami': 10, 'perdagangan': 11, 'resources': 12, 'adalah': 13, 'tayang': 14, 'gossan': 15, 'sore': 16, 'antara': 17, 'selalu': 18, 'mengubah': 19, 'kepribadian-kepribadian': 20, 'vasco': 21, 'kesenangan': 22, 'alat': 23, 'global': 24, 'bagi': 25, 'jika': 26, 'sebuah': 27, 'toko': 28, 'mata': 29, 'berpakaian': 30, 'berada': 31, 'ini': 32, 'pelanggan': 33, 'tiga': 34, 'berangkat': 35, 'ruang': 36, 'sesuatu': 37, 'empat': 38, 'kuat': 39, 'juta': 40, 'tropis': 41, 'ragam': 42, 'daerah': 43, 'perilaku': 44, 'unsur': 45, 'di': 46, 'reformasi': 47, 'berhubungan': 48, 'presiden': 49, 'modal': 50, 'pengetahuan': 51, 'silahkan': 52, 'kualitas': 53, 'dilaksanakan': 54, 'alarm': 55, 'februari': 56, 'sumpah': 57, 'membincangkan': 58, 'besar': 59, '10': 60, 'kafe': 61, 'digelar': 62, 'kehidupan': 63, 'kelas': 64, '06.00': 65, 'thailand': 66, 'delapan': 67, 'tersebut': 68, 'belajar': 69, 'merdeka': 70, 'hukum': 71, 'proklamasi': 72, 'hujan': 73, 'harian': 74, 'asia': 75, '22.00': 76, 'angkatan': 77, 'disahkan': 78, 'kalikut': 79, 'berita': 80, 'simak': 81, 'yaitu': 82, 'dua': 83, 'banjir': 84, 'suhu': 85, 'lalu': 86, 'satu': 87, 'konstantinopel': 88, 'lain': 89, 'papua': 90, 'pernah': 91, 'belanda': 92, 'dasar': 93, 'tepat': 94, 'hari': 95, 'seperempat': 96, 'menit': 97, 'memperhatikan': 98, 'maret': 99, 'jenis': 100, 'dibuka': 101, 'penting': 102, 'berbagai': 103, 'stadion': 104, 'asing': 105, 'freeport': 106, 'iklim': 107, 'perbedaan': 108, '1945': 109, 'seseorang': 110, 'bertemu': 111, 'karakteristik': 112, 'kebudayaan': 113, 'juga': 114, 'berlayar': 115, 'selesai': 116, '26': 117, 'lautan': 118, 'manusianya': 119, 'kegiatan': 120, 'memenuhi': 121, 'laku': 122, '7.30': 123, 'kawasan': 124, 'tengah': 125, 'minyak': 126, 'bermata': 127, 'alam': 128, 'bangsa': 129, 'pertambangan': 130, '00.30': 131, 'pagi': 132, 'merancang': 133, 'menempati': 134, 'rata-rata': 135, 'karno': 136, 'keyakinan': 137, 'politik': 138, 'kemaritiman': 139, 'samudera': 140, 'ujung': 141, 'kucing': 142, 'meningkatkan': 143, 'tambang': 144, '28': 145, 'jatuhnya': 146, 'sdm': 147, 'india': 148, '20.00': 149, 'kedalaman': 150, 'sempit': 151, '05.45': 152, 'ditetapkan': 153, 'barat': 154, 'beraneka': 155, 'malam': 156, 'laporan': 157, 'cave': 158, 'sebagai': 159, '2024': 160, 'peringkat': 161, 'kebijakan': 162, 'telah': 163, 'bangun': 164, '1453': 165, 'kedua': 166, 'terbenam': 167, 'pemerintah': 168, 'menjadi': 169, 'penyinaran': 170, 'pelabuhan': 171, 'dibedakan': 172, 'ke': 173, 'potensi': 174, 'perang': 175, 'terjaga': 176, 'benua': 177, 'gambir': 178, 'mengakui': 179, 'menguntungkan': 180, 'nilai-nilai': 181, 'berkembang': 182, 'tertentu': 183, 'selama': 184, '6': 185, 'mengambil': 186, 'serangan': 187, 'kelestariannya': 188, 'kemerdekaan': 189, 'tenggara': 190, 'sejarah': 191, 'bangsa-bangsa': 192, 'negara-negara': 193, 'hilangnya': 194, 'musim': 195, 'bawah': 196, 'tahunan': 197, 'kelima': 198, 'hindia': 199, 'puluhan': 200, 'diperingati': 201, 'apabila': 202, '1950': 203, 'penerbangan': 204, 'penyerbukan': 205, 'perkembangan': 206, 'beragam': 207, 'ikut': 208, 'keadaan': 209, '17.00': 210, 'dianggap': 211, 'geologis': 212, 'rapat': 213, 'hanya': 214, 'kandungan': 215, 'tingkah': 216, 'asean': 217, 'sawah': 218, 'seperti': 219, 'sendiri': 220, '7': 221, 'akan': 222, 'resource': 223, 'kering': 224, 'asia-afrika': 225, 'pertandingan': 226, 'buka': 227, 'terbit': 228, 'lingkungan': 229, 'dirayakan': 230, 'bus': 231, 'cuaca': 232, 'gerbang': 233, 'lepas': 234, 'ibu': 235, 'moor': 236, 'statistik': 237, '1.910.932,37': 238, 'hindu-buddha': 239, 'istiadat': 240, 'bumi': 241, 'memungkinkan': 242, '2016': 243, 'ia': 244, '19.30': 245, '1497': 246, 'sepuluh': 247, 'pusat': 248, 'hidup': 249, 'tempat': 250, 'permukaan': 251, 'kami': 252, 'pertemuan': 253, 'dijadwalkan': 254, 'teks': 255, '9': 256, 'patut': 257, 'diperbarui': 258, 'konser': 259, 'peristiwa': 260, 'dalam': 261, '2020': 262, 'sih': 263, 'menggunakan': 264, 'konferensi': 265, 'aktivitas': 266, 'penyebab': 267, '127,67': 268, 'da': 269, 'apakah': 270, 'memiliki': 271, 'naluri': 272, 'hutan': 273, 'relatif': 274, 'maritim': 275, 'bandung': 276, 'serangkaian': 277, 'memulai': 278, 'pelayaran': 279, 'orang-orang': 280, 'sekitarnya': 281, 'saya': 282, 'bandang': 283, 'km2': 284, 'terpaksa': 285, 'jadwal': 286, 'sebesar': 287, 'karakter': 288, 'singgah': 289, 'intelegensi': 290, 'contoh': 291, 'simbol': 292, 'kanan': 293, 'ketenagakerjaan': 294, '18.00': 295, '1': 296, 'pecaharian': 297, 'dinihari': 298, 'petir': 299, 'televisi': 300, 'mendarat': 301, 'cadangan': 302, 'keuangan': 303, 'pencaharian': 304, 'kitab': 305, 'bersyukur': 306, 'november': 307, '6.30': 308, 'bermain': 309, '1970': 310, ')': 311, 'meliputi': 312, 'semakin': 313, 'darussalam': 314, 'dan': 315, 'bahwa': 316, 'cara': 317, 'budayaanya': 318, 'tidak': 319, 'oleh': 320, 'tanaman': 321, 'liar': 322, 'landas': 323, 'bugis': 324, 'grasberg': 325, '21': 326, 'fisik': 327, 'keberagaman': 328, 'pengaruh': 329, 'hingga': 330, 'terdiri': 331, 'misalnya': 332, 'pemuda': 333, 'sembilan': 334, 'disewanya': 335, 'pribadi': 336, 'perlu': 337, '2025': 338, 'masehi': 339, 'menayangkan': 340, '21.00': 341, 'arang': 342, '2023': 343, 'berbelok': 344, '08.00': 345, 'pahlawan': 346, 'terdapat': 347, 'tahun': 348, 'adat': 349, 'barang-barang': 350, 'malaka': 351, 'desember': 352, 'mengajar': 353, 'renewable': 354, 'laut': 355, 'segala': 356, 'meninggal': 357, 'eropa': 358, 'gama': 359, 'rancangan': 360, 'perkotaan': 361, 'kondisi': 362, 'juni': 363, 'pantai': 364, 'biasanya': 365, 'dirinci': 366, 'jam': 367, 'hal': 368, 'membantu': 369, 'melalui': 370, 'masih': 371, 'soeharto': 372, 'portugis': 373, 'agustus': 374, 'berikut': 375, '1511': 376, 'peranan': 377, 'singapura': 378, 'rombongan': 379, 'sumber': 380, 'bukan': 381, 'lima': 382, 'bajak': 383, 'atau': 384, 'makan': 385, 'peserta': 386, 'setiap': 387, 'indonesia': 388, 'kedatangan': 389, 'mencakup': 390, 'emas': 391, 'dimanfaatkan': 392, 'penduduk': 393, 'juli': 394, 'mengarungi': 395, 'bulan': 396, 'jatuh': 397, 'pukul': 398, 'mobil': 399, '1488': 400, 'badan': 401, '1955': 402, 'kekayaan': 403, 'mengoptimalkan': 404, 'letak': 405, 'block': 406, 'terhadap': 407, 'varietas': 408, 'penjelajahan': 409, 'secara': 410, 'urutan': 411, '23.15': 412, 'sebelum': 413, 'batu': 414, 'membedakan': 415, 'langsung': 416, 'perairan': 417, 'inc': 418, 'bagian': 419, 'kesatuan': 420, 'lebih': 421, 'pengalaman': 422, 'setelah': 423, 'suatu': 424, 'lagi': 425, 'libur': 426, 'praktik': 427, 'september': 428, 'merupakan': 429, 'kemudian': 430, 'termasuk': 431, 'memengaruhi': 432, 'melanjutkan': 433, 'dihasilkan': 434, 'tinggal': 435, 'sejak': 436, 'membatasi': 437, 'stasiun': 438, 'alami': 439, 'bung': 440, 'pesawat': 441, 'menelusuri': 442, 'barack': 443, 'makanan': 444, '3': 445, 'jauh': 446, 'orang': 447, 'diamati': 448, 'kebiasaan': 449, 'manusia': 450, 'kapal': 451, 'manfaatnya': 452, 'diselenggarakan': 453, 'semangat': 454, '-': 455, 'mcmorran': 456, 'proses': 457, 'faktor': 458, 'udara': 459, 'hawaii': 460, 'ii': 461, 'pembelajaran': 462, 'acara': 463, 'tanahnya': 464, '12': 465, 'tanjung': 466, 'tujuh': 467, 'untuk': 468, 'dilatarbelakangi': 469, 'tanggal': 470, 'rumah': 471, 'hobi': 472, 'wilayah': 473, 'berdasarkan': 474, 'memahami': 475, 'sedangkan': 476, '5,8': 477, '14': 478, 'mei': 479, 'dengan': 480, 'itu': 481, 'beberapa': 482, 'pinisinya': 483, 'menemukan': 484, 'hidrat': 485, 'april': 486, 'tuan': 487, 'daratan': 488, '2017': 489, '17': 490, 'dia': 491, 'armada': 492, 'angin': 493, 'kombinasi': 494, 'diadakan': 495, '13.00': 496, 'budaya': 497, 'prakiraan': 498, 'kadar': 499, 'siang': 500, 'berbunyi': 501, 'dilayari': 502, 'sehingga': 503, 'penjelasan': 504, '?': 505, 'harapan': 506, 'suku': 507, 'unsur-unsur': 508, 'pbb': 509, 'diperoleh': 510, 'doz': 511, 'pit': 512, 'bagaimana': 513, '.': 514, 'nafsu': 515, 'kelompok': 516, '22': 517, 'perak': 518, 'berolahraga': 519, 'pokok': 520, 'aceh': 521, '1498': 522, 'mengolah': 523, 'bandara': 524, 'berlangsung': 525, '5': 526, 'nelayan': 527, 'kerja': 528, 'afrika': 529, 'keturunan': 530, '18': 531, 'syarat': 532, 'senjata': 533, 'dimilikinya': 534, 'mewadahi': 535, 'mencatat': 536, 'mengelola': 537, 'listrik': 538, 'agama': 539, 'salah': 540, 'jiwa': 541, 'diminta': 542, 'sekitar': 543, 'selatan': 544, 'raga': 545, 'individu': 546, '(': 547, '09.00': 548, 'kaya': 549, 'dimulai': 550, 'dimiliki': 551, 'pelajaran': 552, 'selain': 553, 'kita': 554, 'pemandangan': 555, 'diaz': 556, 'tentang': 557, 'sama': 558, 'sosial': 559, 'lawu': 560, 'mengumumkan': 561, ',': 562, 'bertahan': 563, 'anggota': 564, 'habibie': 565, 'sehari-hari': 566, 'sampai': 567, 'berhasil': 568, 'siaran': 569, 'obama': 570, 'mempunyai': 571, 'dapat': 572, 'berinteraksi': 573, 'rute': 574, 'non': 575, 'dari': 576, 'sering': 577, 'hadir': 578, 'pariwisata': 579, 'bara': 580, 'kemarau': 581, 'brunei': 582, 'film': 583, '2021': 584, 'samudra': 585, 'terutama': 586, 'big': 587, '11': 588, 'mineral': 589, 'bahan': 590, 'pelajari': 591, 'goa': 592, '8': 593, '1998': 594, 'tentu': 595, 'berbagi': 596, 'jakarta': 597, 'dibandingkan': 598, 'menarik': 599, 'oktober': 600, 'tanah': 601, 'jumlah': 602, 'sudah': 603, 'berupa': 604, 'menjelang': 605, 'pintu': 606, 'berharga': 607, 'apa': 608, 'lembaga': 609, 'periode': 610, 'sedikit': 611, 'yang': 612, 'maraknya': 613, 'dilantik': 614, 'negara': 615, 'begitu': 616, 'petunjuk': 617, 'lisabon': 618, 'mengikis': 619, 'malaysia': 620, 'terjadi': 621, '1961': 622, 'keragaman': 623, 'berakhir': 624, 'kota': 625, 'kurang': 626, 'sholat': 627, 'lahir': 628, 'undang-undang': 629, 'ribuan': 630, 'tinggalmu': 631, 'pada': 632, 'air': 633, 'kemajuan': 634, 'kalah': 635, 'sarapan': 636, 'dibahas': 637, 'daya': 638, 'pelaut': 639, 'tiba': 640, 'dilakukan': 641, '2004': 642, 'pulang': 643, 'yuk': 644, 'dipengaruhi': 645, 'tercatat': 646, 'banyak': 647, 'dunia': 648, 'atas': 649, 'disebabkan': 650, 'kelembaban': 651, 'pembangunan': 652, 'norma': 653, 'inilah': 654, 'baik': 655, 'menguap': 656, 'januari': 657, 'singkat': 658, 'luas': 659, 'curah': 660, 'ada': 661, 'open': 662, 'tembaga': 663, 'mencapai': 664, 'yakni': 665, 'berlimpah': 666, '270': 667, 'masyarakat': 668, 'hubungannya': 669, 'waktu': 670, 'menguasai': 671, 'menghasilkan': 672, 'disegani': 673, 'kereta': 674, 'abad': 675, 'layanan': 676, 'bartholomeus': 677, 'pemilu': 678, 'saat': 679, 'karena': 680, 'geografis': 681, 'matahari': 682, 'wawancara': 683, 'sistem': 684, 'pemadaman': 685, 'harinya': 686, 'psbb': 687, 'awal': 688, 'mundur': 689, 'mengurangi': 690, 'tata': 691, 'diperkirakan': 692, 'nanti': 693, '1949': 694, '4': 695, 'dmlz': 696, 'cenderung': 697, 'mulai': 698, 'mencerminkan': 699, 'terakhir': 700, 'pola': 701, 'keagamaan': 702, 'ombak': 703, 'timur': 704, 'terluas': 705, 'PAD': 0, 'UNK': 1}\n", "['B-DATE', 'B-ETH', 'B-EVENT', 'B-LOC', 'B-MIN', 'B-MISC', 'B-ORG', 'B-PER', 'B-QUANT', 'B-REL', 'B-RES', 'B-TERM', 'B-TIME', 'I-DATE', 'I-ETH', 'I-EVENT', 'I-LOC', 'I-MISC', 'I-ORG', 'I-PER', 'I-QUANT', 'I-RES', 'I-TERM', 'I-TIME', 'O']\n", "['AM-ADV', 'AM-CAU', 'AM-COM', 'AM-DIR', 'AM-DIS', 'AM-EXT', 'AM-FRQ', 'AM-LOC', 'AM-MNR', 'AM-MOD', 'AM-NEG', 'AM-PNC', 'AM-PRP', 'AM-QUE', 'AM-TMP', 'ARG0', 'ARG1', 'ARG2', 'ARG3', 'ARGM-BNF', 'ARGM-CAU', 'ARGM-COM', 'ARGM-DIS', 'ARGM-EX', 'ARGM-EXT', 'ARGM-LOC', 'ARGM-MNR', 'ARGM-MOD', 'ARGM-NEG', 'ARGM-PNC', 'ARGM-PRD', 'ARGM-PRP', 'ARGM-SRC', 'ARGM-TMP', 'I-AM-LOC', 'O', 'R-ARG1', 'V']\n", "{'B-DATE': 0, 'B-ETH': 1, 'B-EVENT': 2, 'B-LOC': 3, 'B-MIN': 4, 'B-MISC': 5, 'B-ORG': 6, 'B-PER': 7, 'B-QUANT': 8, 'B-REL': 9, 'B-RES': 10, 'B-TERM': 11, 'B-TIME': 12, 'I-DATE': 13, 'I-ETH': 14, 'I-EVENT': 15, 'I-LOC': 16, 'I-MISC': 17, 'I-ORG': 18, 'I-PER': 19, 'I-QUANT': 20, 'I-RES': 21, 'I-TERM': 22, 'I-TIME': 23, 'O': 24}\n", "{'AM-ADV': 0, 'AM-CAU': 1, 'AM-COM': 2, 'AM-DIR': 3, 'AM-DIS': 4, 'AM-EXT': 5, 'AM-FRQ': 6, 'AM-LOC': 7, 'AM-MNR': 8, 'AM-MOD': 9, 'AM-NEG': 10, 'AM-PNC': 11, 'AM-PRP': 12, 'AM-QUE': 13, 'AM-TMP': 14, 'ARG0': 15, 'ARG1': 16, 'ARG2': 17, 'ARG3': 18, 'ARGM-BNF': 19, 'ARGM-CAU': 20, 'ARGM-COM': 21, 'ARGM-DIS': 22, 'ARGM-EX': 23, 'ARGM-EXT': 24, 'ARGM-LOC': 25, 'ARGM-MNR': 26, 'ARGM-MOD': 27, 'ARGM-NEG': 28, 'ARGM-PNC': 29, 'ARGM-PRD': 30, 'ARGM-PRP': 31, 'ARGM-SRC': 32, 'ARGM-TMP': 33, 'I-AM-LOC': 34, 'O': 35, 'R-ARG1': 36, 'V': 37}\n", "{0: 'B-DATE', 1: 'B-ETH', 2: 'B-EVENT', 3: 'B-LOC', 4: 'B-MIN', 5: 'B-MISC', 6: 'B-ORG', 7: 'B-PER', 8: 'B-QUANT', 9: 'B-REL', 10: 'B-RES', 11: 'B-TERM', 12: 'B-TIME', 13: 'I-DATE', 14: 'I-ETH', 15: 'I-EVENT', 16: 'I-LOC', 17: 'I-MISC', 18: 'I-ORG', 19: 'I-PER', 20: 'I-QUANT', 21: 'I-RES', 22: 'I-TERM', 23: 'I-TIME', 24: 'O'}\n", "{0: 'AM-ADV', 1: 'AM-CAU', 2: 'AM-COM', 3: 'AM-DIR', 4: 'AM-DIS', 5: 'AM-EXT', 6: 'AM-FRQ', 7: 'AM-LOC', 8: 'AM-MNR', 9: 'AM-MOD', 10: 'AM-NEG', 11: 'AM-PNC', 12: 'AM-PRP', 13: 'AM-QUE', 14: 'AM-TMP', 15: 'ARG0', 16: 'ARG1', 17: 'ARG2', 18: 'ARG3', 19: 'ARGM-BNF', 20: 'ARGM-CAU', 21: 'ARGM-COM', 22: 'ARGM-DIS', 23: 'ARGM-EX', 24: 'ARGM-EXT', 25: 'ARGM-LOC', 26: 'ARGM-MNR', 27: 'ARGM-MOD', 28: 'ARGM-NEG', 29: 'ARGM-PNC', 30: 'ARGM-PRD', 31: 'ARGM-PRP', 32: 'ARGM-SRC', 33: 'ARGM-TMP', 34: 'I-AM-LOC', 35: 'O', 36: 'R-ARG1', 37: 'V'}\n" ] } ], "source": [ "words = list(set(word for sentence in preprocessing_sentences for word in sentence))\n", "word2idx = {word: idx + 2 for idx, word in enumerate(words)}\n", "word2idx[\"PAD\"] = 0\n", "word2idx[\"UNK\"] = 1\n", "\n", "all_ner_tags = sorted(set(tag for seq in ner_labels for tag in seq))\n", "all_srl_tags = sorted(set(tag for seq in srl_labels for tag in seq))\n", "tag2idx_ner = {tag: idx for idx, tag in enumerate(all_ner_tags)}\n", "tag2idx_srl = {tag: idx for idx, tag in enumerate(all_srl_tags)}\n", "idx2tag_ner = {i: t for t, i in tag2idx_ner.items()}\n", "idx2tag_srl = {i: t for t, i in tag2idx_srl.items()}\n", "\n", "print(words)\n", "print(word2idx)\n", "print(all_ner_tags)\n", "print(all_srl_tags)\n", "print(tag2idx_ner)\n", "print(tag2idx_srl)\n", "print(idx2tag_ner)\n", "print(idx2tag_srl)" ] }, { "cell_type": "code", "execution_count": 6, "id": "9d3a37b3", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "[[328 174 380 ... 0 0 0]\n", " [513 457 681 ... 0 0 0]\n", " [513 329 457 ... 0 0 0]\n", " ...\n", " [632 402 562 ... 0 0 0]\n", " [168 561 162 ... 0 0 0]\n", " [629 93 109 ... 0 0 0]]\n", "y_ner \n", " \n", "[[24 24 24 ... 24 24 24]\n", " [24 24 24 ... 24 24 24]\n", " [24 24 24 ... 24 24 24]\n", " ...\n", " [24 0 24 ... 24 24 24]\n", " [24 24 24 ... 24 24 24]\n", " [24 24 0 ... 24 24 24]]\n", "y_srl \n", " \n", "[[16 16 16 ... 35 35 35]\n", " [13 16 16 ... 35 35 35]\n", " [13 16 16 ... 35 35 35]\n", " ...\n", " [14 14 35 ... 35 35 35]\n", " [15 37 16 ... 35 35 35]\n", " [16 16 14 ... 35 35 35]]\n", "y_ner cat \n", " \n", "[array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 1., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 1., 0.],\n", " [0., 0., 0., ..., 0., 1., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 1., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 1., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 1., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]]), array([[0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.]])]\n", "y_srl cat \n", " \n", "[array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [1., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 1., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 1., 0., ..., 0., 0., 0.],\n", " [0., 1., 0., ..., 0., 0., 0.],\n", " [0., 1., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 1.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]]), array([[0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " [0., 0., 0., ..., 0., 0., 0.],\n", " ...,\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.],\n", " [0., 0., 0., ..., 1., 0., 0.]])]\n" ] } ], "source": [ "\n", "# === ENCODING ===\n", "X = [[word2idx.get(w, word2idx[\"UNK\"]) for w in s] for s in sentences]\n", "y_ner = [[tag2idx_ner[t] for t in ts] for ts in ner_labels]\n", "y_srl = [[tag2idx_srl[t] for t in ts] for ts in srl_labels]\n", "\n", "maxlen = 50\n", "\n", "X = pad_sequences(X, maxlen=maxlen, padding=\"post\", value=word2idx[\"PAD\"])\n", "y_ner = pad_sequences(y_ner, maxlen=maxlen, padding=\"post\", value=tag2idx_ner[\"O\"])\n", "y_srl = pad_sequences(y_srl, maxlen=maxlen, padding=\"post\", value=tag2idx_srl[\"O\"])\n", "\n", "y_ner_cat = [to_categorical(seq, num_classes=len(tag2idx_ner)) for seq in y_ner]\n", "y_srl_cat = [to_categorical(seq, num_classes=len(tag2idx_srl)) for seq in y_srl]\n", "\n", "print(X)\n", "print(\"y_ner \\n \")\n", "print(y_ner)\n", "print(\"y_srl \\n \")\n", "print(y_srl)\n", "print(\"y_ner cat \\n \")\n", "print(y_ner_cat)\n", "print(\"y_srl cat \\n \")\n", "print(y_srl_cat)\n" ] }, { "cell_type": "code", "execution_count": 7, "id": "a5c264df", "metadata": {}, "outputs": [], "source": [ "# split dataset \n", "X_temp, X_test, y_ner_temp, y_ner_test, y_srl_temp, y_srl_test = train_test_split(\n", " X, y_ner_cat, y_srl_cat, test_size=0.1, random_state=42\n", ")\n", "X_train, X_val, y_ner_train, y_ner_val, y_srl_train, y_srl_val = train_test_split(\n", " X_temp, y_ner_temp, y_srl_temp, test_size=0.1111, random_state=42 # ~10% of total\n", ")" ] }, { "cell_type": "code", "execution_count": 8, "id": "712c1789", "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ "2025-04-29 19:42:52.271455: E external/local_xla/xla/stream_executor/cuda/cuda_platform.cc:51] failed call to cuInit: INTERNAL: CUDA error: Failed call to cuInit: UNKNOWN ERROR (303)\n" ] }, { "data": { "text/html": [ "
Model: \"functional\"\n",
"
\n"
],
"text/plain": [
"\u001b[1mModel: \"functional\"\u001b[0m\n"
]
},
"metadata": {},
"output_type": "display_data"
},
{
"data": {
"text/html": [
"┏━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┓\n", "┃ Layer (type) ┃ Output Shape ┃ Param # ┃ Connected to ┃\n", "┡━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━┩\n", "│ input_layer │ (None, 50) │ 0 │ - │\n", "│ (InputLayer) │ │ │ │\n", "├─────────────────────┼───────────────────┼────────────┼───────────────────┤\n", "│ embedding │ (None, 50, 64) │ 45,184 │ input_layer[0][0] │\n", "│ (Embedding) │ │ │ │\n", "├─────────────────────┼───────────────────┼────────────┼───────────────────┤\n", "│ bidirectional │ (None, 50, 128) │ 66,048 │ embedding[0][0] │\n", "│ (Bidirectional) │ │ │ │\n", "├─────────────────────┼───────────────────┼────────────┼───────────────────┤\n", "│ ner_output │ (None, 50, 25) │ 3,225 │ bidirectional[0]… │\n", "│ (TimeDistributed) │ │ │ │\n", "├─────────────────────┼───────────────────┼────────────┼───────────────────┤\n", "│ srl_output │ (None, 50, 38) │ 4,902 │ bidirectional[0]… │\n", "│ (TimeDistributed) │ │ │ │\n", "└─────────────────────┴───────────────────┴────────────┴───────────────────┘\n", "\n" ], "text/plain": [ "┏━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━┓\n", "┃\u001b[1m \u001b[0m\u001b[1mLayer (type) \u001b[0m\u001b[1m \u001b[0m┃\u001b[1m \u001b[0m\u001b[1mOutput Shape \u001b[0m\u001b[1m \u001b[0m┃\u001b[1m \u001b[0m\u001b[1m Param #\u001b[0m\u001b[1m \u001b[0m┃\u001b[1m \u001b[0m\u001b[1mConnected to \u001b[0m\u001b[1m \u001b[0m┃\n", "┡━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━┩\n", "│ input_layer │ (\u001b[38;5;45mNone\u001b[0m, \u001b[38;5;34m50\u001b[0m) │ \u001b[38;5;34m0\u001b[0m │ - │\n", "│ (\u001b[38;5;33mInputLayer\u001b[0m) │ │ │ │\n", "├─────────────────────┼───────────────────┼────────────┼───────────────────┤\n", "│ embedding │ (\u001b[38;5;45mNone\u001b[0m, \u001b[38;5;34m50\u001b[0m, \u001b[38;5;34m64\u001b[0m) │ \u001b[38;5;34m45,184\u001b[0m │ input_layer[\u001b[38;5;34m0\u001b[0m][\u001b[38;5;34m0\u001b[0m] │\n", "│ (\u001b[38;5;33mEmbedding\u001b[0m) │ │ │ │\n", "├─────────────────────┼───────────────────┼────────────┼───────────────────┤\n", "│ bidirectional │ (\u001b[38;5;45mNone\u001b[0m, \u001b[38;5;34m50\u001b[0m, \u001b[38;5;34m128\u001b[0m) │ \u001b[38;5;34m66,048\u001b[0m │ embedding[\u001b[38;5;34m0\u001b[0m][\u001b[38;5;34m0\u001b[0m] │\n", "│ (\u001b[38;5;33mBidirectional\u001b[0m) │ │ │ │\n", "├─────────────────────┼───────────────────┼────────────┼───────────────────┤\n", "│ ner_output │ (\u001b[38;5;45mNone\u001b[0m, \u001b[38;5;34m50\u001b[0m, \u001b[38;5;34m25\u001b[0m) │ \u001b[38;5;34m3,225\u001b[0m │ bidirectional[\u001b[38;5;34m0\u001b[0m]… │\n", "│ (\u001b[38;5;33mTimeDistributed\u001b[0m) │ │ │ │\n", "├─────────────────────┼───────────────────┼────────────┼───────────────────┤\n", "│ srl_output │ (\u001b[38;5;45mNone\u001b[0m, \u001b[38;5;34m50\u001b[0m, \u001b[38;5;34m38\u001b[0m) │ \u001b[38;5;34m4,902\u001b[0m │ bidirectional[\u001b[38;5;34m0\u001b[0m]… │\n", "│ (\u001b[38;5;33mTimeDistributed\u001b[0m) │ │ │ │\n", "└─────────────────────┴───────────────────┴────────────┴───────────────────┘\n" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/html": [ "
Total params: 119,359 (466.25 KB)\n", "\n" ], "text/plain": [ "\u001b[1m Total params: \u001b[0m\u001b[38;5;34m119,359\u001b[0m (466.25 KB)\n" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/html": [ "
Trainable params: 119,359 (466.25 KB)\n", "\n" ], "text/plain": [ "\u001b[1m Trainable params: \u001b[0m\u001b[38;5;34m119,359\u001b[0m (466.25 KB)\n" ] }, "metadata": {}, "output_type": "display_data" }, { "data": { "text/html": [ "
Non-trainable params: 0 (0.00 B)\n", "\n" ], "text/plain": [ "\u001b[1m Non-trainable params: \u001b[0m\u001b[38;5;34m0\u001b[0m (0.00 B)\n" ] }, "metadata": {}, "output_type": "display_data" } ], "source": [ "#training model\n", "input_layer = Input(shape=(maxlen,))\n", "embedding = Embedding(input_dim=len(word2idx), output_dim=64)(input_layer)\n", "bilstm = Bidirectional(LSTM(units=64, return_sequences=True))(embedding)\n", "out_ner = TimeDistributed(Dense(len(tag2idx_ner), activation=\"softmax\"), name=\"ner_output\")(bilstm)\n", "out_srl = TimeDistributed(Dense(len(tag2idx_srl), activation=\"softmax\"), name=\"srl_output\")(bilstm)\n", "\n", "model = Model(inputs=input_layer, outputs=[out_ner, out_srl])\n", "model.compile(\n", " optimizer=\"adam\",\n", " loss={\"ner_output\": \"categorical_crossentropy\", \"srl_output\": \"categorical_crossentropy\"},\n", " metrics={\"ner_output\": \"accuracy\", \"srl_output\": \"accuracy\"}\n", ")\n", "\n", "model.summary()" ] }, { "cell_type": "code", "execution_count": 9, "id": "98feee87", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Epoch 1/10\n", "\u001b[1m63/63\u001b[0m \u001b[32m━━━━━━━━━━━━━━━━━━━━\u001b[0m\u001b[37m\u001b[0m \u001b[1m4s\u001b[0m 19ms/step - loss: 3.7132 - ner_output_accuracy: 0.8752 - ner_output_loss: 1.6339 - srl_output_accuracy: 0.7399 - srl_output_loss: 2.0793 - val_loss: 0.7544 - val_ner_output_accuracy: 0.9463 - val_ner_output_loss: 0.2714 - val_srl_output_accuracy: 0.8450 - val_srl_output_loss: 0.4830\n", "Epoch 2/10\n", "\u001b[1m63/63\u001b[0m \u001b[32m━━━━━━━━━━━━━━━━━━━━\u001b[0m\u001b[37m\u001b[0m \u001b[1m1s\u001b[0m 10ms/step - loss: 0.7800 - ner_output_accuracy: 0.9586 - ner_output_loss: 0.2194 - srl_output_accuracy: 0.8145 - srl_output_loss: 0.5605 - val_loss: 0.6925 - val_ner_output_accuracy: 0.9463 - val_ner_output_loss: 0.2589 - val_srl_output_accuracy: 0.8563 - val_srl_output_loss: 0.4336\n", "Epoch 3/10\n", "\u001b[1m63/63\u001b[0m \u001b[32m━━━━━━━━━━━━━━━━━━━━\u001b[0m\u001b[37m\u001b[0m \u001b[1m1s\u001b[0m 10ms/step - loss: 0.7723 - ner_output_accuracy: 0.9535 - ner_output_loss: 0.2264 - srl_output_accuracy: 0.8309 - srl_output_loss: 0.5460 - val_loss: 0.6375 - val_ner_output_accuracy: 0.9463 - val_ner_output_loss: 0.2429 - val_srl_output_accuracy: 0.8825 - val_srl_output_loss: 0.3945\n", "Epoch 4/10\n", "\u001b[1m63/63\u001b[0m \u001b[32m━━━━━━━━━━━━━━━━━━━━\u001b[0m\u001b[37m\u001b[0m \u001b[1m1s\u001b[0m 9ms/step - loss: 0.7463 - ner_output_accuracy: 0.9521 - ner_output_loss: 0.2214 - srl_output_accuracy: 0.8501 - srl_output_loss: 0.5249 - val_loss: 0.5878 - val_ner_output_accuracy: 0.9463 - val_ner_output_loss: 0.2284 - val_srl_output_accuracy: 0.8950 - val_srl_output_loss: 0.3594\n", "Epoch 5/10\n", "\u001b[1m63/63\u001b[0m \u001b[32m━━━━━━━━━━━━━━━━━━━━\u001b[0m\u001b[37m\u001b[0m \u001b[1m1s\u001b[0m 9ms/step - loss: 0.7682 - ner_output_accuracy: 0.9441 - ner_output_loss: 0.2412 - srl_output_accuracy: 0.8410 - srl_output_loss: 0.5270 - val_loss: 0.5590 - val_ner_output_accuracy: 0.9463 - val_ner_output_loss: 0.2182 - val_srl_output_accuracy: 0.9037 - val_srl_output_loss: 0.3408\n", "Epoch 6/10\n", "\u001b[1m63/63\u001b[0m \u001b[32m━━━━━━━━━━━━━━━━━━━━\u001b[0m\u001b[37m\u001b[0m \u001b[1m1s\u001b[0m 10ms/step - loss: 0.6489 - ner_output_accuracy: 0.9487 - ner_output_loss: 0.2089 - srl_output_accuracy: 0.8736 - srl_output_loss: 0.4399 - val_loss: 0.5293 - val_ner_output_accuracy: 0.9463 - val_ner_output_loss: 0.2094 - val_srl_output_accuracy: 0.9012 - val_srl_output_loss: 0.3199\n", "Epoch 7/10\n", "\u001b[1m63/63\u001b[0m \u001b[32m━━━━━━━━━━━━━━━━━━━━\u001b[0m\u001b[37m\u001b[0m \u001b[1m1s\u001b[0m 9ms/step - loss: 0.6142 - ner_output_accuracy: 0.9540 - ner_output_loss: 0.1842 - srl_output_accuracy: 0.8802 - srl_output_loss: 0.4300 - val_loss: 0.5180 - val_ner_output_accuracy: 0.9475 - val_ner_output_loss: 0.2047 - val_srl_output_accuracy: 0.9025 - val_srl_output_loss: 0.3134\n", "Epoch 8/10\n", "\u001b[1m13/63\u001b[0m \u001b[32m━━━━\u001b[0m\u001b[37m━━━━━━━━━━━━━━━━\u001b[0m \u001b[1m0s\u001b[0m 8ms/step - loss: 0.5499 - ner_output_accuracy: 0.9632 - ner_output_loss: 0.1377 - srl_output_accuracy: 0.8832 - srl_output_loss: 0.4122" ] }, { "ename": "KeyboardInterrupt", "evalue": "", "output_type": "error", "traceback": [ "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m", "\u001b[0;31mKeyboardInterrupt\u001b[0m Traceback (most recent call last)", "Cell \u001b[0;32mIn[9], line 2\u001b[0m\n\u001b[1;32m 1\u001b[0m \u001b[38;5;66;03m# === TRAINING ===\u001b[39;00m\n\u001b[0;32m----> 2\u001b[0m history \u001b[38;5;241m=\u001b[39m \u001b[43mmodel\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mfit\u001b[49m\u001b[43m(\u001b[49m\n\u001b[1;32m 3\u001b[0m \u001b[43m \u001b[49m\u001b[43mX_train\u001b[49m\u001b[43m,\u001b[49m\n\u001b[1;32m 4\u001b[0m \u001b[43m \u001b[49m\u001b[43m{\u001b[49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[38;5;124;43mner_output\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mnp\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43marray\u001b[49m\u001b[43m(\u001b[49m\u001b[43my_ner_train\u001b[49m\u001b[43m)\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[38;5;124;43msrl_output\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mnp\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43marray\u001b[49m\u001b[43m(\u001b[49m\u001b[43my_srl_train\u001b[49m\u001b[43m)\u001b[49m\u001b[43m}\u001b[49m\u001b[43m,\u001b[49m\n\u001b[1;32m 5\u001b[0m \u001b[43m \u001b[49m\u001b[43mvalidation_data\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[43m(\u001b[49m\u001b[43mX_val\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[43m{\u001b[49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[38;5;124;43mner_output\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mnp\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43marray\u001b[49m\u001b[43m(\u001b[49m\u001b[43my_ner_val\u001b[49m\u001b[43m)\u001b[49m\u001b[43m,\u001b[49m\u001b[43m \u001b[49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[38;5;124;43msrl_output\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[43m:\u001b[49m\u001b[43m \u001b[49m\u001b[43mnp\u001b[49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43marray\u001b[49m\u001b[43m(\u001b[49m\u001b[43my_srl_val\u001b[49m\u001b[43m)\u001b[49m\u001b[43m}\u001b[49m\u001b[43m)\u001b[49m\u001b[43m,\u001b[49m\n\u001b[1;32m 6\u001b[0m \u001b[43m \u001b[49m\u001b[43mbatch_size\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[38;5;241;43m2\u001b[39;49m\u001b[43m,\u001b[49m\n\u001b[1;32m 7\u001b[0m \u001b[43m \u001b[49m\u001b[43mepochs\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[38;5;241;43m10\u001b[39;49m\n\u001b[1;32m 8\u001b[0m \u001b[43m)\u001b[49m\n\u001b[1;32m 10\u001b[0m \u001b[38;5;66;03m# === SAVE ===\u001b[39;00m\n\u001b[1;32m 11\u001b[0m model\u001b[38;5;241m.\u001b[39msave(\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124mmulti_task_bilstm_model.keras\u001b[39m\u001b[38;5;124m\"\u001b[39m)\n", "File \u001b[0;32m/mnt/disc1/code/thesis_quiz_project/lstm-quiz/myenv/lib64/python3.10/site-packages/keras/src/utils/traceback_utils.py:117\u001b[0m, in \u001b[0;36mfilter_traceback.