feat(latex): add new glossary entries for explained variance ratio, standard scaler, grid search, and stratified k-fold and add efficiency metrics and SVM hyperparameters to notations
This commit is contained in:
Rifqi D. Panuluh
@@ -93,13 +93,12 @@ Kinerja model dievaluasi menggunakan beberapa metrik standar:
|
||||
\subsection{Metrik Efisiensi}
|
||||
Untuk menilai trade-off antara akurasi dan kompleksitas komputasi, didefinisikan metrik efisiensi:
|
||||
\begin{equation}
|
||||
E_i = \frac{S_i}{T_i^{\alpha}},
|
||||
E_i = \frac{S_i}{T_i},
|
||||
\end{equation}
|
||||
dengan:
|
||||
\begin{itemize}
|
||||
\item $S_i$ = rata-rata skor akurasi hasil 5-\textit{fold cross-validation} (0–1)
|
||||
\item $S_i$ = rata-rata skor akurasi hasil 5-\textit{fold cross-validation})
|
||||
\item $T_i$ = rata-rata waktu pelatihan per iterasi (dalam detik)
|
||||
\item $\alpha$ = eksponen pembobot waktu (ditetapkan = 1)
|
||||
\end{itemize}
|
||||
|
||||
Metrik ini memungkinkan identifikasi konfigurasi model yang memberikan keseimbangan optimal antara performa dan efisiensi komputasi.
|
||||
|
||||
@@ -9,12 +9,12 @@ dalam mendeteksi dan mengklasifikasikan lokasi kerusakan struktur \textit{grid}.
|
||||
% Secara ringkas, kami menampilkan: (i) performa utama pada data uji, (ii) analisis per-kelas dan pola kesalahan, (iii) studi ablation dan sensitivitas mencakup fitur, parameter STFT, serta jumlah/posisi sensor, dan (iv) uji robustness serta implikasi implementasi. Detail metodologi eksperimen telah diuraikan pada Bab Metodologi; bagian ini berfokus pada temuan empiris dan interpretasinya.
|
||||
|
||||
\section{Hasil Ekstraksi Fitur STFT}
|
||||
Bagian ini menyajikan contoh hasil transformasi STFT yang diterapkan
|
||||
Bagian ini menyajikan contoh hasil transformasi \gls{stft} yang diterapkan
|
||||
pada sinyal percepatan dari sensor atas dan bawah.
|
||||
Analisis dilakukan untuk memastikan konsistensi pola spektral
|
||||
dan kesetaraan ukuran data antar kelas sebelum proses pelatihan model.
|
||||
|
||||
Gambar~\ref{fig:stft-undamaged} memperlihatkan hasil STFT gabungan (\textit{aggregated}) untuk seluruh titik join tanpa kerusakan (kelas 0).
|
||||
Gambar~\ref{fig:stft-undamaged} memperlihatkan hasil \gls{stft} gabungan (\textit{aggregated}) untuk seluruh titik join tanpa kerusakan (kelas 0).
|
||||
\begin{figure}[htbp]
|
||||
\centering
|
||||
\begin{minipage}{0.48\textwidth}
|
||||
@@ -29,21 +29,21 @@ Gambar~\ref{fig:stft-undamaged} memperlihatkan hasil STFT gabungan (\textit{aggr
|
||||
% \caption{Caption for the second image.}
|
||||
% \label{fig:image2}
|
||||
\end{minipage}
|
||||
\caption{STFT tanpa kerusakan (undamaged). Sensor A (kiri) dan Sensor B (kanan)}
|
||||
\caption{\gls{stft} tanpa kerusakan (undamaged). Sensor A (kiri) dan Sensor B (kanan)}
|
||||
\label{fig:stft-undamaged}
|
||||
\end{figure}
|
||||
|
||||
Gambar~\ref{fig:stft-damaged-multiple-a} dan Gambar~\ref{fig:stft-damaged-multiple-b} memperlihatkan hasil STFT gabungan (\textit{aggregated}) untuk seluruh titik join dengan kerusakan (kelas 1--6). Setiap 513 segmen waktu merepresentasikan kolom sensor yang ditinjau.
|
||||
Gambar~\ref{fig:stft-damaged-multiple-a} dan Gambar~\ref{fig:stft-damaged-multiple-b} memperlihatkan hasil \gls{stft} gabungan (\textit{aggregated}) untuk seluruh titik join dengan kerusakan (kelas 1--6). Setiap 513 segmen waktu merepresentasikan kolom sensor yang ditinjau.
|
||||
\begin{figure}[htbp]
|
||||
\centering
|
||||
\includesvg[width=\textwidth, pretex=\tiny, inkscapelatex=true]{chapters/img/sensor1/stft-damaged-multiple-1.svg}
|
||||
\caption{STFT sensor A dengan kerusakan (damaged $d_1$\textemdash $d_6$).}
|
||||
\caption{\gls{stft} sensor A dengan kerusakan (damaged $d_1$\textemdash $d_6$).}
|
||||
\label{fig:stft-damaged-multiple-a}
|
||||
\end{figure}
|
||||
\begin{figure}[htbp]
|
||||
\centering
|
||||
\includesvg[width=1\textwidth, pretex=\tiny, inkscapelatex=true]{chapters/img/sensor2/stft-damaged-multiple-2.svg}
|
||||
\caption{STFT sensor B dengan kerusakan (damaged $d_1$\textemdash $d_6$).}
|
||||
\caption{\gls{stft} sensor B dengan kerusakan (damaged $d_1$\textemdash $d_6$).}
|
||||
\label{fig:stft-damaged-multiple-b}
|
||||
\end{figure}
|
||||
|
||||
@@ -53,7 +53,7 @@ Gambar~\ref{fig:stft-damaged-multiple-a} dan Gambar~\ref{fig:stft-damaged-multip
|
||||
|
||||
Sebelum tahap pelatihan model dilakukan, diperlukan analisis eksplorasi
|
||||
untuk memahami distribusi dan karakteristik data fitur hasil ekstraksi
|
||||
STFT pada himpunan $\mathcal{D}_A$ dan $\mathcal{D}_B$.
|
||||
\gls{stft} pada himpunan $\mathcal{D}_A$ dan $\mathcal{D}_B$.
|
||||
Analisis ini bertujuan untuk menilai sejauh mana fitur yang diperoleh
|
||||
mampu merepresentasikan perbedaan kondisi struktur
|
||||
serta menentukan parameter reduksi dimensi yang sesuai
|
||||
@@ -63,7 +63,7 @@ pada tahap pemodelan berikutnya.
|
||||
Transformasi \gls{pca} diterapkan terhadap data fitur berdimensi
|
||||
$513$ untuk mengevaluasi proporsi variansi yang dapat dijelaskan
|
||||
oleh setiap komponen utama.
|
||||
Dengan menghitung \textit{explained variance ratio}, diperoleh
|
||||
Dengan menghitung \textit{\gls{explained-variance-ratio}}, diperoleh
|
||||
diagram \textit{scree} seperti pada Gambar~\ref{fig:scree_plot},
|
||||
yang menunjukkan kontribusi masing-masing komponen terhadap
|
||||
total variansi data.
|
||||
@@ -71,7 +71,7 @@ total variansi data.
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=.75\textwidth]{chapters/img/scree_plot.png}
|
||||
\caption{Diagram \textit{scree} hasil analisis PCA pada dataset $\mathcal{D}_A$ dan $\mathcal{D}_B$.}
|
||||
\caption{Diagram \textit{scree} hasil analisis \gls{pca} pada dataset $\mathcal{D}_A$ dan $\mathcal{D}_B$.}
|
||||
\label{fig:scree_plot}
|
||||
\end{figure}
|
||||
|
||||
@@ -85,19 +85,19 @@ Dari Gambar~\ref{fig:scree_plot} terlihat bahwa \textit{explained ratio cumulati
|
||||
|
||||
\subsection{Reduksi Dimensi Sebelum Visualisasi}
|
||||
Sebelum diterapkan metode reduksi dimensi non-linear seperti \gls{tsne}
|
||||
dan \gls{pacmap}, \text{standard scaler}terlebih dahulu dilakukan pada data \textit{train split} yang kemudian reduksi dimensi linear diterapkan
|
||||
dan \gls{pacmap}, \text{\gls{standard-scaler}} terlebih dahulu dilakukan pada data \textit{train-split} yang kemudian reduksi dimensi linear diterapkan
|
||||
menggunakan \gls{pca} untuk menghilangkan derau (\textit{noise}) dan mengurangi kompleksitas
|
||||
fitur STFT yang berdimensi tinggi ($513$ dimensi).
|
||||
fitur \gls{stft} yang berdimensi tinggi ($513$ dimensi).
|
||||
Langkah ini umum digunakan untuk meningkatkan stabilitas dan efisiensi
|
||||
proses embedding \parencite{JMLR:v9:vandermaaten08a}.
|
||||
|
||||
Pada penelitian ini, beberapa nilai komponen PCA digunakan \\
|
||||
Pada penelitian ini, beberapa nilai komponen \gls{pca} digunakan \\
|
||||
($n_\text{components}\in\{512,128,32,8\}$)
|
||||
untuk menilai pengaruh tingkat reduksi terhadap hasil proyeksi t-SNE
|
||||
dan PaCMAP.
|
||||
untuk menilai pengaruh tingkat reduksi terhadap hasil proyeksi \gls{tsne}
|
||||
dan \gls{pacmap}.
|
||||
Gambar~\ref{fig:pca_tsne_pacmap_A} dan~\ref{fig:pca_tsne_pacmap_B} memperlihatkan contoh visualisasi
|
||||
dua dimensi hasil reduksi berurutan PCA $\rightarrow$ t-SNE dan
|
||||
PCA $\rightarrow$ PaCMAP pada Sensor A dan B
|
||||
dua dimensi hasil reduksi berurutan \gls{pca} $\rightarrow$ \gls{tsne} dan
|
||||
\gls{pca} $\rightarrow$ \gls{pacmap} pada Sensor A dan B
|
||||
% $\mathcal{D}_A$.
|
||||
|
||||
\begin{figure}[H]
|
||||
@@ -110,8 +110,7 @@ PCA $\rightarrow$ PaCMAP pada Sensor A dan B
|
||||
\subfloat[PCA=16]{\includegraphics[width=.24\textwidth]{chapters/img/sensor1/pacmap_pca16.png}}
|
||||
\subfloat[PCA=8]{\includegraphics[width=.24\textwidth]{chapters/img/sensor1/pacmap_pca8.png}}
|
||||
\subfloat[PCA=4]{\includegraphics[width=.24\textwidth]{chapters/img/sensor1/pacmap_pca4.png}}
|
||||
\caption{Visualisasi hasil reduksi bertahap pada $\mathcal{D}_A$ dengan PCA $\rightarrow$ t-SNE (baris atas)
|
||||
dan PCA $\rightarrow$ PaCMAP (baris bawah).}
|
||||
\caption{Visualisasi hasil reduksi bertahap pada $\mathcal{D}_A$ dengan \gls{pca} $\rightarrow$ \gls{tsne} (baris atas) dan \gls{pca} $\rightarrow$ \gls{pacmap} (baris bawah).}
|
||||
\label{fig:pca_tsne_pacmap_A}
|
||||
\end{figure}
|
||||
|
||||
@@ -125,20 +124,20 @@ PCA $\rightarrow$ PaCMAP pada Sensor A dan B
|
||||
\subfloat[PCA=16]{\includegraphics[width=.24\textwidth]{chapters/img/sensor2/pacmap_pca16.png}}
|
||||
\subfloat[PCA=8]{\includegraphics[width=.24\textwidth]{chapters/img/sensor2/pacmap_pca8.png}}
|
||||
\subfloat[PCA=4]{\includegraphics[width=.24\textwidth]{chapters/img/sensor2/pacmap_pca4.png}}
|
||||
\caption{Visualisasi hasil reduksi bertahap pada $\mathcal{D}_B$ dengan PCA $\rightarrow$ t-SNE (baris atas)
|
||||
dan PCA $\rightarrow$ PaCMAP (baris bawah).}
|
||||
\caption{Visualisasi hasil reduksi bertahap pada $\mathcal{D}_B$ dengan \gls{pca} $\rightarrow$ \gls{tsne} (baris atas)
|
||||
dan \gls{pca} $\rightarrow$ \gls{pacmap} (baris bawah).}
|
||||
\label{fig:pca_tsne_pacmap_B}
|
||||
\end{figure}
|
||||
|
||||
Hasil pada Gambar~\ref{fig:pca_tsne_pacmap_A} dan~\ref{fig:pca_tsne_pacmap_B} menunjukkan bahwa
|
||||
pengurangan jumlah komponen PCA hingga 8 dimensi
|
||||
pengurangan jumlah komponen \gls{pca} hingga 8 dimensi
|
||||
masih mempertahankan pemisahan antar kelas secara visual,
|
||||
sedangkan reduksi lebih jauh (misalnya $n_\text{components}=4$)
|
||||
menyebabkan beberapa klaster saling tumpang tindih (\textit{overlap}).
|
||||
|
||||
Eksplorasi data ini mendukung pemilihan nilai $n_\text{components}$
|
||||
sebagai salah satu parameter penting yang diuji dalam
|
||||
pencarian \textit{grid} pada tahap optimasi model untuk mengurangi kompleksitas model dan efisiensi komputasi.
|
||||
\textit{\gls{grid-search}} pada tahap optimasi model untuk mengurangi kompleksitas model dan efisiensi komputasi.
|
||||
|
||||
% \subsection{Visualisasi Ruang Fitur Non-Linear}
|
||||
% Selain PCA, digunakan dua metode reduksi dimensi non-linear,
|
||||
@@ -180,25 +179,25 @@ pencarian \textit{grid} pada tahap optimasi model untuk mengurangi kompleksitas
|
||||
\subsection{Interpretasi dan Implikasi}
|
||||
Hasil eksplorasi ini menunjukkan bahwa:
|
||||
\begin{enumerate}
|
||||
\item Variansi utama data dapat dijelaskan oleh sejumlah kecil komponen PCA, sehingga reduksi dimensi berpotensi meningkatkan efisiensi komputasi tanpa kehilangan informasi penting.
|
||||
\item Visualisasi t-SNE dan PaCMAP memperlihatkan bahwa fitur STFT mampu mengelompokkan kondisi struktur yang cukup baik sesuai label kerusakan, mendukung validitas pemilihan STFT sebagai metode ekstraksi fitur.
|
||||
\item Variansi utama data dapat dijelaskan oleh sejumlah kecil komponen \gls{pca}, sehingga reduksi dimensi berpotensi meningkatkan efisiensi komputasi tanpa kehilangan informasi penting.
|
||||
\item Visualisasi \gls{tsne} dan \gls{pacmap} memperlihatkan bahwa fitur \gls{stft} mampu mengelompokkan kondisi struktur yang cukup baik sesuai label kerusakan, mendukung validitas pemilihan \gls{stft} sebagai metode ekstraksi fitur.
|
||||
\item Perbedaan antara kanal sensor~A ($\mathcal{D}_A$) dan sensor~B ($\mathcal{D}_B$) tidak signifikan,
|
||||
sehingga keduanya dapat diperlakukan sebagai dua sumber informasi
|
||||
komplementer pada tahap pelatihan model.
|
||||
\end{enumerate}
|
||||
|
||||
Temuan ini menjadi dasar untuk menentukan potensi jumlah komponen PCA yang akan digunakan pada \textit{grid search} saat optimasi \textit{hyperparameter} model SVM.
|
||||
Temuan ini menjadi dasar untuk menentukan potensi jumlah komponen \gls{pca} yang akan digunakan pada \textit{grid search} saat optimasi \textit{hyperparameter} model \gls{svm}.
|
||||
|
||||
\section{Hasil \textit{Coarse Grid-Search}}
|
||||
\label{sec:grid-results}
|
||||
|
||||
Setelah proses ekstraksi fitur dan pembentukan dataset berlabel,
|
||||
tahap berikutnya adalah melakukan pencarian \textit{grid}
|
||||
untuk mengoptimalkan parameter model \gls{svm}
|
||||
tahap berikutnya adalah melakukan \textit{\gls{grid-search}}
|
||||
untuk mengoptimalkan \textit{hyperparameter} model \gls{svm}
|
||||
dengan kernel \gls{rbf} seperti yang disajikan dalam Tabel~\ref{tab:grid_search_parameters}.
|
||||
|
||||
Total kombinasi parameter yang diuji berjumlah \(5\times5\times8 = 200\) kandidat model
|
||||
dengan skema \textit{stratified 5-fold cross-validation} menghasilkan total 1000 kali \textit{fitting}.
|
||||
dengan skema \textit{\gls{stratified-k-fold} \gls{cross-validation}} $k=5$ menghasilkan total 1000 kali \textit{fitting}.
|
||||
Setiap kombinasi dievaluasi menggunakan metrik akurasi rata-rata
|
||||
pada data validasi. Proses ini memakan waktu hingga 1 jam 38 detik untuk Sensor A dan 1 jam 34 detik untuk Sensor B pada spesifikasi perangkat keras seperti pada Subbab~\ref{sec:hardware}.
|
||||
|
||||
@@ -206,7 +205,7 @@ pada data validasi. Proses ini memakan waktu hingga 1 jam 38 detik untuk Sensor
|
||||
\centering
|
||||
\begin{tabular}{rrrrr}
|
||||
\toprule
|
||||
$n_{\text{components}}$ & $C (\log{2})$ & $\gamma (\log{2})$ & $S_i$ & $T_i$ \\
|
||||
$n_{\text{components}}$ & $C (\log_2)$ & $\gamma (\log_2)$ & \gls{not:S_i} & \gls{not:T_i} \\
|
||||
\midrule
|
||||
4 & 5 & -5 & 0.80764 & 11.22306 \\
|
||||
8 & 5 & -5 & 0.97076 & 10.88293 \\
|
||||
@@ -226,7 +225,7 @@ $n_{\text{components}}$ & $C (\log{2})$ & $\gamma (\log{2})$ & $S_i$ & $T_i$ \\
|
||||
\centering
|
||||
\begin{tabular}{rrrrr}
|
||||
\toprule
|
||||
$n_{\text{components}}$ & $C (\log{2})$ & $\gamma (\log{2})$ & $S_i$ & $T_i$ \\
|
||||
$n_{\text{components}}$ & $C (\log_2)$ & $\gamma (\log_2)$ & \gls{not:S_i} & \gls{not:T_i} \\
|
||||
\midrule
|
||||
4 & 5 & -5 & 0.87845 & 13.77282 \\
|
||||
8 & 0 & -5 & 0.98051 & 12.51643 \\
|
||||
@@ -242,7 +241,7 @@ $n_{\text{components}}$ & $C (\log{2})$ & $\gamma (\log{2})$ & $S_i$ & $T_i$ \\
|
||||
\label{tab:coarse_summary_B}
|
||||
\end{table}
|
||||
|
||||
Tabel~\ref{tab:coarse_summary_A} dan~\ref{tab:coarse_summary_B} menunjukkan hasil ringkasan \textit{coarse grid-search} dengan nilai maksimum \textit{mean test score} untuk setiap konfigurasi $n_{\text{components}}$ pada Sensor A ($\mathcal{D}_A$) dan Sensor B ($\mathcal{D}_B$). Kolom $S_i$ menunjukkan akurasi tertinggi yang dicapai, sedangkan kolom $T_i$ mencatat waktu rata-rata (dalam detik) yang dibutuhkan untuk melatih model (\textit{mean fit time}) pada setiap kombinasi parameter.
|
||||
Tabel~\ref{tab:coarse_summary_A} dan~\ref{tab:coarse_summary_B} menunjukkan hasil ringkasan \textit{coarse grid-search} dengan nilai maksimum \textit{mean test score} untuk setiap konfigurasi $n_{\text{components}}$ pada Sensor A ($\mathcal{D}_A$) dan Sensor B ($\mathcal{D}_B$). Kolom \gls{not:S_i} menunjukkan akurasi tertinggi yang dicapai, sedangkan kolom \gls{not:T_i} mencatat waktu rata-rata (dalam detik) yang dibutuhkan untuk melatih model (\textit{mean fit time}) pada setiap kombinasi parameter.
|
||||
|
||||
Dari hasil tersebut, terlihat bahwa $n_{\text{components}}=64$ sudah mencapa akurasi yang cukup tinggi untuk kedua kanal sensor, dengan akurasi $\pm 99.7\%$, dengan peningkatan yang semakin kecil pada jumlah komponen yang lebih besar yaitu kurang dari 0.001\%. Hal ini menunjukkan bahwa data getaran struktur yang diekstraksi dengan \gls{stft} memiliki daya klasifikasi yang kuat terhadap kondisi struktur, dan penggunaan lebih dari 64 komponen utama memberikan peningkatan akurasi yang marginal.
|
||||
|
||||
@@ -277,10 +276,10 @@ Dari hasil tersebut, terlihat bahwa $n_{\text{components}}=64$ sudah mencapa aku
|
||||
% \end{figure}
|
||||
|
||||
\subsection{Peta Akurasi terhadap Parameter SVM}
|
||||
Untuk setiap kanal sensor, peta akurasi terhadap parameter $C$ dan~$\gamma$
|
||||
pada konfigurasi PCA terbaik ($n_{\text{components}}=128$)
|
||||
Untuk setiap kanal sensor, peta akurasi terhadap parameter \gls{not:C}dan~\gls{not:gamma}
|
||||
pada konfigurasi \gls{pca} terbaik ($n_{\text{components}}=128$)
|
||||
ditunjukkan pada Gambar~\ref{fig:svm_heatmap_A} dan~\ref{fig:svm_heatmap_B}. Terlihat bahwa area akurasi tinggi terbentuk pada
|
||||
nilai \(C\) menengah dan \(\gamma\) kecil,
|
||||
nilai \gls{not:C} menengah dan \gls{not:gamma} kecil,
|
||||
yang menandakan keseimbangan antara margin yang cukup lebar
|
||||
dan kompleksitas model yang moderat.
|
||||
|
||||
@@ -294,7 +293,7 @@ dan kompleksitas model yang moderat.
|
||||
\subfloat[PCA=16]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_pca16.png}}\hfill \\[1ex]
|
||||
\subfloat[PCA=8]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_pca8.png}}\hfill
|
||||
\subfloat[PCA=4]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_pca4.png}}\hfill
|
||||
\caption{\textit{Heatmap mean test score} terhadap parameter $C$ dan~$\gamma$ untuk setiap komponen utama PCA pada Sensor A ($\mathcal{D}_A$).}
|
||||
\caption{\textit{Heatmap mean test score} terhadap parameter \gls{not:C}dan~\gls{not:gamma} untuk setiap komponen utama PCA pada Sensor A ($\mathcal{D}_A$).}
|
||||
\label{fig:svm_heatmap_A}
|
||||
\end{figure}
|
||||
|
||||
@@ -308,7 +307,7 @@ dan kompleksitas model yang moderat.
|
||||
\subfloat[PCA=16]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_pca16.png}}\hfill \\[1ex]
|
||||
\subfloat[PCA=8]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_pca8.png}}\hfill
|
||||
\subfloat[PCA=4]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_pca4.png}}\hfill
|
||||
\caption{\textit{Heatmap mean test score} terhadap parameter $C$ dan~$\gamma$ untuk setiap komponen utama PCA pada Sensor B ($\mathcal{D}_B$).}
|
||||
\caption{\textit{Heatmap mean test score} terhadap parameter \gls{not:C}dan~\gls{not:gamma} untuk setiap komponen utama PCA pada Sensor B ($\mathcal{D}_B$).}
|
||||
\label{fig:svm_heatmap_B}
|
||||
\end{figure}
|
||||
|
||||
@@ -318,28 +317,16 @@ Selain mempertimbangkan akurasi rata-rata (\textit{mean test score})
|
||||
sebagai satu-satunya metrik evaluasi, penelitian ini juga memperhitungkan
|
||||
waktu pelatihan rata-rata (\textit{mean fit time}) untuk menilai efisiensi komputasi.
|
||||
Hal ini penting karena peningkatan akurasi sering kali diikuti dengan
|
||||
kenaikan waktu pelatihan yang tidak proporsional, sehingga diperlukan
|
||||
kompromi antara performa dan kompleksitas.
|
||||
kenaikan waktu pelatihan yang tidak proporsional.
|
||||
|
||||
Untuk mengukur keseimbangan tersebut, didefinisikan metrik efisiensi:
|
||||
\begin{equation}
|
||||
E_i = \frac{S_i}{T_i^{\alpha}},
|
||||
\label{eq:efficiency_metric}
|
||||
\end{equation}
|
||||
dengan:
|
||||
\begin{itemize}
|
||||
\item $S_i$ = rata-rata skor akurasi hasil 5-\textit{fold cross-validation} (0–1),
|
||||
\item $T_i$ = rata-rata waktu pelatihan per iterasi (dalam detik),
|
||||
\end{itemize}
|
||||
|
||||
Metrik $E_i$ menggambarkan rasio akurasi terhadap biaya waktu pelatihan.
|
||||
Semakin besar nilai $E_i$, semakin efisien model tersebut atau
|
||||
Metrik \gls{not:E_i} menggambarkan rasio akurasi terhadap biaya waktu pelatihan.
|
||||
Semakin besar nilai \gls{not:E_i}, semakin efisien model tersebut atau
|
||||
model mampu mencapai akurasi tinggi dengan waktu pelatihan yang relatif singkat.
|
||||
|
||||
% \begin{figure}[H]
|
||||
% \centering
|
||||
% % \includegraphics[width=.7\textwidth]{figures/efficiency_score.pdf}
|
||||
% \caption{Perbandingan metrik efisiensi ($E_i$) dan akurasi rata-rata ($S_i$)
|
||||
% \caption{Perbandingan metrik efisiensi (\gls{not:E_i}$$) dan akurasi rata-rata (\gls{not:S_i})
|
||||
% terhadap jumlah komponen PCA.}
|
||||
% \label{fig:efficiency_score}
|
||||
% \end{figure}
|
||||
@@ -348,7 +335,7 @@ model mampu mencapai akurasi tinggi dengan waktu pelatihan yang relatif singkat.
|
||||
\centering
|
||||
\begin{tabular}{rrrrrr}
|
||||
\toprule
|
||||
$n_{\text{components}}$ & $C (\log{2})$ & $\gamma (\log{2})$ & $S_i$ & $T_i$ & $E_i (\times10^{-3})$ \\
|
||||
$n_{\text{components}}$ & $C (\log_2)$ & $\gamma (\log_2)$ & \gls{not:S_i} & \gls{not:T_i} & \gls{not:E_i} $(\times10^{-3})$ \\
|
||||
\midrule
|
||||
4 & 5 & -5 & 0.80764 & 11.22306 & 71.96291 \\
|
||||
8 & 5 & -5 & 0.97076 & 10.88293 & 89.20027 \\
|
||||
@@ -368,7 +355,7 @@ $n_{\text{components}}$ & $C (\log{2})$ & $\gamma (\log{2})$ & $S_i$ & $T_i$ & $
|
||||
\centering
|
||||
\begin{tabular}{rrrrrr}
|
||||
\toprule
|
||||
$n_{\text{components}}$ & $C (\log{2})$ & $\gamma (\log{2})$ & $S_i$ & $T_i$ & $E_i (\times10^{-3})$ \\
|
||||
$n_{\text{components}}$ & $C (\log_2)$ & $\gamma (\log_2)$ & \gls{not:S_i} & \gls{not:T_i} & \gls{not:E_i} $(\times10^{-3})$ \\
|
||||
\midrule
|
||||
4 & 5 & -5 & 0.87845 & 13.77282 & 63.78107 \\
|
||||
8 & 0 & -5 & 0.98051 & 12.51643 & 78.33758 \\
|
||||
@@ -403,7 +390,7 @@ yang dibahas pada subbab berikutnya.
|
||||
|
||||
\section{Evaluasi Model \textit{Baseline}}
|
||||
\label{sec:baseline_performance}
|
||||
Model \textit{baseline} yang digunakan diperoleh dari \textit{coarse grid-search} pada Subbab~\ref{sec:efficiency_analysis} adalah SVM dengan kernel RBF, 32 komponen PCA, dan parameter $C=2^{10}$, $\gamma=2^{-10}$ untuk Sensor A, sedangkan untuk Sensor B adalah SVM dengan kernel RBF, 16 komponen PCA, dan parameter $C=2^{5}$, $\gamma=2^{-5}$. Pada bagian ini, dilakukan evaluasi performa model \textit{baseline} dengan data uji yang berbeda (\textit{Dataset} B).
|
||||
Model \textit{baseline} yang digunakan diperoleh dari \textit{coarse \gls{grid-search}} pada Subbab~\ref{sec:efficiency_analysis} adalah \gls{svm} dengan kernel \gls{rbf}, 32 komponen \gls{pca}, dan \textit{hyperparameter} $C=2^{10}$, $\gamma=2^{-10}$ untuk Sensor A, sedangkan untuk Sensor B adalah SVM dengan kernel RBF, 16 komponen PCA, dan \textit{hyperparameter} $C=2^{5}$, $\gamma=2^{-5}$. Pada bagian ini, dilakukan evaluasi performa model \textit{baseline} dengan data uji yang berbeda (\textit{Dataset} B).
|
||||
|
||||
|
||||
\subsection{Metrik Klasifikasi}
|
||||
@@ -474,31 +461,31 @@ Dari Gambar~\ref{fig:confusion-matrix-baseline_A} dan~\ref{fig:confusion-matrix-
|
||||
|
||||
|
||||
\section{\textit{Fine Grid-Search}}
|
||||
Optimasi model yang dilakukan yaitu dengan melakukan \textit{fine grid-search} pada rentang \textit{hyperparameter} model \textit{baseline} yang digunakan pada Subbab~\ref{sec:baseline_performance}. Untuk Sensor A dengan $n_{\text{components}} = 32$ rentang parameter yang dicari adalah
|
||||
Optimasi model yang dilakukan yaitu dengan melakukan \textit{fine \gls{grid-search}} pada rentang \textit{hyperparameter} model \textit{baseline} yang digunakan pada Subbab~\ref{sec:baseline_performance}. Untuk Sensor A dengan $n_{\text{components}} = 32$ rentang \textit{hyperparameter} yang dicari adalah
|
||||
\begin{align*}
|
||||
C &= \{\, 2^8,\, 2^{8.5},\, \ldots,\, 2^{12} \,\} \\
|
||||
\gamma &= \{\, 2^{-12},\, 2^{-11.5},\, \ldots ,\, 2^{-8} \,\},
|
||||
\end{align*}sedangkan Sensor B dengan $n_{\text{components}} = 16$ rentang parameter yang dicari adalah
|
||||
\end{align*}sedangkan Sensor B dengan $n_{\text{components}} = 16$ rentang \textit{hyperparameter} yang dicari adalah
|
||||
\begin{align*}
|
||||
C &= \{\, 2^3,\, 2^{3.5},\, \ldots,\, 2^{7} \,\} \\
|
||||
\gamma &= \{\, 2^{-7},\, 2^{-6.5},\, \ldots ,\, 2^{-3} \,\}.
|
||||
\end{align*}. Pada proses ini, \textit{standard scaler} dan \textit{stratified k-fold cross validation} dengan $k=5$ tetap digunakan untuk menjaga konsistensi evaluasi model, sehingga total kombinasi parameter yang diuji adalah \(9\times9 = 81\) kandidat model dengan total 405 kali \textit{fitting}.
|
||||
\end{align*}. Pada proses ini, \textit{\gls{standard-scaler}} dan \textit{\gls{stratified-k-fold} \gls{cross-validation}} dengan $k=5$ tetap digunakan untuk menjaga konsistensi evaluasi model, sehingga total kombinasi parameter yang diuji adalah \(9\times9 = 81\) kandidat model dengan total 405 kali \textit{fitting}.
|
||||
|
||||
\subsection{Diagram \textit{Fine Grid-Search Heatmap}}
|
||||
Gambar~\ref{fig:svm_fine_heatmap} menunjukkan diagram \textit{heatmap} terhadap parameter \textit{fine grid-search} $C$ dan~$\gamma$ untuk masing-masing sensor. Akurasi tertinggi pada Sensor A diperoleh pada $C= \{\,2^{8}, \,2^{8.5}, \,2^{9}, \,2^{9.5}, \,2^{10}, \,2^{10.5},\,2^{11}, \,2^{11.5}, \,2^{12} \,\}$ dan $\gamma=2^{-9.5}$ dengan akurasi meningkat 0.15\% menjadi 99.54\%, sedangkan pada Sensor B diperoleh pada $C = \{\,2^{5},\,2^{5.5} \,\}$ dan $\gamma= \{\, 2^{-3},\, 2^{-3.5},\, 2^{-4}\,\}$ dengan akurasi meningkat 0.05\% menjadi 99.49\%. Hasil ini menunjukkan bahwa optimasi \textit{hyperparameter} lebih lanjut dapat meningkatkan performa model meskipun peningkatannya relatif kecil dibandingkan dengan model \textit{baseline}.
|
||||
Gambar~\ref{fig:svm_fine_heatmap} menunjukkan diagram \textit{heatmap} terhadap parameter \textit{fine grid-search} \gls{not:C}dan~\gls{not:gamma} untuk masing-masing sensor. Akurasi tertinggi pada Sensor A diperoleh pada $C= \{\,2^{8}, \,2^{8.5}, \,2^{9}, \,2^{9.5}, \,2^{10}, \,2^{10.5},\,2^{11}, \,2^{11.5}, \,2^{12} \,\}$ dan $\gamma=2^{-9.5}$ dengan akurasi meningkat 0.15\% menjadi 99.54\%, sedangkan pada Sensor B diperoleh pada $C = \{\,2^{5},\,2^{5.5} \,\}$ dan $\gamma= \{\, 2^{-3},\, 2^{-3.5},\, 2^{-4}\,\}$ dengan akurasi meningkat 0.05\% menjadi 99.49\%. Hasil ini menunjukkan bahwa optimasi \textit{hyperparameter} lebih lanjut dapat meningkatkan performa model meskipun peningkatannya relatif kecil dibandingkan dengan model \textit{baseline}.
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\subfloat[Sensor A (PCA 32)]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_fine_pca32.png}}
|
||||
\centering
|
||||
\subfloat[Sensor B (PCA 16)]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/grid_fine_pca16.png}}
|
||||
\caption{\textit{Heatmap mean test score} terhadap \textit{fine grid-search parameter} $C$ dan~$\gamma$}
|
||||
\caption{\textit{Heatmap mean test score} terhadap \textit{fine grid-search parameter} \gls{not:C}dan~\gls{not:gamma}}
|
||||
\label{fig:svm_fine_heatmap}
|
||||
\end{figure}
|
||||
|
||||
\section{Evaluasi Model \textit{Fine Grid-Search}}
|
||||
Model \textit{fine grid-search} dilatih pada \textit{dataset} A dan perlu dievaluasi performanya dengan data uji yang berbeda (\textit{dataset} B) untuk mengukur peningkatan performa dibandingkan model \textit{baseline}.
|
||||
Model \textit{fine \gls{grid-search}} dilatih pada \textit{dataset} A dan perlu dievaluasi performanya dengan data uji yang berbeda (\textit{dataset} B) untuk mengukur peningkatan performa dibandingkan model \textit{baseline}.
|
||||
\subsection{Metrik Klasifikasi}
|
||||
Hasil performa model \textit{fine grid-search} pada data uji disajikan pada Tabel~\ref{tab:metrics-fine-a} dan~\ref{tab:metrics-fine-b}.
|
||||
Hasil performa model \textit{fine \gls{grid-search}} pada data uji disajikan pada Tabel~\ref{tab:metrics-fine-a} dan~\ref{tab:metrics-fine-b}.
|
||||
|
||||
\begin{table}
|
||||
\centering
|
||||
@@ -548,18 +535,18 @@ weighted avg & 0.99 & 0.99 & 0.99 & 17955.00 \\
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=.8\textwidth]{chapters/img/sensor1/cm_fine_s1a_eval.png}
|
||||
\caption{\textit{Confusion matrix} model \textit{fine grid-search} pada Sensor A}
|
||||
\caption{\textit{Confusion matrix} model \textit{fine \gls{grid-search}} pada Sensor A}
|
||||
\label{fig:cm_fine_s1a_eval}
|
||||
\end{figure}
|
||||
\begin{figure}[H]
|
||||
\centering
|
||||
\includegraphics[width=.8\textwidth]{chapters/img/sensor2/cm_fine_s2a_eval.png}
|
||||
\caption{\textit{Confusion matrix} model \textit{fine grid-search} pada Sensor B}
|
||||
\caption{\textit{Confusion matrix} model \textit{fine \gls{grid-search}} pada Sensor B}
|
||||
\label{fig:cm_fine_s2a_eval}
|
||||
\end{figure}
|
||||
|
||||
\section{Model \textit{Inference} dan Visualisasi Prediksi}
|
||||
Setelah model \textit{fine grid-search} dievaluasi, dilakukan proses \textit{inference} pada data uji untuk memvisualisasikan prediksi model. Gambar~\ref{fig:inference_undamaged}, \ref{fig:inference_damaged_17}, dan~\ref{fig:inference_damaged_30} menunjukkan beberapa hasil prediksi model pada Sensor A dan Sensor B dalam \textit{heatmap} dan grafik probabilitasnya.
|
||||
Setelah model \textit{fine \gls{grid-search}} dievaluasi, dilakukan proses \textit{inference} pada data uji untuk memvisualisasikan prediksi model. Gambar~\ref{fig:inference_undamaged}, \ref{fig:inference_damaged_17}, dan~\ref{fig:inference_damaged_30} menunjukkan beberapa hasil prediksi model pada Sensor A dan Sensor B dalam \textit{heatmap} dan grafik probabilitasnya.
|
||||
|
||||
Pada kasus struktur tanpa kerusakan (Gambar~\ref{fig:inference_undamaged}), model memberikan prediksi \textit{false-positive}, sehingga beberapa titik pada \textit{heatmap} menunjukkan probabilitas kerusakan hingga 50\% meskipun struktur sebenarnya dalam kondisi baik, sedangkan pada kasus kerusakan \textit{joint} 17 (Gambar~\ref{fig:inference_damaged_17}) dan \textit{joint} 30 (Gambar~\ref{fig:inference_damaged_30}), model berhasil mengidentifikasi lokasi kerusakan dengan probabilitas tinggi ($\approx 100\%$) pada area yang sesuai. Hal ini menunjukkan bahwa model memiliki kemampuan deteksi kerusakan yang baik, meskipun masih terdapat beberapa \textit{false-positive} pada kondisi tanpa kerusakan.
|
||||
|
||||
@@ -570,7 +557,7 @@ Pada kasus struktur tanpa kerusakan (Gambar~\ref{fig:inference_undamaged}), mode
|
||||
\centering
|
||||
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_undamaged.png}}\hfill
|
||||
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_undamaged.png}}
|
||||
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus struktur tidak rusak.}
|
||||
\caption{Hasil \textit{inference} model \textit{fine \gls{grid-search}} pada data uji (\textit{Dataset} B) kasus struktur tidak rusak.}
|
||||
\label{fig:inference_undamaged}
|
||||
\end{figure}
|
||||
\begin{figure}[H]
|
||||
@@ -580,7 +567,7 @@ Pada kasus struktur tanpa kerusakan (Gambar~\ref{fig:inference_undamaged}), mode
|
||||
\centering
|
||||
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_damaged17.png}}\hfill
|
||||
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_damaged17.png}}
|
||||
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus kerusakan \textit{joint} 17.}
|
||||
\caption{Hasil \textit{inference} model \textit{fine \gls{grid-search}} pada data uji (\textit{Dataset} B) kasus kerusakan \textit{joint} 17.}
|
||||
\label{fig:inference_damaged_17}
|
||||
\end{figure}
|
||||
\begin{figure}[H]
|
||||
@@ -590,7 +577,7 @@ Pada kasus struktur tanpa kerusakan (Gambar~\ref{fig:inference_undamaged}), mode
|
||||
\centering
|
||||
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_damaged30.png}}\hfill
|
||||
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_damaged30.png}}
|
||||
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus kerusakan \textit{joint} 30.}
|
||||
\caption{Hasil \textit{inference} model \textit{fine \gls{grid-search}} pada data uji (\textit{Dataset} B) kasus kerusakan \textit{joint} 30.}
|
||||
\label{fig:inference_damaged_30}
|
||||
\end{figure}
|
||||
% \section{Efisiensi Komputasi}
|
||||
|
||||
Reference in New Issue
Block a user