feat(images): add inference and scree plot images for model evaluation

This commit is contained in:
Rifqi D. Panuluh
2025-10-13 00:17:51 +00:00
parent e1e0b07944
commit 0017d686b6
15 changed files with 101 additions and 32 deletions

View File

@@ -70,7 +70,7 @@ total variansi data.
\begin{figure}[H] \begin{figure}[H]
\centering \centering
\includegraphics[width=.75\textwidth]{chapters/img/sensor1/scree_plot.png} \includegraphics[width=.75\textwidth]{chapters/img/scree_plot.png}
\caption{Diagram \textit{scree} hasil analisis PCA pada dataset $\mathcal{D}_A$ dan $\mathcal{D}_B$.} \caption{Diagram \textit{scree} hasil analisis PCA pada dataset $\mathcal{D}_A$ dan $\mathcal{D}_B$.}
\label{fig:scree_plot} \label{fig:scree_plot}
\end{figure} \end{figure}
@@ -208,35 +208,35 @@ dengan skema \textit{stratified 5-fold cross-validation} menghasilkan total 1000
Setiap kombinasi dievaluasi menggunakan metrik akurasi rata-rata Setiap kombinasi dievaluasi menggunakan metrik akurasi rata-rata
pada data validasi. pada data validasi.
\subsection{Evaluasi Keseluruhan} % \subsection{Evaluasi Keseluruhan}
Distribusi akurasi seluruh kandidat model ditunjukkan pada % Distribusi akurasi seluruh kandidat model ditunjukkan pada
Gambar~\ref{fig:grid_hist}. % Gambar~\ref{fig:grid_hist}.
Sebagian besar kombinasi menghasilkan akurasi di atas~95\%, % Sebagian besar kombinasi menghasilkan akurasi di atas~95\%,
menunjukkan bahwa fitur STFT memiliki daya klasifikasi yang kuat % menunjukkan bahwa fitur STFT memiliki daya klasifikasi yang kuat
terhadap kondisi struktur. % terhadap kondisi struktur.
\begin{figure}[H] % \begin{figure}[H]
\centering % \centering
% \includegraphics[width=.65\textwidth]{figures/grid_hist.pdf} % % \includegraphics[width=.65\textwidth]{figures/grid_hist.pdf}
\caption{Distribusi akurasi validasi silang dari 225 kombinasi parameter $(C,\gamma,n_{\text{components}})$.} % \caption{Distribusi akurasi validasi silang dari 225 kombinasi parameter $(C,\gamma,n_{\text{components}})$.}
\label{fig:grid_hist} % \label{fig:grid_hist}
\end{figure} % \end{figure}
\subsection{Pengaruh Jumlah Komponen PCA} % \subsection{Pengaruh Jumlah Komponen PCA}
Rata-rata akurasi tertinggi untuk setiap nilai $n_{\text{components}}$ % Rata-rata akurasi tertinggi untuk setiap nilai $n_{\text{components}}$
ditampilkan pada Gambar~\ref{fig:pca_acc_overall}. % ditampilkan pada Gambar~\ref{fig:pca_acc_overall}.
Terlihat bahwa akurasi meningkat hingga mencapai puncak pada rentang % Terlihat bahwa akurasi meningkat hingga mencapai puncak pada rentang
$n_{\text{components}} = 64$--$128$, kemudian menurun ketika jumlah komponen % $n_{\text{components}} = 64$--$128$, kemudian menurun ketika jumlah komponen
dikurangi secara agresif. % dikurangi secara agresif.
Hal ini menunjukkan bahwa sekitar 1025\% komponen utama sudah cukup % Hal ini menunjukkan bahwa sekitar 1025\% komponen utama sudah cukup
merepresentasikan informasi penting dari fitur STFT. % merepresentasikan informasi penting dari fitur STFT.
\begin{figure}[H] % \begin{figure}[H]
\centering % \centering
% \includegraphics[width=.7\textwidth]{figures/pca_acc_overall.pdf} % % \includegraphics[width=.7\textwidth]{figures/pca_acc_overall.pdf}
\caption{Rata-rata akurasi terhadap jumlah komponen PCA berdasarkan hasil pencarian \textit{grid}.} % \caption{Rata-rata akurasi terhadap jumlah komponen PCA berdasarkan hasil pencarian \textit{grid}.}
\label{fig:pca_acc_overall} % \label{fig:pca_acc_overall}
\end{figure} % \end{figure}
\subsection{Peta Akurasi terhadap Parameter SVM} \subsection{Peta Akurasi terhadap Parameter SVM}
Untuk setiap kanal sensor, peta akurasi terhadap parameter $C$ dan~$\gamma$ Untuk setiap kanal sensor, peta akurasi terhadap parameter $C$ dan~$\gamma$
@@ -448,7 +448,7 @@ Optimasi model yang dilakukan yaitu dengan melakukan \textit{fine grid-search} p
\subsection{Diagram \textit{Fine Grid-Search Heatmap}} \subsection{Diagram \textit{Fine Grid-Search Heatmap}}
Gambar~\ref{fig:svm_fine_heatmap} menunjukkan diagram \textit{heatmap} terhadap parameter \textit{fine grid-search} $C$ dan~$\gamma$ untuk masing-masing sensor. Akurasi tertinggi pada Sensor A diperoleh pada $C= \{\,2^{8}, \,2^{8.5}, \,2^{9}, \,2^{9.5}, \,2^{10}, \,2^{10.5},\,2^{11}, \,2^{11.5}, \,2^{12} \,\}$ dan $\gamma=2^{-9.5}$ dengan akurasi meningkat 0.15\% menjadi 99.54\%, sedangkan pada Sensor B diperoleh pada $C = \{\,2^{5},\,2^{5.5} \,\}$ dan $\gamma= \{\, 2^{-3},\, 2^{-3.5},\, 2^{-4}\,\}$ dengan akurasi meningkat 0.05\% menjadi 99.49\%. Hasil ini menunjukkan bahwa optimasi \textit{hyperparameter} lebih lanjut dapat meningkatkan performa model meskipun peningkatannya relatif kecil dibandingkan dengan model \textit{baseline}. Gambar~\ref{fig:svm_fine_heatmap} menunjukkan diagram \textit{heatmap} terhadap parameter \textit{fine grid-search} $C$ dan~$\gamma$ untuk masing-masing sensor. Akurasi tertinggi pada Sensor A diperoleh pada $C= \{\,2^{8}, \,2^{8.5}, \,2^{9}, \,2^{9.5}, \,2^{10}, \,2^{10.5},\,2^{11}, \,2^{11.5}, \,2^{12} \,\}$ dan $\gamma=2^{-9.5}$ dengan akurasi meningkat 0.15\% menjadi 99.54\%, sedangkan pada Sensor B diperoleh pada $C = \{\,2^{5},\,2^{5.5} \,\}$ dan $\gamma= \{\, 2^{-3},\, 2^{-3.5},\, 2^{-4}\,\}$ dengan akurasi meningkat 0.05\% menjadi 99.49\%. Hasil ini menunjukkan bahwa optimasi \textit{hyperparameter} lebih lanjut dapat meningkatkan performa model meskipun peningkatannya relatif kecil dibandingkan dengan model \textit{baseline}.
\begin{figure} \begin{figure}[H]
\centering \centering
\subfloat[Sensor A (PCA 32)]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_fine_pca32.png}} \subfloat[Sensor A (PCA 32)]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/grid_fine_pca32.png}}
\centering \centering
@@ -521,7 +521,40 @@ weighted avg & 0.99 & 0.99 & 0.99 & 17955.00 \\
\end{figure} \end{figure}
\section{Model \textit{Inference} dan Visualisasi Prediksi} \section{Model \textit{Inference} dan Visualisasi Prediksi}
Setelah model \textit{fine grid-search} dievaluasi, dilakukan proses \textit{inference} pada data uji untuk memvisualisasikan prediksi model. Gambar~\ref{fig:inference_s1a} dan~\ref{fig:inference_s2a} menunjukkan hasil prediksi model pada Sensor A dan Sensor B dalam \textit{heatmap} dan grafik probabilitasnya. Setelah model \textit{fine grid-search} dievaluasi, dilakukan proses \textit{inference} pada data uji untuk memvisualisasikan prediksi model. Gambar~\ref{fig:inference_undamaged}, \ref{fig:inference_damaged_17}, dan~\ref{fig:inference_damaged_30} menunjukkan beberapa hasil prediksi model pada Sensor A dan Sensor B dalam \textit{heatmap} dan grafik probabilitasnya.
Pada kasus struktur tanpa kerusakan (Gambar~\ref{fig:inference_undamaged}), model memberikan prediksi \textit{false-positive}, sehingga beberapa titik pada \textit{heatmap} menunjukkan probabilitas kerusakan hingga 50\% meskipun struktur sebenarnya dalam kondisi baik, sedangkan pada kasus kerusakan \textit{joint} 17 (Gambar~\ref{fig:inference_damaged_17}) dan \textit{joint} 30 (Gambar~\ref{fig:inference_damaged_30}), model berhasil mengidentifikasi lokasi kerusakan dengan probabilitas tinggi ($\approx 100\%$) pada area yang sesuai. Hal ini menunjukkan bahwa model memiliki kemampuan deteksi kerusakan yang baik, meskipun masih terdapat beberapa \textit{false-positive} pada kondisi tanpa kerusakan.
\begin{figure}[H]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/pod_fine_s1a_undamaged.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/inference_fine_s1a_undamaged.png}} \\[1ex]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_undamaged.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_undamaged.png}}
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus struktur tidak rusak.}
\label{fig:inference_undamaged}
\end{figure}
\begin{figure}[H]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/pod_fine_s1a_damaged17.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/inference_fine_s1a_damaged17.png}} \\[1ex]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_damaged17.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_damaged17.png}}
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus kerusakan \textit{joint} 17.}
\label{fig:inference_damaged_17}
\end{figure}
\begin{figure}[H]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/pod_fine_s1a_damaged30.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor A]{\includegraphics[width=.48\textwidth]{chapters/img/sensor1/inference_fine_s1a_damaged30.png}} \\[1ex]
\centering
\subfloat[Grafik probabilitas prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/pod_fine_s2a_damaged30.png}}\hfill
\subfloat[\textit{Heatmap} prediksi model pada Sensor B]{\includegraphics[width=.48\textwidth]{chapters/img/sensor2/inference_fine_s2a_damaged30.png}}
\caption{Hasil \textit{inference} model \textit{fine grid-search} pada data uji (\textit{Dataset} B) kasus kerusakan \textit{joint} 30.}
\label{fig:inference_damaged_30}
\end{figure}
% \section{Efisiensi Komputasi} % \section{Efisiensi Komputasi}
% \subsection{Perbandingan Waktu Latih} % \subsection{Perbandingan Waktu Latih}

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:8b58eb82f20438a1c077cad27cc59adc411466dddd89ab76add0fcc9ea8bba6c
size 50180

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:d5dd62c872dc8a565978adb314d68bb287d7040810aba3e5bab7d50350c9eabf
size 43736

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:d39566ab980b9b997b2a049720a8d0eb28370aa0b30363eed34cc2f742b3921e
size 29653

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:dcdd9d9f6402363f79aa3d7e9d607112003be6afd079f459f5474dbb87b3a129
size 28074

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:d69e88efb5a91bd064faa0cceb60a0daf593fda49e0156c30193eb9d2231f58a
size 35289

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:111fc07df38358eeb2dd8abbb82356a02d3292c627e9484368131c23fb8c8796
size 32881

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:8471c8bd389a72f140196561466b21b9a50c7f109e434b5c51252a0931ed54e5
size 32913

View File

@@ -1,3 +0,0 @@
version https://git-lfs.github.com/spec/v1
oid sha256:4c7888bb21ef7a3d7dad8b9e815b7eb56c822be7662d7800ffc0f10e0afbd783
size 29882

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:2f3f6c8e89f32d5a269c57650f049d307305f75d7be1af11662e8281471dd2ef
size 41902

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:c754e39ea1f07444ebcdf716fd2941f2ceee16a8d2e694c07796a60714b66062
size 28720

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:0018247fb6d81242fe4040e8dbc80a77ce50bdcca9fc81ad8950c5d75eb24a60
size 31868

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:b2c688d6db2a69c726519cc7b4cb867f3eee0a9b1b781b756129e3ea6cf10b6d
size 33097

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:54a3b475bdf285102b8808713b098af24915be86dd865bf0395615f6766e7662
size 32233

View File

@@ -0,0 +1,3 @@
version https://git-lfs.github.com/spec/v1
oid sha256:b73c3942ea2a85e0c3de059a0c4f4a1a32eb01f744723c4a900ab905744b0e49
size 28462