diff --git a/latex/chapters/id/04_results.tex b/latex/chapters/id/04_results.tex index 660ca51..fad8a34 100644 --- a/latex/chapters/id/04_results.tex +++ b/latex/chapters/id/04_results.tex @@ -187,7 +187,7 @@ Hasil eksplorasi ini menunjukkan bahwa: komplementer pada tahap pelatihan model. \end{enumerate} -Temuan ini menjadi dasar untuk menentukan jumlah komponen PCA yang akan digunakan pada \textit{grid search} saat optimasi \textit{hyperparameter} model SVM. +Temuan ini menjadi dasar untuk menentukan potensi jumlah komponen PCA yang akan digunakan pada \textit{grid search} saat optimasi \textit{hyperparameter} model SVM. \section{Hasil \textit{Coarse Grid-Search}} \label{sec:grid-results} @@ -195,18 +195,56 @@ Temuan ini menjadi dasar untuk menentukan jumlah komponen PCA yang akan digunaka Setelah proses ekstraksi fitur dan pembentukan dataset berlabel, tahap berikutnya adalah melakukan pencarian \textit{grid} untuk mengoptimalkan parameter model \gls{svm} -dengan kernel \gls{rbf}. -Tiga parameter yang dioptimalkan adalah: -\begin{enumerate} - \item jumlah komponen utama \(\,n_{\text{components}}\,\) pada reduksi dimensi \gls{pca}, - \item parameter regulasi \(C\), - \item parameter kernel \(\gamma\). -\end{enumerate} +dengan kernel \gls{rbf} seperti yang disajikan dalam Tabel~\ref{tab:grid_search_parameters}. Total kombinasi parameter yang diuji berjumlah \(5\times5\times8 = 200\) kandidat model dengan skema \textit{stratified 5-fold cross-validation} menghasilkan total 1000 kali \textit{fitting}. Setiap kombinasi dievaluasi menggunakan metrik akurasi rata-rata -pada data validasi. +pada data validasi. Proses ini memakan waktu hingga 1 jam 38 detik untuk Sensor A dan 1 jam 34 detik untuk Sensor B pada spesifikasi perangkat keras seperti pada Subbab~\ref{sec:hardware}. + +\begin{table}[H] +\centering +\begin{tabular}{rrrrr} +\toprule +$n_{\text{components}}$ & $C (\log{2})$ & $\gamma (\log{2})$ & $S_i$ & $T_i$ \\ +\midrule +4 & 5 & -5 & 0.80764 & 11.22306 \\ +8 & 5 & -5 & 0.97076 & 10.88293 \\ +16 & 5 & -5 & 0.99116 & 10.53770 \\ +32 & 10 & -10 & 0.99394 & 10.45783 \\ +64 & 10 & -10 & 0.99631 & 13.46819 \\ +128 & 5 & -10 & 0.99728 & 13.43715 \\ +256 & 5 & -10 & 0.99756 & 17.84189 \\ +512 & 5 & -10 & 0.99763 & 31.24036 \\ +\bottomrule +\end{tabular} +\caption{Hasil ringkasan \textit{coarse grid-search} pada Sensor A ($\mathcal{D}_A$).} +\label{tab:coarse_summary_A} +\end{table} + +\begin{table}[H] +\centering +\begin{tabular}{rrrrr} +\toprule +$n_{\text{components}}$ & $C (\log{2})$ & $\gamma (\log{2})$ & $S_i$ & $T_i$ \\ +\midrule +4 & 5 & -5 & 0.87845 & 13.77282 \\ +8 & 0 & -5 & 0.98051 & 12.51643 \\ +16 & 5 & -5 & 0.99443 & 10.90890 \\ +32 & 5 & -10 & 0.99596 & 13.42619 \\ +64 & 5 & -10 & 0.99735 & 11.40759 \\ +128 & 5 & -10 & 0.99728 & 14.54694 \\ +256 & 5 & -10 & 0.99777 & 20.27980 \\ +512 & 5 & -10 & 0.99791 & 39.63068 \\ +\bottomrule +\end{tabular} +\caption{Hasil ringkasan \textit{coarse grid-search} pada Sensor B ($\mathcal{D}_B$).} +\label{tab:coarse_summary_B} +\end{table} + +Tabel~\ref{tab:coarse_summary_A} dan~\ref{tab:coarse_summary_B} menunjukkan hasil ringkasan \textit{coarse grid-search} dengan nilai maksimum \textit{mean test score} untuk setiap konfigurasi $n_{\text{components}}$ pada Sensor A ($\mathcal{D}_A$) dan Sensor B ($\mathcal{D}_B$). Kolom $S_i$ menunjukkan akurasi tertinggi yang dicapai, sedangkan kolom $T_i$ mencatat waktu rata-rata (dalam detik) yang dibutuhkan untuk melatih model (\textit{mean fit time}) pada setiap kombinasi parameter. + +Dari hasil tersebut, terlihat bahwa $n_{\text{components}}=64$ sudah mencapa akurasi yang cukup tinggi untuk kedua kanal sensor, dengan akurasi $\pm 99.7\%$, dengan peningkatan yang semakin kecil pada jumlah komponen yang lebih besar yaitu kurang dari 0.001\%. Hal ini menunjukkan bahwa data getaran struktur yang diekstraksi dengan \gls{stft} memiliki daya klasifikasi yang kuat terhadap kondisi struktur, dan penggunaan lebih dari 64 komponen utama memberikan peningkatan akurasi yang marginal. % \subsection{Evaluasi Keseluruhan} % Distribusi akurasi seluruh kandidat model ditunjukkan pada @@ -360,12 +398,12 @@ Berdasarkan kombinasi akurasi, waktu pelatihan, dan metrik efisiensi, konfigurasi dengan $n_{\text{components}}=32$ untuk Sensor A dan $n_{\text{components}}=16$ untuk Sensor B dipilih sebagai \textit{baseline} optimal untuk model akhir. Model \textit{baseline} ini akan digunakan sebagai acuan pada tahap evaluasi model dan pencarian \textit{hyperparameter} lanjutan (\textit{fine grid-search}) -yang dibahas pada subab berikutnya. +yang dibahas pada subbab berikutnya. \section{Evaluasi Model \textit{Baseline}} \label{sec:baseline_performance} -Model \textit{baseline} yang digunakan diperoleh dari \textit{coarse grid-search} pada subab \ref{sec:efficiency_analysis} adalah SVM dengan kernel RBF, 32 komponen PCA, dan parameter $C=2^{10}$, $\gamma=2^{-10}$ untuk Sensor A, sedangkan untuk Sensor B adalah SVM dengan kernel RBF, 16 komponen PCA, dan parameter $C=2^{5}$, $\gamma=2^{-5}$. Pada bagian ini, dilakukan evaluasi performa model \textit{baseline} dengan data uji yang berbeda (\textit{Dataset} B). +Model \textit{baseline} yang digunakan diperoleh dari \textit{coarse grid-search} pada Subbab~\ref{sec:efficiency_analysis} adalah SVM dengan kernel RBF, 32 komponen PCA, dan parameter $C=2^{10}$, $\gamma=2^{-10}$ untuk Sensor A, sedangkan untuk Sensor B adalah SVM dengan kernel RBF, 16 komponen PCA, dan parameter $C=2^{5}$, $\gamma=2^{-5}$. Pada bagian ini, dilakukan evaluasi performa model \textit{baseline} dengan data uji yang berbeda (\textit{Dataset} B). \subsection{Metrik Klasifikasi} @@ -436,7 +474,7 @@ Dari Gambar~\ref{fig:confusion-matrix-baseline_A} dan~\ref{fig:confusion-matrix- \section{\textit{Fine Grid-Search}} -Optimasi model yang dilakukan yaitu dengan melakukan \textit{fine grid-search} pada rentang \textit{hyperparameter} model \textit{baseline} yang digunakan pada Subab~\ref{sec:baseline_performance}. Untuk Sensor A dengan $n_{\text{components}} = 32$ rentang parameter yang dicari adalah +Optimasi model yang dilakukan yaitu dengan melakukan \textit{fine grid-search} pada rentang \textit{hyperparameter} model \textit{baseline} yang digunakan pada Subbab~\ref{sec:baseline_performance}. Untuk Sensor A dengan $n_{\text{components}} = 32$ rentang parameter yang dicari adalah \begin{align*} C &= \{\, 2^8,\, 2^{8.5},\, \ldots,\, 2^{12} \,\} \\ \gamma &= \{\, 2^{-12},\, 2^{-11.5},\, \ldots ,\, 2^{-8} \,\},