Comprehensive Knowledge Archive Network (CKAN) adalah perangkat lunak open source untuk portal open data, CMS yang dapat membantu kita dalam mengelola dan menerbitkan sekumpulan data. CKAN digunakan oleh pemerintah pusat dan daerah, lembaga penelitian, dan organisasi lain untuk mempublikasikan data.
Contoh pemakaian di Indonesia yaitu Satu Data Indonesia (SDI) yang merupakan kebijakan tata kelola data pemerintah dengan tujuan untuk menciptakan data berkualitas, mudah diakses, dan dapat dibagipakaikan antar instansi pusat dan daerah. Kebijakan SDI ini tertuang dalam Peraturan Presiden No. 39 Tahun 2019 tentang Satu Data Indonesia. Melalu SDI, seluruh data pemerintah dan data instansi lain yang terkait dapat bermuara di Portal Satu Data Indonesia (data.go.id). Contoh pemerintah daerah yang memiliki portal open data yaitu Open Data Jakarta, Open Data Bandung, dan Open Data Kalimantan Barat.
Tech Stack
CKAN dikembangkan dengan menggunakan bahasa pemrograman Python sebagai backend, JavaScript sebagai frontend, database PostgreSQL dan search engine Solr. CKAN memungkinkan untuk ditambahkan ekstensi atau fitur tambahan karena memakai arsitektur modular. Selain itu CKAN juga memiliki fitur API.
System Requirements
Hardware Requirements
Untuk portal dengan skala nasional dengan trafik tinggi:
- 2 server dengan RAM 8GB. Satu server untuk web dan satunya lagi untuk database/Solr
- Storage 160GB. Web server bisa saja lebih besar, sesuai kebutuhan, seberapa banyak data yang ingin disimpan
- Quad core processor. Lebih cepat lebih baik
Untuk portal level daerah dengan trafik lebih rendah:
- 2 server dengan RAM 2GB
- Storage 80GB
- Dual core processor
Web dan database dapat digabungkan dalam satu server yang sama, tetapi CKAN merekomendasikan memisahkannya demi alasan keamanan.
Software Requirements
Operating system
Direkomendasikan menggunakan Ubuntu 16.04 64bit, CKAN tersedia dalam paket .deb. CKAN juga sudah diuji di CentOS dan distribusi Linux utama lainnya.
Web server
- Apache
- Nginx, untuk https dan caching
- Python 2.7.x
Database server
- Postgres 9.3+
- Redis
- Tomcat/Jetty + Solr
System requirements di atas berdasarkan hosting guidelines CKAN, update terakhir 20-12-2017.
Perangkat Tutorial
Perangkat yang digunakan di tutorial ini:
- VPS 1CPU, RAM 2GB, Disk 50GB
- Ubuntu 20.04
- Nginx 1.18
- Python 3.8.5
- Supervisor 4.1.0
- PostgreSQL 12.4
- Redis 5.0.7
- Solr 3.6.2
- CKAN package 2.9.1
Port yang digunakan:
| Service | Port | Used for |
|---|---|---|
| Nginx | 80 | Proxy |
| uWSGI | 8080 | Web server |
| uWSGI | 8800 | DataPusher |
| Solr/Jetty | 8983 | Search |
| PostgreSQL | 5432 | Database |
| Redis | 6379 | Search |
1. Install CKAN package
Update Ubuntu.
1 2 | sudo apt update sudo apt upgrade -y |
Install package dependencies.
1 | sudo apt install -y libpq5 redis-server nginx supervisor |
Download CKAN package.
1 | wget http://packaging.ckan.org/python-ckan_2.9-py3-focal_amd64.deb |
Install CKAN package.
1 | sudo dpkg -i python-ckan_2.9-py3-focal_amd64.deb |
2. Install PostgreSQL
Install PostgreSQL database.
1 | sudo apt install postgresql -y |
Cek apakah PostgresSQL terinstall dengan baik dengan cara menampilkan database yang ada.
1 | sudo -u postgres psql -l |
Membuat user PostgreSQL dengan nama ckan_default.
1 | sudo -u postgres createuser -S -D -R -P ckan_default |
Membuat database PostgreSQL dengan nama ckan_default.
1 | sudo -u postgres createdb -O ckan_default ckan_default -E utf-8 |
Cek apakah database ckan_default berhasil dibuat.
1 | sudo -u postgres psql -l |
Hasilnya.
1 2 3 4 5 6 7 8 9 10 | List of databases Name | Owner | Encoding | Collate | Ctype | Access privileges --------------+--------------+----------+---------+---------+----------------------- ckan_default | ckan_default | UTF8 | C.UTF-8 | C.UTF-8 | postgres | postgres | UTF8 | C.UTF-8 | C.UTF-8 | template0 | postgres | UTF8 | C.UTF-8 | C.UTF-8 | =c/postgres + | | | | | postgres=CTc/postgres template1 | postgres | UTF8 | C.UTF-8 | C.UTF-8 | =c/postgres + | | | | | postgres=CTc/postgres (4 rows) |
3. Install Solr
Install Solr engine.
1 | sudo apt install solr-tomcat -y |
Buka file konfigurasi Tomcat.
1 | sudo nano /etc/tomcat9/server.xml |
Ubah default port Tomcat dari 8080 ke nomor 8983.
1 | Connector port="8983" protocol="HTTP/1.1" |
Ganti file default schema.xml dengan symlink ke file CKAN schema yang disertakan di dalam sources.
1 2 | sudo mv /etc/solr/conf/schema.xml /etc/solr/conf/schema.xml.bak sudo ln -s /usr/lib/ckan/default/src/ckan/ckan/config/solr/schema.xml /etc/solr/conf/schema.xml |
Restart Solr dengan merestart tomcat.
1 | sudo systemctl restart tomcat9 |
4. Konfigurasi CKAN
Buka file konfigurasi CKAN.
1 | sudo nano /etc/ckan/default/ckan.ini |
Aktifkan opsi solr_url dengan menghapus hashtag (#).
1 | solr_url=http://127.0.0.1:8983/solr |
URL untuk CKAN site, misalnya memakai subdomain data.defnex.com.
1 | ckan.site_url = http://data.defnex.com |
Opsi untuk koneksi ke database PostgreSQL, misalnya username = ckan_default, password = secretpassword, dan database = ckan_default.
1 |
Inisialisasi database CKAN.
1 | sudo ckan db init |
Hasilnya.
1 2 3 4 | 2020-11-13 07:12:12,813 INFO [ckan.cli.db] Initialize the Database 2020-11-13 07:12:15,420 INFO [ckan.model] CKAN database version upgraded: base -> ccd38ad5fced (head) 2020-11-13 07:12:15,420 INFO [ckan.model] Database initialised Initialising DB: SUCCESS |
Restart Supervisor dan cek statusnya.
1 2 | sudo supervisorctl reload sudo supervisorctl status |
Hasilnya.
1 2 3 | ckan-datapusher:ckan-datapusher-00 RUNNING pid 2711, uptime 0:00:21 ckan-uwsgi:ckan-uwsgi-00 RUNNING pid 2712, uptime 0:00:21 ckan-worker:ckan-worker-00 RUNNING pid 2713, uptime 0:00:21 |
Restart Nginx.
1 | sudo systemctl restart nginx |
5. Pengujian
Uji dengan browse http://localhost atau http://data.defnex.com.
6. Install SSL
Backup file default konfigurasi server block ckan.
1 2 | cd /etc/nginx/sites-available/ sudo cp ckan ckan.bak |
Buka file konfigurasi ckan.
1 | sudo nano ckan |
Masukkan opsi server_name dan log.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 | proxy_cache_path /tmp/nginx_cache levels=1:2 keys_zone=cache:30m max_size=250m; proxy_temp_path /tmp/nginx_proxy 1 2; server { listen 80; server_name data.defnex.com; client_max_body_size 100M; location / { proxy_pass http://127.0.0.1:8080/; proxy_set_header Host $host; proxy_cache cache; proxy_cache_bypass $cookie_auth_tkt; proxy_no_cache $cookie_auth_tkt; proxy_cache_valid 30m; proxy_cache_key $host$scheme$proxy_host$request_uri; # In emergency comment out line to force caching # proxy_ignore_headers X-Accel-Expires Expires Cache-Control; } access_log /var/log/nginx/data.defnex.com_access.log; error_log /var/log/nginx/data.defnex.com_error.log warn; } |
Tes konfigurasi Nginx.
1 | sudo nginx -t |
Restart Nginx.
1 2 | sudo systemctl restart nginx sudo systemctl status nginx |
Uji kembali mengakses http://data.defnex.com, apakah tidak ada masalah setelah konfigurasi Nginx diubah.
Install certbot untuk Let’s Encrypt SSL.
1 2 | sudo snap install --classic certbot sudo ln -s /snap/bin/certbot /usr/bin/certbot |
Request SSL untuk data.defnex.com.
1 | sudo certbot --nginx -d data.defnex.com |
Uji browse https://data.defnex.com.
7. Membuat sysadmin user
Gunakan CKAN command line interface untuk membuat sysadmin user pertama kali dan bisa juga untuk membuat test data.
Mengaktifkan virtualenv.
1 2 | . /usr/lib/ckan/default/bin/activate cd /usr/lib/ckan/default/src/ckan |
Membuat user baru dengan nama musa dan menjadikannya sebagai sysadmin.
1 | ckan -c /etc/ckan/default/ckan.ini sysadmin add musa email=trial@musaamin.web.id name=musa |
Hasilnya.
1 2 3 4 5 6 | User "musa" not found Create new user: musa? [Y/n]: y Password : Repeat for confirmation: Successfully created user: musa Added musa as sysadmin |
Atau jika ingin menjadikan user yang sudah ada sebagai sysadmin.
1 | ckan -c /etc/ckan/default/ckan.ini sysadmin add musa |
Uji sysadmin user yang baru dibuat dengan login di web CKAN.
8. Pemakaian Resources
Mengecek pemakaian resources VPS yang terpakai dengan menggunakan htop.
1 2 | sudo apt install htop -y htop |
Selamat mencoba 🙂
