Difference between revisions of "Euclid mock production v1.8.5"

From Public PIC Wiki
Jump to navigation Jump to search
 
(One intermediate revision by the same user not shown)
Line 1: Line 1:
 
=== Table for input galaxies ===
 
=== Table for input galaxies ===
+
 
 
  CREATE TABLE tallada.`kai_input_flagship_1_8_5_s`(
 
  CREATE TABLE tallada.`kai_input_flagship_1_8_5_s`(
 
   `halo_id` bigint,
 
   `halo_id` bigint,
Line 44: Line 44:
 
  )
 
  )
 
  INTO 256 BUCKETS
 
  INTO 256 BUCKETS
  STORED AS ORC;
+
  STORED AS ORC
 +
;
  
 
  INSERT OVERWRITE TABLE tallada.kai_input_flagship_1_8_5_s
 
  INSERT OVERWRITE TABLE tallada.kai_input_flagship_1_8_5_s
Line 62: Line 63:
 
   logf_halpha_model3_ext, logf_hbeta_model3_ext, logf_o2_model3_ext,
 
   logf_halpha_model3_ext, logf_hbeta_model3_ext, logf_o2_model3_ext,
 
   logf_n2_model3_ext, logf_o3_model3_ext, logf_s2_model3_ext
 
   logf_n2_model3_ext, logf_o3_model3_ext, logf_s2_model3_ext
 
 
  FROM cosmohub.flagship_1_8_4_s
 
  FROM cosmohub.flagship_1_8_4_s
 
  WHERE  
 
  WHERE  
   (observed_redshift_gal BETWEEN 0.00 AND 0.40)
+
   (true_redshift_gal BETWEEN 0.00 AND 0.40)
 
  OR
 
  OR
   (observed_redshift_gal BETWEEN 0.49 AND 0.51)
+
   (true_redshift_gal BETWEEN 0.49 AND 0.51)
 
  OR
 
  OR
   (observed_redshift_gal BETWEEN 0.99 AND 1.02)
+
   (true_redshift_gal BETWEEN 0.99 AND 1.02)
 
  OR
 
  OR
   (observed_redshift_gal BETWEEN 1.49 AND 1.53)
+
   (true_redshift_gal BETWEEN 1.49 AND 1.53)
 
  OR
 
  OR
   (observed_redshift_gal BETWEEN 1.99 AND 2.05)
+
   (true_redshift_gal BETWEEN 1.99 AND 2.05)
 
  OR
 
  OR
 
   (ra_gal BETWEEN 42.5 AND 47.5) AND (dec_gal BETWEEN 12.5 AND 17.5)
 
   (ra_gal BETWEEN 42.5 AND 47.5) AND (dec_gal BETWEEN 12.5 AND 17.5)
Line 85: Line 85:
 
   (ra_gal BETWEEN 72.5 AND 77.5) AND (dec_gal BETWEEN 42.5 AND 47.5)
 
   (ra_gal BETWEEN 72.5 AND 77.5) AND (dec_gal BETWEEN 42.5 AND 47.5)
 
  ;
 
  ;
+
 
 
=== Output mock ===
 
=== Output mock ===
+
 
 
  CREATE EXTERNAL TABLE tallada.kai_flagship_1_8_5_s_pq (
 
  CREATE EXTERNAL TABLE tallada.kai_flagship_1_8_5_s_pq (
 
     `x_gal` FLOAT,
 
     `x_gal` FLOAT,
Line 252: Line 252:
 
  ;
 
  ;
  
CREATE TABLE tallada.flagship_1_8_5_s (
+
=== Final table, with lensing ===
    `halo_id` BIGINT,
 
    `galaxy_id` INT,
 
    `kind` BIGINT,
 
    `x_gal` FLOAT,
 
    `y_gal` FLOAT,
 
    `z_gal` FLOAT,
 
    `true_redshift_gal` FLOAT,
 
    `observed_redshift_gal` FLOAT,
 
    `gamma1` FLOAT,
 
    `gamma2` FLOAT,
 
    `gr_restframe` FLOAT,
 
    `gr_cosmos` FLOAT,
 
    `color_kind` BIGINT,
 
    `log_stellar_mass` FLOAT,
 
    `log_sfr` FLOAT,
 
    `mw_extinction` FLOAT,
 
    `abs_mag_r01_evolved` FLOAT,
 
    `sed_cosmos` FLOAT,
 
    `ext_curve_cosmos` BIGINT,
 
    `ebv_cosmos` FLOAT,
 
    `logf_halpha_model1_ext` FLOAT,
 
    `logf_hbeta_model1_ext` FLOAT,
 
    `logf_o2_model1_ext` FLOAT,
 
    `logf_n2_model1_ext` FLOAT,
 
    `logf_o3_model1_ext` FLOAT,
 
    `logf_s2_model1_ext` FLOAT,
 
    `logf_halpha_model3_ext` FLOAT,
 
    `logf_hbeta_model3_ext` FLOAT,
 
    `logf_o2_model3_ext` FLOAT,
 
    `logf_n2_model3_ext` FLOAT,
 
    `logf_o3_model3_ext` FLOAT,
 
    `logf_s2_model3_ext` FLOAT,
 
    `blanco_decam_g` FLOAT,
 
    `blanco_decam_g_abs` FLOAT,
 
    `blanco_decam_i` FLOAT,
 
    `blanco_decam_i_abs` FLOAT,
 
    `blanco_decam_r` FLOAT,
 
    `blanco_decam_r_abs` FLOAT,
 
    `blanco_decam_z` FLOAT,
 
    `blanco_decam_z_abs` FLOAT,
 
    `cfht_u` FLOAT,
 
    `cfht_u_abs` FLOAT,
 
    `cfht_wircam_ks` FLOAT,
 
    `cfht_wircam_ks_abs` FLOAT,
 
    `euclid_nisp_h` FLOAT,
 
    `euclid_nisp_h_abs` FLOAT,
 
    `euclid_nisp_j` FLOAT,
 
    `euclid_nisp_j_abs` FLOAT,
 
    `euclid_nisp_y` FLOAT,
 
    `euclid_nisp_y_abs` FLOAT,
 
    `euclid_vis` FLOAT,
 
    `euclid_vis_abs` FLOAT,
 
    `kids_g` FLOAT,
 
    `kids_g_abs` FLOAT,
 
    `kids_i` FLOAT,
 
    `kids_i_abs` FLOAT,
 
    `kids_r` FLOAT,
 
    `kids_r_abs` FLOAT,
 
    `kids_u` FLOAT,
 
    `kids_u_abs` FLOAT,
 
    `sdss_g` FLOAT,
 
    `sdss_g_abs` FLOAT,
 
    `sdss_i` FLOAT,
 
    `sdss_i_abs` FLOAT,
 
    `sdss_r` FLOAT,
 
    `sdss_r_abs` FLOAT,
 
    `sdss_u` FLOAT,
 
    `sdss_u_abs` FLOAT,
 
    `sdss_z` FLOAT,
 
    `sdss_z_abs` FLOAT,
 
    `subaru_r` FLOAT,
 
    `subaru_r_abs` FLOAT,
 
    `subaru_v` FLOAT,
 
    `subaru_v_abs` FLOAT,
 
    `blanco_decam_g_el_model1_odonnell_ext` FLOAT,
 
    `blanco_decam_g_el_model3_odonnell_ext` FLOAT,
 
    `blanco_decam_g_el_model1_abs` FLOAT,
 
    `blanco_decam_g_el_model3_abs` FLOAT,
 
    `blanco_decam_i_el_model1_odonnell_ext` FLOAT,
 
    `blanco_decam_i_el_model3_odonnell_ext` FLOAT,
 
    `blanco_decam_i_el_model1_abs` FLOAT,
 
    `blanco_decam_i_el_model3_abs` FLOAT,
 
    `blanco_decam_r_el_model1_odonnell_ext` FLOAT,
 
    `blanco_decam_r_el_model3_odonnell_ext` FLOAT,
 
    `blanco_decam_r_el_model1_abs` FLOAT,
 
    `blanco_decam_r_el_model3_abs` FLOAT,
 
    `blanco_decam_z_el_model1_odonnell_ext` FLOAT,
 
    `blanco_decam_z_el_model3_odonnell_ext` FLOAT,
 
    `blanco_decam_z_el_model1_abs` FLOAT,
 
    `blanco_decam_z_el_model3_abs` FLOAT,
 
    `cfht_u_el_model1_odonnell_ext` FLOAT,
 
    `cfht_u_el_model3_odonnell_ext` FLOAT,
 
    `cfht_u_el_model1_abs` FLOAT,
 
    `cfht_u_el_model3_abs` FLOAT,
 
    `cfht_wircam_ks_el_model1_odonnell_ext` FLOAT,
 
    `cfht_wircam_ks_el_model3_odonnell_ext` FLOAT,
 
    `cfht_wircam_ks_el_model1_abs` FLOAT,
 
    `cfht_wircam_ks_el_model3_abs` FLOAT,
 
    `euclid_nisp_h_el_model1_odonnell_ext` FLOAT,
 
    `euclid_nisp_h_el_model3_odonnell_ext` FLOAT,
 
    `euclid_nisp_h_el_model1_abs` FLOAT,
 
    `euclid_nisp_h_el_model3_abs` FLOAT,
 
    `euclid_nisp_j_el_model1_odonnell_ext` FLOAT,
 
    `euclid_nisp_j_el_model3_odonnell_ext` FLOAT,
 
    `euclid_nisp_j_el_model1_abs` FLOAT,
 
    `euclid_nisp_j_el_model3_abs` FLOAT,
 
    `euclid_nisp_y_el_model1_odonnell_ext` FLOAT,
 
    `euclid_nisp_y_el_model3_odonnell_ext` FLOAT,
 
    `euclid_nisp_y_el_model1_abs` FLOAT,
 
    `euclid_nisp_y_el_model3_abs` FLOAT,
 
    `euclid_vis_el_model1_odonnell_ext` FLOAT,
 
    `euclid_vis_el_model3_odonnell_ext` FLOAT,
 
    `euclid_vis_el_model1_abs` FLOAT,
 
    `euclid_vis_el_model3_abs` FLOAT,
 
    `kids_g_el_model1_odonnell_ext` FLOAT,
 
    `kids_g_el_model3_odonnell_ext` FLOAT,
 
    `kids_g_el_model1_abs` FLOAT,
 
    `kids_g_el_model3_abs` FLOAT,
 
    `kids_i_el_model1_odonnell_ext` FLOAT,
 
    `kids_i_el_model3_odonnell_ext` FLOAT,
 
    `kids_i_el_model1_abs` FLOAT,
 
    `kids_i_el_model3_abs` FLOAT,
 
    `kids_r_el_model1_odonnell_ext` FLOAT,
 
    `kids_r_el_model3_odonnell_ext` FLOAT,
 
    `kids_r_el_model1_abs` FLOAT,
 
    `kids_r_el_model3_abs` FLOAT,
 
    `kids_u_el_model1_odonnell_ext` FLOAT,
 
    `kids_u_el_model3_odonnell_ext` FLOAT,
 
    `kids_u_el_model1_abs` FLOAT,
 
    `kids_u_el_model3_abs` FLOAT,
 
    `sdss_g_el_model1_odonnell_ext` FLOAT,
 
    `sdss_g_el_model3_odonnell_ext` FLOAT,
 
    `sdss_g_el_model1_abs` FLOAT,
 
    `sdss_g_el_model3_abs` FLOAT,
 
    `sdss_i_el_model1_odonnell_ext` FLOAT,
 
    `sdss_i_el_model3_odonnell_ext` FLOAT,
 
    `sdss_i_el_model1_abs` FLOAT,
 
    `sdss_i_el_model3_abs` FLOAT,
 
    `sdss_r_el_model1_odonnell_ext` FLOAT,
 
    `sdss_r_el_model3_odonnell_ext` FLOAT,
 
    `sdss_r_el_model1_abs` FLOAT,
 
    `sdss_r_el_model3_abs` FLOAT,
 
    `sdss_u_el_model1_odonnell_ext` FLOAT,
 
    `sdss_u_el_model3_odonnell_ext` FLOAT,
 
    `sdss_u_el_model1_abs` FLOAT,
 
    `sdss_u_el_model3_abs` FLOAT,
 
    `sdss_z_el_model1_odonnell_ext` FLOAT,
 
    `sdss_z_el_model3_odonnell_ext` FLOAT,
 
    `sdss_z_el_model1_abs` FLOAT,
 
    `sdss_z_el_model3_abs` FLOAT,
 
    `subaru_r_el_model1_odonnell_ext` FLOAT,
 
    `subaru_r_el_model3_odonnell_ext` FLOAT,
 
    `subaru_r_el_model1_abs` FLOAT,
 
    `subaru_r_el_model3_abs` FLOAT,
 
    `subaru_v_el_model1_odonnell_ext` FLOAT,
 
    `subaru_v_el_model3_odonnell_ext` FLOAT,
 
    `subaru_v_el_model1_abs` FLOAT,
 
    `subaru_v_el_model3_abs` FLOAT
 
)
 
CLUSTERED BY (
 
  halo_id,
 
  galaxy_id
 
)
 
SORTED BY (
 
  halo_id,
 
  galaxy_id
 
)
 
INTO 256 BUCKETS
 
STORED AS ORC
 
;
 
  
INSERT OVERWRITE TABLE tallada.flagship_1_8_5_s
+
  CREATE TABLE tallada.`kai_flagship_halos_1_8_5_s` (
SELECT halo_id, galaxy_id, kind, x_gal, y_gal, z_gal, true_redshift_gal, observed_redshift_gal, gamma1, gamma2, gr_restframe, gr_cosmos, color_kind, log_stellar_mass, log_sfr, mw_extinction, abs_mag_r01_evolved, sed_cosmos, ext_curve_cosmos, ebv_cosmos, logf_halpha_model1_ext, logf_hbeta_model1_ext, logf_o2_model1_ext, logf_n2_model1_ext, logf_o3_model1_ext, logf_s2_model1_ext, logf_halpha_model3_ext, logf_hbeta_model3_ext, logf_o2_model3_ext, logf_n2_model3_ext, logf_o3_model3_ext, logf_s2_model3_ext, blanco_decam_g, blanco_decam_g_abs, blanco_decam_i, blanco_decam_i_abs, blanco_decam_r, blanco_decam_r_abs, blanco_decam_z, blanco_decam_z_abs, cfht_u, cfht_u_abs, cfht_wircam_ks, cfht_wircam_ks_abs, euclid_nisp_h, euclid_nisp_h_abs, euclid_nisp_j, euclid_nisp_j_abs, euclid_nisp_y, euclid_nisp_y_abs, euclid_vis, euclid_vis_abs, kids_g, kids_g_abs, kids_i, kids_i_abs, kids_r, kids_r_abs, kids_u, kids_u_abs, sdss_g, sdss_g_abs, sdss_i, sdss_i_abs, sdss_r, sdss_r_abs, sdss_u, sdss_u_abs, sdss_z, sdss_z_abs, subaru_r, subaru_r_abs, subaru_v, subaru_v_abs, blanco_decam_g_el_model1_odonnell_ext, blanco_decam_g_el_model3_odonnell_ext, blanco_decam_g_el_model1_abs, blanco_decam_g_el_model3_abs, blanco_decam_i_el_model1_odonnell_ext, blanco_decam_i_el_model3_odonnell_ext, blanco_decam_i_el_model1_abs, blanco_decam_i_el_model3_abs, blanco_decam_r_el_model1_odonnell_ext, blanco_decam_r_el_model3_odonnell_ext, blanco_decam_r_el_model1_abs, blanco_decam_r_el_model3_abs, blanco_decam_z_el_model1_odonnell_ext, blanco_decam_z_el_model3_odonnell_ext, blanco_decam_z_el_model1_abs, blanco_decam_z_el_model3_abs, cfht_u_el_model1_odonnell_ext, cfht_u_el_model3_odonnell_ext, cfht_u_el_model1_abs, cfht_u_el_model3_abs, cfht_wircam_ks_el_model1_odonnell_ext, cfht_wircam_ks_el_model3_odonnell_ext, cfht_wircam_ks_el_model1_abs, cfht_wircam_ks_el_model3_abs, euclid_nisp_h_el_model1_odonnell_ext, euclid_nisp_h_el_model3_odonnell_ext, euclid_nisp_h_el_model1_abs, euclid_nisp_h_el_model3_abs, euclid_nisp_j_el_model1_odonnell_ext, euclid_nisp_j_el_model3_odonnell_ext, euclid_nisp_j_el_model1_abs, euclid_nisp_j_el_model3_abs, euclid_nisp_y_el_model1_odonnell_ext, euclid_nisp_y_el_model3_odonnell_ext, euclid_nisp_y_el_model1_abs, euclid_nisp_y_el_model3_abs, euclid_vis_el_model1_odonnell_ext, euclid_vis_el_model3_odonnell_ext, euclid_vis_el_model1_abs, euclid_vis_el_model3_abs, kids_g_el_model1_odonnell_ext, kids_g_el_model3_odonnell_ext, kids_g_el_model1_abs, kids_g_el_model3_abs, kids_i_el_model1_odonnell_ext, kids_i_el_model3_odonnell_ext, kids_i_el_model1_abs, kids_i_el_model3_abs, kids_r_el_model1_odonnell_ext, kids_r_el_model3_odonnell_ext, kids_r_el_model1_abs, kids_r_el_model3_abs, kids_u_el_model1_odonnell_ext, kids_u_el_model3_odonnell_ext, kids_u_el_model1_abs, kids_u_el_model3_abs, sdss_g_el_model1_odonnell_ext, sdss_g_el_model3_odonnell_ext, sdss_g_el_model1_abs, sdss_g_el_model3_abs, sdss_i_el_model1_odonnell_ext, sdss_i_el_model3_odonnell_ext, sdss_i_el_model1_abs, sdss_i_el_model3_abs, sdss_r_el_model1_odonnell_ext, sdss_r_el_model3_odonnell_ext, sdss_r_el_model1_abs, sdss_r_el_model3_abs, sdss_u_el_model1_odonnell_ext, sdss_u_el_model3_odonnell_ext, sdss_u_el_model1_abs, sdss_u_el_model3_abs, sdss_z_el_model1_odonnell_ext, sdss_z_el_model3_odonnell_ext, sdss_z_el_model1_abs, sdss_z_el_model3_abs, subaru_r_el_model1_odonnell_ext, subaru_r_el_model3_odonnell_ext, subaru_r_el_model1_abs, subaru_r_el_model3_abs, subaru_v_el_model1_odonnell_ext, subaru_v_el_model3_odonnell_ext, subaru_v_el_model1_abs, subaru_v_el_model3_abs
 
FROM tallada.kai_flagship_1_8_5_s
 
;
 
 
 
=== Final table, with lensing ===
 
 
  CREATE TABLE tallada.`halos_flagship_1_8_5_s` (
 
 
     `halo_id` BIGINT,
 
     `halo_id` BIGINT,
 
     `galaxy_id` INT,
 
     `galaxy_id` INT,
     `x` float,
+
     `x` FLOAT,
     `y` float,
+
     `y` FLOAT,
     `z` float,
+
     `z` FLOAT,
     `vx` float,
+
     `vx` FLOAT,
     `vy` float,
+
     `vy` FLOAT,
     `vz` float,
+
     `vz` FLOAT,
     `jx` float,
+
     `jx` FLOAT,
     `jy` float,
+
     `jy` FLOAT,
     `jz` float,
+
     `jz` FLOAT,
     `b_to_aw` float,
+
     `b_to_aw` FLOAT,
     `c_to_aw` float,
+
     `c_to_aw` FLOAT,
     `aw_x` float,
+
     `aw_x` FLOAT,
     `aw_y` float,
+
     `aw_y` FLOAT,
     `aw_z` float,
+
     `aw_z` FLOAT,
     `cw_x` float,
+
     `cw_x` FLOAT,
     `cw_y` float,
+
     `cw_y` FLOAT,
     `cw_z` float,
+
     `cw_z` FLOAT,
     `b_to_aw_500c` float,
+
     `b_to_aw_500c` FLOAT,
     `c_to_aw_500c` float,
+
     `c_to_aw_500c` FLOAT,
     `aw_x_500c` float,
+
     `aw_x_500c` FLOAT,
     `aw_y_500c` float,
+
     `aw_y_500c` FLOAT,
     `aw_z_500c` float,
+
     `aw_z_500c` FLOAT,
     `cw_x_500c` float,
+
     `cw_x_500c` FLOAT,
     `cw_y_500c` float,
+
     `cw_y_500c` FLOAT,
     `cw_z_500c` float,
+
     `cw_z_500c` FLOAT,
     `b_to_a` float,
+
     `b_to_a` FLOAT,
     `c_to_a` float,
+
     `c_to_a` FLOAT,
     `a_x` float,
+
     `a_x` FLOAT,
     `a_y` float,
+
     `a_y` FLOAT,
     `a_z` float,
+
     `a_z` FLOAT,
     `c_x` float,
+
     `c_x` FLOAT,
     `c_y` float,
+
     `c_y` FLOAT,
     `c_z` float,
+
     `c_z` FLOAT,
     `b_to_a_500c` float,
+
     `b_to_a_500c` FLOAT,
     `c_to_a_500c` float,
+
     `c_to_a_500c` FLOAT,
     `a_x_500c` float,
+
     `a_x_500c` FLOAT,
     `a_y_500c` float,
+
     `a_y_500c` FLOAT,
     `a_z_500c` float,
+
     `a_z_500c` FLOAT,
     `c_x_500c` float,
+
     `c_x_500c` FLOAT,
     `c_y_500c` float,
+
     `c_y_500c` FLOAT,
     `c_z_500c` float,
+
     `c_z_500c` FLOAT,
     `kind` BIGINT,
+
     `kind` TINYINT,
 
     `x_gal` FLOAT,
 
     `x_gal` FLOAT,
 
     `y_gal` FLOAT,
 
     `y_gal` FLOAT,
Line 485: Line 308:
 
     `gr_restframe` FLOAT,
 
     `gr_restframe` FLOAT,
 
     `gr_cosmos` FLOAT,
 
     `gr_cosmos` FLOAT,
     `color_kind` BIGINT,
+
     `color_kind` TINYINT,
 
     `log_stellar_mass` FLOAT,
 
     `log_stellar_mass` FLOAT,
 
     `log_sfr` FLOAT,
 
     `log_sfr` FLOAT,
Line 491: Line 314:
 
     `abs_mag_r01_evolved` FLOAT,
 
     `abs_mag_r01_evolved` FLOAT,
 
     `sed_cosmos` FLOAT,
 
     `sed_cosmos` FLOAT,
     `ext_curve_cosmos` BIGINT,
+
     `ext_curve_cosmos` TINYINT,
 
     `ebv_cosmos` FLOAT,
 
     `ebv_cosmos` FLOAT,
 
     `logf_halpha_model1_ext` FLOAT,
 
     `logf_halpha_model1_ext` FLOAT,
Line 547: Line 370:
 
     `subaru_v` FLOAT,
 
     `subaru_v` FLOAT,
 
     `subaru_v_abs` FLOAT,
 
     `subaru_v_abs` FLOAT,
     `blanco_decam_g_el_model1_odonnell_ext` FLOAT,
+
     `blanco_decam_g_el_model1` FLOAT,
     `blanco_decam_g_el_model3_odonnell_ext` FLOAT,
+
     `blanco_decam_g_el_model3` FLOAT,
 
     `blanco_decam_g_el_model1_abs` FLOAT,
 
     `blanco_decam_g_el_model1_abs` FLOAT,
 
     `blanco_decam_g_el_model3_abs` FLOAT,
 
     `blanco_decam_g_el_model3_abs` FLOAT,
     `blanco_decam_i_el_model1_odonnell_ext` FLOAT,
+
     `blanco_decam_i_el_model1` FLOAT,
     `blanco_decam_i_el_model3_odonnell_ext` FLOAT,
+
     `blanco_decam_i_el_model3` FLOAT,
 
     `blanco_decam_i_el_model1_abs` FLOAT,
 
     `blanco_decam_i_el_model1_abs` FLOAT,
 
     `blanco_decam_i_el_model3_abs` FLOAT,
 
     `blanco_decam_i_el_model3_abs` FLOAT,
     `blanco_decam_r_el_model1_odonnell_ext` FLOAT,
+
     `blanco_decam_r_el_model1` FLOAT,
     `blanco_decam_r_el_model3_odonnell_ext` FLOAT,
+
     `blanco_decam_r_el_model3` FLOAT,
 
     `blanco_decam_r_el_model1_abs` FLOAT,
 
     `blanco_decam_r_el_model1_abs` FLOAT,
 
     `blanco_decam_r_el_model3_abs` FLOAT,
 
     `blanco_decam_r_el_model3_abs` FLOAT,
     `blanco_decam_z_el_model1_odonnell_ext` FLOAT,
+
     `blanco_decam_z_el_model1` FLOAT,
     `blanco_decam_z_el_model3_odonnell_ext` FLOAT,
+
     `blanco_decam_z_el_model3` FLOAT,
 
     `blanco_decam_z_el_model1_abs` FLOAT,
 
     `blanco_decam_z_el_model1_abs` FLOAT,
 
     `blanco_decam_z_el_model3_abs` FLOAT,
 
     `blanco_decam_z_el_model3_abs` FLOAT,
     `cfht_u_el_model1_odonnell_ext` FLOAT,
+
     `cfht_u_el_model1` FLOAT,
     `cfht_u_el_model3_odonnell_ext` FLOAT,
+
     `cfht_u_el_model3` FLOAT,
 
     `cfht_u_el_model1_abs` FLOAT,
 
     `cfht_u_el_model1_abs` FLOAT,
 
     `cfht_u_el_model3_abs` FLOAT,
 
     `cfht_u_el_model3_abs` FLOAT,
     `cfht_wircam_ks_el_model1_odonnell_ext` FLOAT,
+
     `cfht_wircam_ks_el_model1` FLOAT,
     `cfht_wircam_ks_el_model3_odonnell_ext` FLOAT,
+
     `cfht_wircam_ks_el_model3` FLOAT,
 
     `cfht_wircam_ks_el_model1_abs` FLOAT,
 
     `cfht_wircam_ks_el_model1_abs` FLOAT,
 
     `cfht_wircam_ks_el_model3_abs` FLOAT,
 
     `cfht_wircam_ks_el_model3_abs` FLOAT,
     `euclid_nisp_h_el_model1_odonnell_ext` FLOAT,
+
     `euclid_nisp_h_el_model1` FLOAT,
     `euclid_nisp_h_el_model3_odonnell_ext` FLOAT,
+
     `euclid_nisp_h_el_model3` FLOAT,
 
     `euclid_nisp_h_el_model1_abs` FLOAT,
 
     `euclid_nisp_h_el_model1_abs` FLOAT,
 
     `euclid_nisp_h_el_model3_abs` FLOAT,
 
     `euclid_nisp_h_el_model3_abs` FLOAT,
     `euclid_nisp_j_el_model1_odonnell_ext` FLOAT,
+
     `euclid_nisp_j_el_model1` FLOAT,
     `euclid_nisp_j_el_model3_odonnell_ext` FLOAT,
+
     `euclid_nisp_j_el_model3` FLOAT,
 
     `euclid_nisp_j_el_model1_abs` FLOAT,
 
     `euclid_nisp_j_el_model1_abs` FLOAT,
 
     `euclid_nisp_j_el_model3_abs` FLOAT,
 
     `euclid_nisp_j_el_model3_abs` FLOAT,
     `euclid_nisp_y_el_model1_odonnell_ext` FLOAT,
+
     `euclid_nisp_y_el_model1` FLOAT,
     `euclid_nisp_y_el_model3_odonnell_ext` FLOAT,
+
     `euclid_nisp_y_el_model3` FLOAT,
 
     `euclid_nisp_y_el_model1_abs` FLOAT,
 
     `euclid_nisp_y_el_model1_abs` FLOAT,
 
     `euclid_nisp_y_el_model3_abs` FLOAT,
 
     `euclid_nisp_y_el_model3_abs` FLOAT,
     `euclid_vis_el_model1_odonnell_ext` FLOAT,
+
     `euclid_vis_el_model1` FLOAT,
     `euclid_vis_el_model3_odonnell_ext` FLOAT,
+
     `euclid_vis_el_model3` FLOAT,
 
     `euclid_vis_el_model1_abs` FLOAT,
 
     `euclid_vis_el_model1_abs` FLOAT,
 
     `euclid_vis_el_model3_abs` FLOAT,
 
     `euclid_vis_el_model3_abs` FLOAT,
     `kids_g_el_model1_odonnell_ext` FLOAT,
+
     `kids_g_el_model1` FLOAT,
     `kids_g_el_model3_odonnell_ext` FLOAT,
+
     `kids_g_el_model3` FLOAT,
 
     `kids_g_el_model1_abs` FLOAT,
 
     `kids_g_el_model1_abs` FLOAT,
 
     `kids_g_el_model3_abs` FLOAT,
 
     `kids_g_el_model3_abs` FLOAT,
     `kids_i_el_model1_odonnell_ext` FLOAT,
+
     `kids_i_el_model1` FLOAT,
     `kids_i_el_model3_odonnell_ext` FLOAT,
+
     `kids_i_el_model3` FLOAT,
 
     `kids_i_el_model1_abs` FLOAT,
 
     `kids_i_el_model1_abs` FLOAT,
 
     `kids_i_el_model3_abs` FLOAT,
 
     `kids_i_el_model3_abs` FLOAT,
     `kids_r_el_model1_odonnell_ext` FLOAT,
+
     `kids_r_el_model1` FLOAT,
     `kids_r_el_model3_odonnell_ext` FLOAT,
+
     `kids_r_el_model3` FLOAT,
 
     `kids_r_el_model1_abs` FLOAT,
 
     `kids_r_el_model1_abs` FLOAT,
 
     `kids_r_el_model3_abs` FLOAT,
 
     `kids_r_el_model3_abs` FLOAT,
     `kids_u_el_model1_odonnell_ext` FLOAT,
+
     `kids_u_el_model1` FLOAT,
     `kids_u_el_model3_odonnell_ext` FLOAT,
+
     `kids_u_el_model3` FLOAT,
 
     `kids_u_el_model1_abs` FLOAT,
 
     `kids_u_el_model1_abs` FLOAT,
 
     `kids_u_el_model3_abs` FLOAT,
 
     `kids_u_el_model3_abs` FLOAT,
     `sdss_g_el_model1_odonnell_ext` FLOAT,
+
     `sdss_g_el_model1` FLOAT,
     `sdss_g_el_model3_odonnell_ext` FLOAT,
+
     `sdss_g_el_model3` FLOAT,
 
     `sdss_g_el_model1_abs` FLOAT,
 
     `sdss_g_el_model1_abs` FLOAT,
 
     `sdss_g_el_model3_abs` FLOAT,
 
     `sdss_g_el_model3_abs` FLOAT,
     `sdss_i_el_model1_odonnell_ext` FLOAT,
+
     `sdss_i_el_model1` FLOAT,
     `sdss_i_el_model3_odonnell_ext` FLOAT,
+
     `sdss_i_el_model3` FLOAT,
 
     `sdss_i_el_model1_abs` FLOAT,
 
     `sdss_i_el_model1_abs` FLOAT,
 
     `sdss_i_el_model3_abs` FLOAT,
 
     `sdss_i_el_model3_abs` FLOAT,
     `sdss_r_el_model1_odonnell_ext` FLOAT,
+
     `sdss_r_el_model1` FLOAT,
     `sdss_r_el_model3_odonnell_ext` FLOAT,
+
     `sdss_r_el_model3` FLOAT,
 
     `sdss_r_el_model1_abs` FLOAT,
 
     `sdss_r_el_model1_abs` FLOAT,
 
     `sdss_r_el_model3_abs` FLOAT,
 
     `sdss_r_el_model3_abs` FLOAT,
     `sdss_u_el_model1_odonnell_ext` FLOAT,
+
     `sdss_u_el_model1` FLOAT,
     `sdss_u_el_model3_odonnell_ext` FLOAT,
+
     `sdss_u_el_model3` FLOAT,
 
     `sdss_u_el_model1_abs` FLOAT,
 
     `sdss_u_el_model1_abs` FLOAT,
 
     `sdss_u_el_model3_abs` FLOAT,
 
     `sdss_u_el_model3_abs` FLOAT,
     `sdss_z_el_model1_odonnell_ext` FLOAT,
+
     `sdss_z_el_model1` FLOAT,
     `sdss_z_el_model3_odonnell_ext` FLOAT,
+
     `sdss_z_el_model3` FLOAT,
 
     `sdss_z_el_model1_abs` FLOAT,
 
     `sdss_z_el_model1_abs` FLOAT,
 
     `sdss_z_el_model3_abs` FLOAT,
 
     `sdss_z_el_model3_abs` FLOAT,
     `subaru_r_el_model1_odonnell_ext` FLOAT,
+
     `subaru_r_el_model1` FLOAT,
     `subaru_r_el_model3_odonnell_ext` FLOAT,
+
     `subaru_r_el_model3` FLOAT,
 
     `subaru_r_el_model1_abs` FLOAT,
 
     `subaru_r_el_model1_abs` FLOAT,
 
     `subaru_r_el_model3_abs` FLOAT,
 
     `subaru_r_el_model3_abs` FLOAT,
     `subaru_v_el_model1_odonnell_ext` FLOAT,
+
     `subaru_v_el_model1` FLOAT,
     `subaru_v_el_model3_odonnell_ext` FLOAT,
+
     `subaru_v_el_model3` FLOAT,
 
     `subaru_v_el_model1_abs` FLOAT,
 
     `subaru_v_el_model1_abs` FLOAT,
 
     `subaru_v_el_model3_abs` FLOAT
 
     `subaru_v_el_model3_abs` FLOAT
Line 644: Line 467:
 
  ;
 
  ;
  
  INSERT OVERWRITE TABLE tallada.`halos_flagship_1_8_5_s`
+
  INSERT OVERWRITE TABLE tallada.`kai_flagship_halos_1_8_5_s`
 
  SELECT
 
  SELECT
 
     g.halo_id, g.galaxy_id,
 
     g.halo_id, g.galaxy_id,
Line 675: Line 498:
 
     g.blanco_decam_r, g.blanco_decam_r_abs, g.blanco_decam_z, g.blanco_decam_z_abs,
 
     g.blanco_decam_r, g.blanco_decam_r_abs, g.blanco_decam_z, g.blanco_decam_z_abs,
 
     g.cfht_u, g.cfht_u_abs, g.cfht_wircam_ks, g.cfht_wircam_ks_abs,
 
     g.cfht_u, g.cfht_u_abs, g.cfht_wircam_ks, g.cfht_wircam_ks_abs,
     g.euclid_nisp_h, g.euclid_nisp_h_abs, g.euclid_nisp_j, g.euclid_nisp_j_abs, g.euclid_nisp_y, g.euclid_nisp_y_abs,
+
     g.euclid_nisp_h, g.euclid_nisp_h_abs, g.euclid_nisp_j, g.euclid_nisp_j_abs,
    g.euclid_vis, g.euclid_vis_abs,
+
    g.euclid_nisp_y, g.euclid_nisp_y_abs, g.euclid_vis, g.euclid_vis_abs,
 
     g.kids_g, g.kids_g_abs, g.kids_i, g.kids_i_abs, g.kids_r, g.kids_r_abs, g.kids_u, g.kids_u_abs,
 
     g.kids_g, g.kids_g_abs, g.kids_i, g.kids_i_abs, g.kids_r, g.kids_r_abs, g.kids_u, g.kids_u_abs,
 
     g.sdss_g, g.sdss_g_abs, g.sdss_i, g.sdss_i_abs, g.sdss_r, g.sdss_r_abs, g.sdss_u, g.sdss_u_abs, g.sdss_z, g.sdss_z_abs,
 
     g.sdss_g, g.sdss_g_abs, g.sdss_i, g.sdss_i_abs, g.sdss_r, g.sdss_r_abs, g.sdss_u, g.sdss_u_abs, g.sdss_z, g.sdss_z_abs,
 
     g.subaru_r, g.subaru_r_abs, g.subaru_v, g.subaru_v_abs,
 
     g.subaru_r, g.subaru_r_abs, g.subaru_v, g.subaru_v_abs,
     g.blanco_decam_g_el_model1_odonnell_ext, g.blanco_decam_g_el_model3_odonnell_ext,
+
     g.blanco_decam_g_el_model1, g.blanco_decam_g_el_model3, g.blanco_decam_g_el_model1_abs, g.blanco_decam_g_el_model3_abs,
    g.blanco_decam_g_el_model1_abs, g.blanco_decam_g_el_model3_abs,
+
     g.blanco_decam_i_el_model1, g.blanco_decam_i_el_model3, g.blanco_decam_i_el_model1_abs, g.blanco_decam_i_el_model3_abs,
     g.blanco_decam_i_el_model1_odonnell_ext, g.blanco_decam_i_el_model3_odonnell_ext,
+
     g.blanco_decam_r_el_model1, g.blanco_decam_r_el_model3, g.blanco_decam_r_el_model1_abs, g.blanco_decam_r_el_model3_abs,
    g.blanco_decam_i_el_model1_abs, g.blanco_decam_i_el_model3_abs,
+
     g.blanco_decam_z_el_model1, g.blanco_decam_z_el_model3, g.blanco_decam_z_el_model1_abs, g.blanco_decam_z_el_model3_abs,
     g.blanco_decam_r_el_model1_odonnell_ext, g.blanco_decam_r_el_model3_odonnell_ext,
+
     g.cfht_u_el_model1, g.cfht_u_el_model3, g.cfht_u_el_model1_abs, g.cfht_u_el_model3_abs,
    g.blanco_decam_r_el_model1_abs, g.blanco_decam_r_el_model3_abs,
+
     g.cfht_wircam_ks_el_model1, g.cfht_wircam_ks_el_model3, g.cfht_wircam_ks_el_model1_abs, g.cfht_wircam_ks_el_model3_abs,
     g.blanco_decam_z_el_model1_odonnell_ext, g.blanco_decam_z_el_model3_odonnell_ext,
+
     g.euclid_nisp_h_el_model1, g.euclid_nisp_h_el_model3, g.euclid_nisp_h_el_model1_abs, g.euclid_nisp_h_el_model3_abs,
    g.blanco_decam_z_el_model1_abs, g.blanco_decam_z_el_model3_abs,
+
     g.euclid_nisp_j_el_model1, g.euclid_nisp_j_el_model3, g.euclid_nisp_j_el_model1_abs, g.euclid_nisp_j_el_model3_abs,
     g.cfht_u_el_model1_odonnell_ext, g.cfht_u_el_model3_odonnell_ext,
+
     g.euclid_nisp_y_el_model1, g.euclid_nisp_y_el_model3, g.euclid_nisp_y_el_model1_abs, g.euclid_nisp_y_el_model3_abs,
    g.cfht_u_el_model1_abs, g.cfht_u_el_model3_abs,
+
     g.euclid_vis_el_model1, g.euclid_vis_el_model3, g.euclid_vis_el_model1_abs, g.euclid_vis_el_model3_abs,
     g.cfht_wircam_ks_el_model1_odonnell_ext, g.cfht_wircam_ks_el_model3_odonnell_ext,
+
     g.kids_g_el_model1, g.kids_g_el_model3, g.kids_g_el_model1_abs, g.kids_g_el_model3_abs,
    g.cfht_wircam_ks_el_model1_abs, g.cfht_wircam_ks_el_model3_abs,
+
     g.kids_i_el_model1, g.kids_i_el_model3, g.kids_i_el_model1_abs, g.kids_i_el_model3_abs,
     g.euclid_nisp_h_el_model1_odonnell_ext, g.euclid_nisp_h_el_model3_odonnell_ext,
+
     g.kids_r_el_model1, g.kids_r_el_model3, g.kids_r_el_model1_abs, g.kids_r_el_model3_abs,
    g.euclid_nisp_h_el_model1_abs, g.euclid_nisp_h_el_model3_abs,
+
     g.kids_u_el_model1, g.kids_u_el_model3, g.kids_u_el_model1_abs, g.kids_u_el_model3_abs,
     g.euclid_nisp_j_el_model1_odonnell_ext, g.euclid_nisp_j_el_model3_odonnell_ext,
+
     g.sdss_g_el_model1, g.sdss_g_el_model3, g.sdss_g_el_model1_abs, g.sdss_g_el_model3_abs,
    g.euclid_nisp_j_el_model1_abs, g.euclid_nisp_j_el_model3_abs,
+
     g.sdss_i_el_model1, g.sdss_i_el_model3, g.sdss_i_el_model1_abs, g.sdss_i_el_model3_abs,
     g.euclid_nisp_y_el_model1_odonnell_ext, g.euclid_nisp_y_el_model3_odonnell_ext,
+
     g.sdss_r_el_model1, g.sdss_r_el_model3, g.sdss_r_el_model1_abs, g.sdss_r_el_model3_abs,
    g.euclid_nisp_y_el_model1_abs, g.euclid_nisp_y_el_model3_abs,
+
     g.sdss_u_el_model1, g.sdss_u_el_model3, g.sdss_u_el_model1_abs, g.sdss_u_el_model3_abs,
     g.euclid_vis_el_model1_odonnell_ext, g.euclid_vis_el_model3_odonnell_ext,
+
     g.sdss_z_el_model1, g.sdss_z_el_model3, g.sdss_z_el_model1_abs, g.sdss_z_el_model3_abs,
    g.euclid_vis_el_model1_abs, g.euclid_vis_el_model3_abs,
+
     g.subaru_r_el_model1, g.subaru_r_el_model3, g.subaru_r_el_model1_abs, g.subaru_r_el_model3_abs,
     g.kids_g_el_model1_odonnell_ext, g.kids_g_el_model3_odonnell_ext,
+
     g.subaru_v_el_model1, g.subaru_v_el_model3, g.subaru_v_el_model1_abs, g.subaru_v_el_model3_abs
    g.kids_g_el_model1_abs, g.kids_g_el_model3_abs,
 
     g.kids_i_el_model1_odonnell_ext, g.kids_i_el_model3_odonnell_ext,
 
    g.kids_i_el_model1_abs, g.kids_i_el_model3_abs,
 
     g.kids_r_el_model1_odonnell_ext, g.kids_r_el_model3_odonnell_ext,
 
    g.kids_r_el_model1_abs, g.kids_r_el_model3_abs,
 
     g.kids_u_el_model1_odonnell_ext, g.kids_u_el_model3_odonnell_ext,
 
    g.kids_u_el_model1_abs, g.kids_u_el_model3_abs,
 
     g.sdss_g_el_model1_odonnell_ext, g.sdss_g_el_model3_odonnell_ext,
 
    g.sdss_g_el_model1_abs, g.sdss_g_el_model3_abs,
 
     g.sdss_i_el_model1_odonnell_ext, g.sdss_i_el_model3_odonnell_ext,
 
    g.sdss_i_el_model1_abs, g.sdss_i_el_model3_abs,
 
     g.sdss_r_el_model1_odonnell_ext, g.sdss_r_el_model3_odonnell_ext,
 
    g.sdss_r_el_model1_abs, g.sdss_r_el_model3_abs,
 
     g.sdss_u_el_model1_odonnell_ext, g.sdss_u_el_model3_odonnell_ext,
 
    g.sdss_u_el_model1_abs, g.sdss_u_el_model3_abs,
 
     g.sdss_z_el_model1_odonnell_ext, g.sdss_z_el_model3_odonnell_ext,
 
    g.sdss_z_el_model1_abs, g.sdss_z_el_model3_abs,
 
     g.subaru_r_el_model1_odonnell_ext, g.subaru_r_el_model3_odonnell_ext,
 
    g.subaru_r_el_model1_abs, g.subaru_r_el_model3_abs,
 
     g.subaru_v_el_model1_odonnell_ext, g.subaru_v_el_model3_odonnell_ext,
 
    g.subaru_v_el_model1_abs, g.subaru_v_el_model3_abs
 
 
  FROM cosmohub.flagship_rockstar_octant1_c AS h
 
  FROM cosmohub.flagship_rockstar_octant1_c AS h
  JOIN tallada.flagship_1_8_5_s AS g
+
  JOIN tallada.kai_flagship_1_8_5_s_pq AS g
 
   ON
 
   ON
 
     CAST(SUBSTRING(g.halo_id, 1, 2) AS INT) - 33 = h.`bx`
 
     CAST(SUBSTRING(g.halo_id, 1, 2) AS INT) - 33 = h.`bx`

Latest revision as of 11:39, 6 September 2019

Table for input galaxies

CREATE TABLE tallada.`kai_input_flagship_1_8_5_s`(
  `halo_id` bigint,
  `galaxy_id` int,
  `x_gal` float,
  `y_gal` float,
  `z_gal` float,
  `gamma1` float,
  `gamma2` float,
  `true_redshift_gal` float,
  `observed_redshift_gal` float,
  `kind` bigint,
  `color_kind` bigint,
  `gr_restframe` float,
  `gr_cosmos` float,
  `log_stellar_mass` float,
  `log_sfr` float,
  `mw_extinction` float,
  `abs_mag_r01_evolved` float,
  `sed_cosmos` float,
  `ext_curve_cosmos` tinyint,
  `ebv_cosmos` float,
  `logf_halpha_model1_ext` float,
  `logf_hbeta_model1_ext` float,
  `logf_o2_model1_ext` float,
  `logf_n2_model1_ext` float,
  `logf_o3_model1_ext` float,
  `logf_s2_model1_ext` float,
  `logf_halpha_model3_ext` float,
  `logf_hbeta_model3_ext` float,
  `logf_o2_model3_ext` float,
  `logf_n2_model3_ext` float,
  `logf_o3_model3_ext` float,
  `logf_s2_model3_ext` float
)
CLUSTERED BY (
  halo_id,
  galaxy_id
)
SORTED BY (
  halo_id,
  galaxy_id
)
INTO 256 BUCKETS
STORED AS ORC
;
INSERT OVERWRITE TABLE tallada.kai_input_flagship_1_8_5_s
SELECT
  halo_id, galaxy_id,
  x_gal, y_gal, z_gal,
  gamma1, gamma2,
  true_redshift_gal, observed_redshift_gal,
  kind, color_kind,
  gr_restframe, gr_cosmos,
  log_stellar_mass, log_sfr,
  mw_extinction,
  abs_mag_r01_evolved,
  sed_cosmos, ext_curve_cosmos, ebv_cosmos,
  logf_halpha_model1_ext, logf_hbeta_model1_ext, logf_o2_model1_ext,
  logf_n2_model1_ext, logf_o3_model1_ext, logf_s2_model1_ext,
  logf_halpha_model3_ext, logf_hbeta_model3_ext, logf_o2_model3_ext,
  logf_n2_model3_ext, logf_o3_model3_ext, logf_s2_model3_ext
FROM cosmohub.flagship_1_8_4_s
WHERE 
  (true_redshift_gal BETWEEN 0.00 AND 0.40)
OR
  (true_redshift_gal BETWEEN 0.49 AND 0.51)
OR
  (true_redshift_gal BETWEEN 0.99 AND 1.02)
OR
  (true_redshift_gal BETWEEN 1.49 AND 1.53)
OR
  (true_redshift_gal BETWEEN 1.99 AND 2.05)
OR
  (ra_gal BETWEEN 42.5 AND 47.5) AND (dec_gal BETWEEN 12.5 AND 17.5)
OR
  (ra_gal BETWEEN 42.5 AND 47.5) AND (dec_gal BETWEEN 42.5 AND 47.5)
OR
  (ra_gal BETWEEN 42.5 AND 47.5) AND (dec_gal BETWEEN 72.5 AND 77.5)
OR
  (ra_gal BETWEEN 12.5 AND 17.5) AND (dec_gal BETWEEN 42.5 AND 47.5)
OR
  (ra_gal BETWEEN 72.5 AND 77.5) AND (dec_gal BETWEEN 42.5 AND 47.5)
;

Output mock

CREATE EXTERNAL TABLE tallada.kai_flagship_1_8_5_s_pq (
    `x_gal` FLOAT,
    `y_gal` FLOAT,
    `z_gal` FLOAT,
    `gamma1` FLOAT,
    `gamma2` FLOAT,
    `true_redshift_gal` FLOAT,
    `observed_redshift_gal` FLOAT,
    `kind` TINYINT,
    `color_kind` TINYINT,
    `gr_restframe` FLOAT,
    `gr_cosmos` FLOAT,
    `log_stellar_mass` FLOAT,
    `log_sfr` FLOAT,
    `mw_extinction` FLOAT,
    `abs_mag_r01_evolved` FLOAT,
    `sed_cosmos` FLOAT,
    `ext_curve_cosmos` TINYINT,
    `ebv_cosmos` FLOAT,
    `logf_halpha_model1_ext` FLOAT,
    `logf_hbeta_model1_ext` FLOAT,
    `logf_o2_model1_ext` FLOAT,
    `logf_n2_model1_ext` FLOAT,
    `logf_o3_model1_ext` FLOAT,
    `logf_s2_model1_ext` FLOAT,
    `logf_halpha_model3_ext` FLOAT,
    `logf_hbeta_model3_ext` FLOAT,
    `logf_o2_model3_ext` FLOAT,
    `logf_n2_model3_ext` FLOAT,
    `logf_o3_model3_ext` FLOAT,
    `logf_s2_model3_ext` FLOAT,
    `blanco_decam_g` FLOAT,
    `blanco_decam_g_abs` FLOAT,
    `blanco_decam_i` FLOAT,
    `blanco_decam_i_abs` FLOAT,
    `blanco_decam_r` FLOAT,
    `blanco_decam_r_abs` FLOAT,
    `blanco_decam_z` FLOAT,
    `blanco_decam_z_abs` FLOAT,
    `cfht_u` FLOAT,
    `cfht_u_abs` FLOAT,
    `cfht_wircam_ks` FLOAT,
    `cfht_wircam_ks_abs` FLOAT,
    `euclid_nisp_h` FLOAT,
    `euclid_nisp_h_abs` FLOAT,
    `euclid_nisp_j` FLOAT,
    `euclid_nisp_j_abs` FLOAT,
    `euclid_nisp_y` FLOAT,
    `euclid_nisp_y_abs` FLOAT,
    `euclid_vis` FLOAT,
    `euclid_vis_abs` FLOAT,
    `kids_g` FLOAT,
    `kids_g_abs` FLOAT,
    `kids_i` FLOAT,
    `kids_i_abs` FLOAT,
    `kids_r` FLOAT,
    `kids_r_abs` FLOAT,
    `kids_u` FLOAT,
    `kids_u_abs` FLOAT,
    `sdss_g` FLOAT,
    `sdss_g_abs` FLOAT,
    `sdss_i` FLOAT,
    `sdss_i_abs` FLOAT,
    `sdss_r` FLOAT,
    `sdss_r_abs` FLOAT,
    `sdss_u` FLOAT,
    `sdss_u_abs` FLOAT,
    `sdss_z` FLOAT,
    `sdss_z_abs` FLOAT,
    `subaru_r` FLOAT,
    `subaru_r_abs` FLOAT,
    `subaru_v` FLOAT,
    `subaru_v_abs` FLOAT,
    `blanco_decam_g_el_model1` FLOAT,
    `blanco_decam_g_el_model3` FLOAT,
    `blanco_decam_g_el_model1_abs` FLOAT,
    `blanco_decam_g_el_model3_abs` FLOAT,
    `blanco_decam_i_el_model1` FLOAT,
    `blanco_decam_i_el_model3` FLOAT,
    `blanco_decam_i_el_model1_abs` FLOAT,
    `blanco_decam_i_el_model3_abs` FLOAT,
    `blanco_decam_r_el_model1` FLOAT,
    `blanco_decam_r_el_model3` FLOAT,
    `blanco_decam_r_el_model1_abs` FLOAT,
    `blanco_decam_r_el_model3_abs` FLOAT,
    `blanco_decam_z_el_model1` FLOAT,
    `blanco_decam_z_el_model3` FLOAT,
    `blanco_decam_z_el_model1_abs` FLOAT,
    `blanco_decam_z_el_model3_abs` FLOAT,
    `cfht_u_el_model1` FLOAT,
    `cfht_u_el_model3` FLOAT,
    `cfht_u_el_model1_abs` FLOAT,
    `cfht_u_el_model3_abs` FLOAT,
    `cfht_wircam_ks_el_model1` FLOAT,
    `cfht_wircam_ks_el_model3` FLOAT,
    `cfht_wircam_ks_el_model1_abs` FLOAT,
    `cfht_wircam_ks_el_model3_abs` FLOAT,
    `euclid_nisp_h_el_model1` FLOAT,
    `euclid_nisp_h_el_model3` FLOAT,
    `euclid_nisp_h_el_model1_abs` FLOAT,
    `euclid_nisp_h_el_model3_abs` FLOAT,
    `euclid_nisp_j_el_model1` FLOAT,
    `euclid_nisp_j_el_model3` FLOAT,
    `euclid_nisp_j_el_model1_abs` FLOAT,
    `euclid_nisp_j_el_model3_abs` FLOAT,
    `euclid_nisp_y_el_model1` FLOAT,
    `euclid_nisp_y_el_model3` FLOAT,
    `euclid_nisp_y_el_model1_abs` FLOAT,
    `euclid_nisp_y_el_model3_abs` FLOAT,
    `euclid_vis_el_model1` FLOAT,
    `euclid_vis_el_model3` FLOAT,
    `euclid_vis_el_model1_abs` FLOAT,
    `euclid_vis_el_model3_abs` FLOAT,
    `kids_g_el_model1` FLOAT,
    `kids_g_el_model3` FLOAT,
    `kids_g_el_model1_abs` FLOAT,
    `kids_g_el_model3_abs` FLOAT,
    `kids_i_el_model1` FLOAT,
    `kids_i_el_model3` FLOAT,
    `kids_i_el_model1_abs` FLOAT,
    `kids_i_el_model3_abs` FLOAT,
    `kids_r_el_model1` FLOAT,
    `kids_r_el_model3` FLOAT,
    `kids_r_el_model1_abs` FLOAT,
    `kids_r_el_model3_abs` FLOAT,
    `kids_u_el_model1` FLOAT,
    `kids_u_el_model3` FLOAT,
    `kids_u_el_model1_abs` FLOAT,
    `kids_u_el_model3_abs` FLOAT,
    `sdss_g_el_model1` FLOAT,
    `sdss_g_el_model3` FLOAT,
    `sdss_g_el_model1_abs` FLOAT,
    `sdss_g_el_model3_abs` FLOAT,
    `sdss_i_el_model1` FLOAT,
    `sdss_i_el_model3` FLOAT,
    `sdss_i_el_model1_abs` FLOAT,
    `sdss_i_el_model3_abs` FLOAT,
    `sdss_r_el_model1` FLOAT,
    `sdss_r_el_model3` FLOAT,
    `sdss_r_el_model1_abs` FLOAT,
    `sdss_r_el_model3_abs` FLOAT,
    `sdss_u_el_model1` FLOAT,
    `sdss_u_el_model3` FLOAT,
    `sdss_u_el_model1_abs` FLOAT,
    `sdss_u_el_model3_abs` FLOAT,
    `sdss_z_el_model1` FLOAT,
    `sdss_z_el_model3` FLOAT,
    `sdss_z_el_model1_abs` FLOAT,
    `sdss_z_el_model3_abs` FLOAT,
    `subaru_r_el_model1` FLOAT,
    `subaru_r_el_model3` FLOAT,
    `subaru_r_el_model1_abs` FLOAT,
    `subaru_r_el_model3_abs` FLOAT,
    `subaru_v_el_model1` FLOAT,
    `subaru_v_el_model3` FLOAT,
    `subaru_v_el_model1_abs` FLOAT,
    `subaru_v_el_model3_abs` FLOAT,
    `halo_id` BIGINT,
    `galaxy_id` INT
)
STORED AS PARQUET
LOCATION '/user/tallada/data/euclid/flagship_1_8_5/mock'
;

Final table, with lensing

CREATE TABLE tallada.`kai_flagship_halos_1_8_5_s` (
    `halo_id` BIGINT,
    `galaxy_id` INT,
    `x` FLOAT,
    `y` FLOAT,
    `z` FLOAT,
    `vx` FLOAT,
    `vy` FLOAT,
    `vz` FLOAT,
    `jx` FLOAT,
    `jy` FLOAT,
    `jz` FLOAT,
    `b_to_aw` FLOAT,
    `c_to_aw` FLOAT,
    `aw_x` FLOAT,
    `aw_y` FLOAT,
    `aw_z` FLOAT,
    `cw_x` FLOAT,
    `cw_y` FLOAT,
    `cw_z` FLOAT,
    `b_to_aw_500c` FLOAT,
    `c_to_aw_500c` FLOAT,
    `aw_x_500c` FLOAT,
    `aw_y_500c` FLOAT,
    `aw_z_500c` FLOAT,
    `cw_x_500c` FLOAT,
    `cw_y_500c` FLOAT,
    `cw_z_500c` FLOAT,
    `b_to_a` FLOAT,
    `c_to_a` FLOAT,
    `a_x` FLOAT,
    `a_y` FLOAT,
    `a_z` FLOAT,
    `c_x` FLOAT,
    `c_y` FLOAT,
    `c_z` FLOAT,
    `b_to_a_500c` FLOAT,
    `c_to_a_500c` FLOAT,
    `a_x_500c` FLOAT,
    `a_y_500c` FLOAT,
    `a_z_500c` FLOAT,
    `c_x_500c` FLOAT,
    `c_y_500c` FLOAT,
    `c_z_500c` FLOAT,
    `kind` TINYINT,
    `x_gal` FLOAT,
    `y_gal` FLOAT,
    `z_gal` FLOAT,
    `true_redshift_gal` FLOAT,
    `observed_redshift_gal` FLOAT,
    `gamma1` FLOAT,
    `gamma2` FLOAT,
    `gr_restframe` FLOAT,
    `gr_cosmos` FLOAT,
    `color_kind` TINYINT,
    `log_stellar_mass` FLOAT,
    `log_sfr` FLOAT,
    `mw_extinction` FLOAT,
    `abs_mag_r01_evolved` FLOAT,
    `sed_cosmos` FLOAT,
    `ext_curve_cosmos` TINYINT,
    `ebv_cosmos` FLOAT,
    `logf_halpha_model1_ext` FLOAT,
    `logf_hbeta_model1_ext` FLOAT,
    `logf_o2_model1_ext` FLOAT,
    `logf_n2_model1_ext` FLOAT,
    `logf_o3_model1_ext` FLOAT,
    `logf_s2_model1_ext` FLOAT,
    `logf_halpha_model3_ext` FLOAT,
    `logf_hbeta_model3_ext` FLOAT,
    `logf_o2_model3_ext` FLOAT,
    `logf_n2_model3_ext` FLOAT,
    `logf_o3_model3_ext` FLOAT,
    `logf_s2_model3_ext` FLOAT,
    `blanco_decam_g` FLOAT,
    `blanco_decam_g_abs` FLOAT,
    `blanco_decam_i` FLOAT,
    `blanco_decam_i_abs` FLOAT,
    `blanco_decam_r` FLOAT,
    `blanco_decam_r_abs` FLOAT,
    `blanco_decam_z` FLOAT,
    `blanco_decam_z_abs` FLOAT,
    `cfht_u` FLOAT,
    `cfht_u_abs` FLOAT,
    `cfht_wircam_ks` FLOAT,
    `cfht_wircam_ks_abs` FLOAT,
    `euclid_nisp_h` FLOAT,
    `euclid_nisp_h_abs` FLOAT,
    `euclid_nisp_j` FLOAT,
    `euclid_nisp_j_abs` FLOAT,
    `euclid_nisp_y` FLOAT,
    `euclid_nisp_y_abs` FLOAT,
    `euclid_vis` FLOAT,
    `euclid_vis_abs` FLOAT,
    `kids_g` FLOAT,
    `kids_g_abs` FLOAT,
    `kids_i` FLOAT,
    `kids_i_abs` FLOAT,
    `kids_r` FLOAT,
    `kids_r_abs` FLOAT,
    `kids_u` FLOAT,
    `kids_u_abs` FLOAT,
    `sdss_g` FLOAT,
    `sdss_g_abs` FLOAT,
    `sdss_i` FLOAT,
    `sdss_i_abs` FLOAT,
    `sdss_r` FLOAT,
    `sdss_r_abs` FLOAT,
    `sdss_u` FLOAT,
    `sdss_u_abs` FLOAT,
    `sdss_z` FLOAT,
    `sdss_z_abs` FLOAT,
    `subaru_r` FLOAT,
    `subaru_r_abs` FLOAT,
    `subaru_v` FLOAT,
    `subaru_v_abs` FLOAT,
    `blanco_decam_g_el_model1` FLOAT,
    `blanco_decam_g_el_model3` FLOAT,
    `blanco_decam_g_el_model1_abs` FLOAT,
    `blanco_decam_g_el_model3_abs` FLOAT,
    `blanco_decam_i_el_model1` FLOAT,
    `blanco_decam_i_el_model3` FLOAT,
    `blanco_decam_i_el_model1_abs` FLOAT,
    `blanco_decam_i_el_model3_abs` FLOAT,
    `blanco_decam_r_el_model1` FLOAT,
    `blanco_decam_r_el_model3` FLOAT,
    `blanco_decam_r_el_model1_abs` FLOAT,
    `blanco_decam_r_el_model3_abs` FLOAT,
    `blanco_decam_z_el_model1` FLOAT,
    `blanco_decam_z_el_model3` FLOAT,
    `blanco_decam_z_el_model1_abs` FLOAT,
    `blanco_decam_z_el_model3_abs` FLOAT,
    `cfht_u_el_model1` FLOAT,
    `cfht_u_el_model3` FLOAT,
    `cfht_u_el_model1_abs` FLOAT,
    `cfht_u_el_model3_abs` FLOAT,
    `cfht_wircam_ks_el_model1` FLOAT,
    `cfht_wircam_ks_el_model3` FLOAT,
    `cfht_wircam_ks_el_model1_abs` FLOAT,
    `cfht_wircam_ks_el_model3_abs` FLOAT,
    `euclid_nisp_h_el_model1` FLOAT,
    `euclid_nisp_h_el_model3` FLOAT,
    `euclid_nisp_h_el_model1_abs` FLOAT,
    `euclid_nisp_h_el_model3_abs` FLOAT,
    `euclid_nisp_j_el_model1` FLOAT,
    `euclid_nisp_j_el_model3` FLOAT,
    `euclid_nisp_j_el_model1_abs` FLOAT,
    `euclid_nisp_j_el_model3_abs` FLOAT,
    `euclid_nisp_y_el_model1` FLOAT,
    `euclid_nisp_y_el_model3` FLOAT,
    `euclid_nisp_y_el_model1_abs` FLOAT,
    `euclid_nisp_y_el_model3_abs` FLOAT,
    `euclid_vis_el_model1` FLOAT,
    `euclid_vis_el_model3` FLOAT,
    `euclid_vis_el_model1_abs` FLOAT,
    `euclid_vis_el_model3_abs` FLOAT,
    `kids_g_el_model1` FLOAT,
    `kids_g_el_model3` FLOAT,
    `kids_g_el_model1_abs` FLOAT,
    `kids_g_el_model3_abs` FLOAT,
    `kids_i_el_model1` FLOAT,
    `kids_i_el_model3` FLOAT,
    `kids_i_el_model1_abs` FLOAT,
    `kids_i_el_model3_abs` FLOAT,
    `kids_r_el_model1` FLOAT,
    `kids_r_el_model3` FLOAT,
    `kids_r_el_model1_abs` FLOAT,
    `kids_r_el_model3_abs` FLOAT,
    `kids_u_el_model1` FLOAT,
    `kids_u_el_model3` FLOAT,
    `kids_u_el_model1_abs` FLOAT,
    `kids_u_el_model3_abs` FLOAT,
    `sdss_g_el_model1` FLOAT,
    `sdss_g_el_model3` FLOAT,
    `sdss_g_el_model1_abs` FLOAT,
    `sdss_g_el_model3_abs` FLOAT,
    `sdss_i_el_model1` FLOAT,
    `sdss_i_el_model3` FLOAT,
    `sdss_i_el_model1_abs` FLOAT,
    `sdss_i_el_model3_abs` FLOAT,
    `sdss_r_el_model1` FLOAT,
    `sdss_r_el_model3` FLOAT,
    `sdss_r_el_model1_abs` FLOAT,
    `sdss_r_el_model3_abs` FLOAT,
    `sdss_u_el_model1` FLOAT,
    `sdss_u_el_model3` FLOAT,
    `sdss_u_el_model1_abs` FLOAT,
    `sdss_u_el_model3_abs` FLOAT,
    `sdss_z_el_model1` FLOAT,
    `sdss_z_el_model3` FLOAT,
    `sdss_z_el_model1_abs` FLOAT,
    `sdss_z_el_model3_abs` FLOAT,
    `subaru_r_el_model1` FLOAT,
    `subaru_r_el_model3` FLOAT,
    `subaru_r_el_model1_abs` FLOAT,
    `subaru_r_el_model3_abs` FLOAT,
    `subaru_v_el_model1` FLOAT,
    `subaru_v_el_model3` FLOAT,
    `subaru_v_el_model1_abs` FLOAT,
    `subaru_v_el_model3_abs` FLOAT
)
CLUSTERED BY (
  halo_id,
  galaxy_id
)
SORTED BY (
  halo_id,
  galaxy_id
)
INTO 256 BUCKETS
STORED AS ORC
;
INSERT OVERWRITE TABLE tallada.`kai_flagship_halos_1_8_5_s`
SELECT
    g.halo_id, g.galaxy_id,
    h.x, h.y, h.z,
    h.vx, h.vy, h.vz,
    h.jx, h.jy, h.jz,
    h.b_to_aw, h.c_to_aw,
    h.aw_x, h.aw_y, h.aw_z,
    h.cw_x, h.cw_y, h.cw_z,
    h.b_to_aw_500c, h.c_to_aw_500c,
    h.aw_x_500c, h.aw_y_500c, h.aw_z_500c,
    h.cw_x_500c, h.cw_y_500c, h.cw_z_500c,
    h.b_to_a, h.c_to_a,
    h.a_x, h.a_y, h.a_z,
    h.c_x, h.c_y, h.c_z,
    h.b_to_a_500c, h.c_to_a_500c,
    h.a_x_500c, h.a_y_500c, h.a_z_500c,
    h.c_x_500c, h.c_y_500c, h.c_z_500c,
    g.kind,
    g.x_gal, g.y_gal, g.z_gal,
    g.true_redshift_gal, g.observed_redshift_gal,
    g.gamma1, g.gamma2,
    g.gr_restframe, g.gr_cosmos, g.color_kind,
    g.log_stellar_mass, g.log_sfr,
    g.mw_extinction, g.abs_mag_r01_evolved,
    g.sed_cosmos, g.ext_curve_cosmos, g.ebv_cosmos,
    g.logf_halpha_model1_ext, g.logf_hbeta_model1_ext, g.logf_o2_model1_ext, g.logf_n2_model1_ext, g.logf_o3_model1_ext, g.logf_s2_model1_ext,
    g.logf_halpha_model3_ext, g.logf_hbeta_model3_ext, g.logf_o2_model3_ext, g.logf_n2_model3_ext, g.logf_o3_model3_ext, g.logf_s2_model3_ext,
    g.blanco_decam_g, g.blanco_decam_g_abs, g.blanco_decam_i, g.blanco_decam_i_abs,
    g.blanco_decam_r, g.blanco_decam_r_abs, g.blanco_decam_z, g.blanco_decam_z_abs,
    g.cfht_u, g.cfht_u_abs, g.cfht_wircam_ks, g.cfht_wircam_ks_abs,
    g.euclid_nisp_h, g.euclid_nisp_h_abs, g.euclid_nisp_j, g.euclid_nisp_j_abs,
    g.euclid_nisp_y, g.euclid_nisp_y_abs, g.euclid_vis, g.euclid_vis_abs,
    g.kids_g, g.kids_g_abs, g.kids_i, g.kids_i_abs, g.kids_r, g.kids_r_abs, g.kids_u, g.kids_u_abs,
    g.sdss_g, g.sdss_g_abs, g.sdss_i, g.sdss_i_abs, g.sdss_r, g.sdss_r_abs, g.sdss_u, g.sdss_u_abs, g.sdss_z, g.sdss_z_abs,
    g.subaru_r, g.subaru_r_abs, g.subaru_v, g.subaru_v_abs,
    g.blanco_decam_g_el_model1, g.blanco_decam_g_el_model3, g.blanco_decam_g_el_model1_abs, g.blanco_decam_g_el_model3_abs,
    g.blanco_decam_i_el_model1, g.blanco_decam_i_el_model3, g.blanco_decam_i_el_model1_abs, g.blanco_decam_i_el_model3_abs,
    g.blanco_decam_r_el_model1, g.blanco_decam_r_el_model3, g.blanco_decam_r_el_model1_abs, g.blanco_decam_r_el_model3_abs,
    g.blanco_decam_z_el_model1, g.blanco_decam_z_el_model3, g.blanco_decam_z_el_model1_abs, g.blanco_decam_z_el_model3_abs,
    g.cfht_u_el_model1, g.cfht_u_el_model3, g.cfht_u_el_model1_abs, g.cfht_u_el_model3_abs,
    g.cfht_wircam_ks_el_model1, g.cfht_wircam_ks_el_model3, g.cfht_wircam_ks_el_model1_abs, g.cfht_wircam_ks_el_model3_abs,
    g.euclid_nisp_h_el_model1, g.euclid_nisp_h_el_model3, g.euclid_nisp_h_el_model1_abs, g.euclid_nisp_h_el_model3_abs,
    g.euclid_nisp_j_el_model1, g.euclid_nisp_j_el_model3, g.euclid_nisp_j_el_model1_abs, g.euclid_nisp_j_el_model3_abs,
    g.euclid_nisp_y_el_model1, g.euclid_nisp_y_el_model3, g.euclid_nisp_y_el_model1_abs, g.euclid_nisp_y_el_model3_abs,
    g.euclid_vis_el_model1, g.euclid_vis_el_model3, g.euclid_vis_el_model1_abs, g.euclid_vis_el_model3_abs,
    g.kids_g_el_model1, g.kids_g_el_model3, g.kids_g_el_model1_abs, g.kids_g_el_model3_abs,
    g.kids_i_el_model1, g.kids_i_el_model3, g.kids_i_el_model1_abs, g.kids_i_el_model3_abs,
    g.kids_r_el_model1, g.kids_r_el_model3, g.kids_r_el_model1_abs, g.kids_r_el_model3_abs,
    g.kids_u_el_model1, g.kids_u_el_model3, g.kids_u_el_model1_abs, g.kids_u_el_model3_abs,
    g.sdss_g_el_model1, g.sdss_g_el_model3, g.sdss_g_el_model1_abs, g.sdss_g_el_model3_abs,
    g.sdss_i_el_model1, g.sdss_i_el_model3, g.sdss_i_el_model1_abs, g.sdss_i_el_model3_abs,
    g.sdss_r_el_model1, g.sdss_r_el_model3, g.sdss_r_el_model1_abs, g.sdss_r_el_model3_abs,
    g.sdss_u_el_model1, g.sdss_u_el_model3, g.sdss_u_el_model1_abs, g.sdss_u_el_model3_abs,
    g.sdss_z_el_model1, g.sdss_z_el_model3, g.sdss_z_el_model1_abs, g.sdss_z_el_model3_abs,
    g.subaru_r_el_model1, g.subaru_r_el_model3, g.subaru_r_el_model1_abs, g.subaru_r_el_model3_abs,
    g.subaru_v_el_model1, g.subaru_v_el_model3, g.subaru_v_el_model1_abs, g.subaru_v_el_model3_abs
FROM cosmohub.flagship_rockstar_octant1_c AS h
JOIN tallada.kai_flagship_1_8_5_s_pq AS g
  ON
    CAST(SUBSTRING(g.halo_id, 1, 2) AS INT) - 33 = h.`bx`
  AND
    CAST(SUBSTRING(g.halo_id, 3, 2) AS INT) - 33 = h.`by`
  AND
    CAST(SUBSTRING(g.halo_id, 5, 2) AS INT) - 33 = h.`bz`
  AND
    CAST(SUBSTRING(g.halo_id, 7) AS INT) = h.id
;