Euclid mock production v1.8.3 c

CREATE TABLE `cosmohub.flagship_1_8_3_c`(

 `halo_id` bigint, 
 `galaxy_id` int,
 `random_index` float, 
 `ra_gal` float, 
 `dec_gal` float, 
 `l_gal` float, 
 `b_gal` float, 
 `mw_extinction` float, 
 `x_gal` float, 
 `y_gal` float, 
 `z_gal` float, 
 `r_gal` float, 
 `true_redshift_gal` float, 
 `observed_redshift_gal` float,
 `hpix_29_nest` bigint,
 `vx_gal` float, 
 `vy_gal` float, 
 `vz_gal` float, 
 `vrad_gal` float, 
 `delta_r` float, 
 `kind` tinyint, 
 `abs_mag_r01` float, 
 `luminosity_r01` float, 
 `abs_mag_r01_evolved` float,  
 `sdss_r01` float, 
 `abs_mag_uv_dereddened` float, 
 `gr_restframe` float, 
 `color_kind` int, 
 `sed_ke` float, 
 `gr_cosmos` float, 
 `sed_cosmos` float, 
 `is_within_cosmos` boolean, 
 `cosmos_distance` float, 
 `ext_curve_cosmos` int, 
 `ebv_cosmos` float, 
 `log_ml_r01` float, 
 `log_stellar_mass` float, 
 `metallicity` float, 
 `log_sfr` float, 
 `logf_halpha_ext` float, 
 `logf_halpha` float, 
 `halpha_scatter` float, 
 `loglum_halpha` float, 
 `loglum_halpha_ext` float, 
 `logf_dummy` float, 
 `z_dummy` float, 
 `logf_halpha_model1_ext` float, 
 `logf_halpha_model1` float, 
 `loglum_halpha_model1_ext` float, 
 `loglum_halpha_model1` float, 
 `logf_halpha_model3_ext` float, 
 `logf_halpha_model3` float, 
 `loglum_halpha_model3_ext` float, 
 `loglum_halpha_model3` float, 
 `logf_hbeta_model1_ext` float, 
 `logf_hbeta_model1` float, 
 `logf_o2_model1_ext` float, 
 `logf_o2_model1` float, 
 `logf_n2_model1_ext` float, 
 `logf_n2_model1` float, 
 `logf_o3_model1_ext` float, 
 `logf_o3_model1` float, 
 `logf_s2_model1_ext` float, 
 `logf_s2_model1` float, 
 `logf_hbeta_model3_ext` float, 
 `logf_hbeta_model3` float, 
 `logf_o2_model3_ext` float, 
 `logf_o2_model3` float, 
 `logf_n2_model3_ext` float, 
 `logf_n2_model3` float, 
 `logf_o3_model3_ext` float, 
 `logf_o3_model3` float, 
 `logf_s2_model3_ext` float, 
 `logf_s2_model3` float, 
 `2mass_h` float, 
 `2mass_j` float, 
 `2mass_ks` float, 
 `blanco_decam_g` float, 
 `blanco_decam_i` float, 
 `blanco_decam_r` float, 
 `blanco_decam_z` float, 
 `cfht_megacam_r` float, 
 `cfht_megacam_u` float, 
 `euclid_nisp_h` float, 
 `euclid_nisp_j` float, 
 `euclid_nisp_y` float, 
 `euclid_vis` float, 
 `gaia_bp` float, 
 `gaia_g` float, 
 `gaia_rp` float, 
 `jst_jpcam_g` float, 
 `kids_g` float, 
 `kids_i` float, 
 `kids_r` float, 
 `kids_u` float, 
 `lsst_g` float, 
 `lsst_i` float, 
 `lsst_r` float, 
 `lsst_u` float, 
 `lsst_y` float, 
 `lsst_z` float, 
 `pan_starrs_i` float, 
 `pan_starrs_z` float, 
 `subaru_hsc_z` float, 
 `2mass_h_odonnell_ext` float, 
 `2mass_j_odonnell_ext` float, 
 `2mass_ks_odonnell_ext` float, 
 `blanco_decam_g_odonnell_ext` float, 
 `blanco_decam_i_odonnell_ext` float, 
 `blanco_decam_r_odonnell_ext` float, 
 `blanco_decam_z_odonnell_ext` float, 
 `cfht_megacam_r_odonnell_ext` float, 
 `cfht_megacam_u_odonnell_ext` float, 
 `euclid_nisp_h_odonnell_ext` float, 
 `euclid_nisp_j_odonnell_ext` float, 
 `euclid_nisp_y_odonnell_ext` float, 
 `euclid_vis_odonnell_ext` float, 
 `gaia_bp_odonnell_ext` float, 
 `gaia_g_odonnell_ext` float, 
 `gaia_rp_odonnell_ext` float, 
 `jst_jpcam_g_odonnell_ext` float, 
 `kids_g_odonnell_ext` float, 
 `kids_i_odonnell_ext` float, 
 `kids_r_odonnell_ext` float, 
 `kids_u_odonnell_ext` float, 
 `lsst_g_odonnell_ext` float, 
 `lsst_i_odonnell_ext` float, 
 `lsst_r_odonnell_ext` float, 
 `lsst_u_odonnell_ext` float, 
 `lsst_y_odonnell_ext` float, 
 `lsst_z_odonnell_ext` float, 
 `pan_starrs_i_odonnell_ext` float, 
 `pan_starrs_z_odonnell_ext` float, 
 `sdss_r01_odonnell_ext` float, 
 `subaru_hsc_z_odonnell_ext` float, 
 `2mass_h_el_model1_odonnell_ext` float, 
 `2mass_h_el_model3_odonnell_ext` float, 
 `2mass_j_el_model1_odonnell_ext` float, 
 `2mass_j_el_model3_odonnell_ext` float, 
 `2mass_ks_el_model1_odonnell_ext` float, 
 `2mass_ks_el_model3_odonnell_ext` float, 
 `blanco_decam_g_el_model1_odonnell_ext` float, 
 `blanco_decam_g_el_model3_odonnell_ext` float, 
 `blanco_decam_i_el_model1_odonnell_ext` float, 
 `blanco_decam_i_el_model3_odonnell_ext` float, 
 `blanco_decam_r_el_model1_odonnell_ext` float, 
 `blanco_decam_r_el_model3_odonnell_ext` float, 
 `blanco_decam_z_el_model1_odonnell_ext` float, 
 `blanco_decam_z_el_model3_odonnell_ext` float, 
 `cfht_megacam_r_el_model1_odonnell_ext` float, 
 `cfht_megacam_r_el_model3_odonnell_ext` float, 
 `cfht_megacam_u_el_model1_odonnell_ext` float, 
 `cfht_megacam_u_el_model3_odonnell_ext` float, 
 `euclid_nisp_h_el_model1_odonnell_ext` float, 
 `euclid_nisp_h_el_model3_odonnell_ext` float, 
 `euclid_nisp_j_el_model1_odonnell_ext` float, 
 `euclid_nisp_j_el_model3_odonnell_ext` float, 
 `euclid_nisp_y_el_model1_odonnell_ext` float, 
 `euclid_nisp_y_el_model3_odonnell_ext` float, 
 `euclid_vis_el_model1_odonnell_ext` float, 
 `euclid_vis_el_model3_odonnell_ext` float, 
 `gaia_bp_el_model1_odonnell_ext` float, 
 `gaia_bp_el_model3_odonnell_ext` float, 
 `gaia_g_el_model1_odonnell_ext` float, 
 `gaia_g_el_model3_odonnell_ext` float, 
 `gaia_rp_el_model1_odonnell_ext` float, 
 `gaia_rp_el_model3_odonnell_ext` float, 
 `jst_jpcam_g_el_model1_odonnell_ext` float, 
 `jst_jpcam_g_el_model3_odonnell_ext` float, 
 `kids_g_el_model1_odonnell_ext` float, 
 `kids_g_el_model3_odonnell_ext` float, 
 `kids_i_el_model1_odonnell_ext` float, 
 `kids_i_el_model3_odonnell_ext` float, 
 `kids_r_el_model1_odonnell_ext` float, 
 `kids_r_el_model3_odonnell_ext` float, 
 `kids_u_el_model1_odonnell_ext` float, 
 `kids_u_el_model3_odonnell_ext` float, 
 `lsst_g_el_model1_odonnell_ext` float, 
 `lsst_g_el_model3_odonnell_ext` float, 
 `lsst_i_el_model1_odonnell_ext` float, 
 `lsst_i_el_model3_odonnell_ext` float, 
 `lsst_r_el_model1_odonnell_ext` float, 
 `lsst_r_el_model3_odonnell_ext` float, 
 `lsst_u_el_model1_odonnell_ext` float, 
 `lsst_u_el_model3_odonnell_ext` float, 
 `lsst_y_el_model1_odonnell_ext` float, 
 `lsst_y_el_model3_odonnell_ext` float, 
 `lsst_z_el_model1_odonnell_ext` float, 
 `lsst_z_el_model3_odonnell_ext` float, 
 `pan_starrs_i_el_model1_odonnell_ext` float, 
 `pan_starrs_i_el_model3_odonnell_ext` float, 
 `pan_starrs_z_el_model1_odonnell_ext` float, 
 `pan_starrs_z_el_model3_odonnell_ext` float, 
 `sdss_r01_el_model1_odonnell_ext` float, 
 `sdss_r01_el_model3_odonnell_ext` float, 
 `subaru_hsc_z_el_model1_odonnell_ext` float, 
 `subaru_hsc_z_el_model3_odonnell_ext` float, 
 `dominant_shape` int, 
 `bulge_angle` float, 
 `disk_angle` float, 
 `median_major_axis` float, 
 `scale_length` float, 
 `bulge_fraction` float, 
 `disk_length` float, 
 `bulge_length` float, 
 `ellipticity` float, 
 `disk_axis_ratio` float, 
 `bulge_axis_ratio` float,
 `halo_x` float, 
 `halo_y` float, 
 `halo_z` float, 
 `halo_vx` float, 
 `halo_vy` float, 
 `halo_vz` float, 
 `halo_r` float, 
 `true_redshift_halo` float, 
 `halo_lm` float, 
 `halo_n_sats` int, 
 `n_gals` int

) PARTITIONED BY (

 `step` smallint)

CLUSTERED BY (

 halo_id, 
 galaxy_id) 

INTO 128 BUCKETS ROW FORMAT SERDE

 'org.apache.hadoop.hive.ql.io.orc.OrcSerde' 

STORED AS INPUTFORMAT

 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' 

OUTPUTFORMAT

 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'

INSERT OVERWRITE TABLE cosmohub.flagship_1_8_3_c PARTITION(step) SELECT halo_id, galaxy_id, random_index, ra_gal, dec_gal, l_gal, b_gal, mw_extinction, x_gal, y_gal, z_gal, r_gal, true_redshift_gal, observed_redshift_gal, hpix_nest, vx_gal, vy_gal, vz_gal, vrad_gal, delta_r, kind, abs_mag_r01, luminosity_r01, abs_mag_r01_evolved, sdss_r01, abs_mag_uv_dereddened, gr_restframe, color_kind, sed_ke, gr_cosmos, sed_cosmos, is_within_cosmos, cosmos_distance, ext_curve_cosmos, ebv_cosmos, log_ml_r01, log_stellar_mass, metallicity, log_sfr, logf_halpha_ext, logf_halpha, halpha_scatter, loglum_halpha, loglum_halpha_ext, logf_dummy, z_dummy, logf_halpha_model1_ext, logf_halpha_model1, loglum_halpha_model1_ext, loglum_halpha_model1, logf_halpha_model3_ext, logf_halpha_model3, loglum_halpha_model3_ext, loglum_halpha_model3, logf_hbeta_model1_ext, logf_hbeta_model1, logf_o2_model1_ext, logf_o2_model1, logf_n2_model1_ext, logf_n2_model1, logf_o3_model1_ext, logf_o3_model1, logf_s2_model1_ext, logf_s2_model1, logf_hbeta_model3_ext, logf_hbeta_model3, logf_o2_model3_ext, logf_o2_model3, logf_n2_model3_ext, logf_n2_model3, logf_o3_model3_ext, logf_o3_model3, logf_s2_model3_ext, logf_s2_model3, 2mass_h, 2mass_j, 2mass_ks, blanco_decam_g, blanco_decam_i, blanco_decam_r, blanco_decam_z, cfht_megacam_r, cfht_megacam_u, euclid_nisp_h, euclid_nisp_j, euclid_nisp_y, euclid_vis, gaia_bp, gaia_g, gaia_rp, jst_jpcam_g, kids_g, kids_i, kids_r, kids_u, lsst_g, lsst_i, lsst_r, lsst_u, lsst_y, lsst_z, pan_starrs_i, pan_starrs_z, subaru_hsc_z, 2mass_h_odonnell_ext, 2mass_j_odonnell_ext, 2mass_ks_odonnell_ext, blanco_decam_g_odonnell_ext, blanco_decam_i_odonnell_ext, blanco_decam_r_odonnell_ext, blanco_decam_z_odonnell_ext, cfht_megacam_r_odonnell_ext, cfht_megacam_u_odonnell_ext, euclid_nisp_h_odonnell_ext, euclid_nisp_j_odonnell_ext, euclid_nisp_y_odonnell_ext, euclid_vis_odonnell_ext, gaia_bp_odonnell_ext, gaia_g_odonnell_ext, gaia_rp_odonnell_ext, jst_jpcam_g_odonnell_ext, kids_g_odonnell_ext, kids_i_odonnell_ext, kids_r_odonnell_ext, kids_u_odonnell_ext, lsst_g_odonnell_ext, lsst_i_odonnell_ext, lsst_r_odonnell_ext, lsst_u_odonnell_ext, lsst_y_odonnell_ext, lsst_z_odonnell_ext, pan_starrs_i_odonnell_ext, pan_starrs_z_odonnell_ext, sdss_r01_odonnell_ext, subaru_hsc_z_odonnell_ext, 2mass_h_el_model1_odonnell_ext, 2mass_h_el_model3_odonnell_ext, 2mass_j_el_model1_odonnell_ext, 2mass_j_el_model3_odonnell_ext, 2mass_ks_el_model1_odonnell_ext, 2mass_ks_el_model3_odonnell_ext, blanco_decam_g_el_model1_odonnell_ext, blanco_decam_g_el_model3_odonnell_ext, blanco_decam_i_el_model1_odonnell_ext, blanco_decam_i_el_model3_odonnell_ext, blanco_decam_r_el_model1_odonnell_ext, blanco_decam_r_el_model3_odonnell_ext, blanco_decam_z_el_model1_odonnell_ext, blanco_decam_z_el_model3_odonnell_ext, cfht_megacam_r_el_model1_odonnell_ext, cfht_megacam_r_el_model3_odonnell_ext, cfht_megacam_u_el_model1_odonnell_ext, cfht_megacam_u_el_model3_odonnell_ext, euclid_nisp_h_el_model1_odonnell_ext, euclid_nisp_h_el_model3_odonnell_ext, euclid_nisp_j_el_model1_odonnell_ext, euclid_nisp_j_el_model3_odonnell_ext, euclid_nisp_y_el_model1_odonnell_ext, euclid_nisp_y_el_model3_odonnell_ext, euclid_vis_el_model1_odonnell_ext, euclid_vis_el_model3_odonnell_ext, gaia_bp_el_model1_odonnell_ext, gaia_bp_el_model3_odonnell_ext, gaia_g_el_model1_odonnell_ext, gaia_g_el_model3_odonnell_ext, gaia_rp_el_model1_odonnell_ext, gaia_rp_el_model3_odonnell_ext, jst_jpcam_g_el_model1_odonnell_ext, jst_jpcam_g_el_model3_odonnell_ext, kids_g_el_model1_odonnell_ext, kids_g_el_model3_odonnell_ext, kids_i_el_model1_odonnell_ext, kids_i_el_model3_odonnell_ext, kids_r_el_model1_odonnell_ext, kids_r_el_model3_odonnell_ext, kids_u_el_model1_odonnell_ext, kids_u_el_model3_odonnell_ext, lsst_g_el_model1_odonnell_ext, lsst_g_el_model3_odonnell_ext, lsst_i_el_model1_odonnell_ext, lsst_i_el_model3_odonnell_ext, lsst_r_el_model1_odonnell_ext, lsst_r_el_model3_odonnell_ext, lsst_u_el_model1_odonnell_ext, lsst_u_el_model3_odonnell_ext, lsst_y_el_model1_odonnell_ext, lsst_y_el_model3_odonnell_ext, lsst_z_el_model1_odonnell_ext, lsst_z_el_model3_odonnell_ext, pan_starrs_i_el_model1_odonnell_ext, pan_starrs_i_el_model3_odonnell_ext, pan_starrs_z_el_model1_odonnell_ext, pan_starrs_z_el_model3_odonnell_ext, sdss_r01_el_model1_odonnell_ext, sdss_r01_el_model3_odonnell_ext, subaru_hsc_z_el_model1_odonnell_ext, subaru_hsc_z_el_model3_odonnell_ext, dominant_shape, bulge_angle, disk_angle, median_major_axis, scale_length, bulge_fraction, disk_length, bulge_length, ellipticity, disk_axis_ratio, bulge_axis_ratio, halo_x, halo_y, halo_z, halo_vx, halo_vy, halo_vz, halo_r, true_redshift_halo, halo_lm, halo_n_sats, n_gals, step FROM cosmohub.flagship_1_8_3_p WHERE halo_id IS NOT NULL;